推荐语

钟元鑫，97 年出生，清华车辆工程本科，密歇根大学博士。博士期间曾在 Waymo 和苹果 Vision Pro 组实习，25 岁成为华为诺亚智驾方向首位“天才少年”。2025 年底离开华为，联合创立日冕（Rimbot）。

从本科到博士，他两次从零搭建完整的自动驾驶平台——这在学生群体中几乎无先例。工作后，他亲历了智驾领域三代技术范式的切换：从大模型到 VLA 再到世界模型。这些经历让他形成一个核心判断：通用大模型离操控物理世界尚远，具身智能必须独立构建基座模型。

日冕的核心架构名为 LaMPA（Latent Masked Predictive Architecture），延伸自 LeCun 的 JEPA 体系，但创新性地加入了 Mask 机制和 Block Diffusion。它在隐空间进行“完形填空”式预测——Block 内部利用双向注意力处理图像，Block 之间保持因果关系以处理时序。实测推理速度比纯自回归快约 10 倍。钟元鑫认为，该架构同时解决了 Scaling 最关键的两要素：推理侧的 Infra 适配与训练侧的数据效率。其代价是训练收敛较纯自回归更慢，因模型需学会补全任意位置被掩码的 token，对训练经验和数据适配要求更高。

除架构外，团队构建了一套 E-E-E 表征体系：Environment（环境）、Ego（自我）、Experience（经验）。该体系的直接收益在于：不同自由度的灵巧手、不同配置的触觉传感器乃至人手视频数据，均可编码进同一空间混合训练，无需进行 Retargeting。目前数据规模已达上亿帧，其中约 90% 为异构视角的人手数据。

访谈中，钟元鑫逐项拆解了其在关键技术岔路口的选择依据：为何放弃显式因果推理？为何认为思维链对轨迹级任务提升有限？为何选择 JEPA 这一尚未在真实机器人上充分验证的体系？这些判断虽需时间验证，但其推演过程具体详实——涵盖实验数据、失败案例与工程细节，绝非空谈。让我们一起走进钟元鑫的故事。

01 历经三代技术范式切换，确立具身基座模型的独立路线

ZP：按照惯例，先请钟博自我介绍一下。

钟元鑫：本科就读于清华大学车辆工程专业，大二开始自建自动驾驶系统。大三入选清华“星火计划”（各院系仅一两个名额的科研人才培养项目），我是系内唯一入选者，凭借大二自建的自动驾驶仿真系统获得名额。本科毕业时，我为课题组搭建了一套完整的自动驾驶平台，完全自主编写，对标 ROS。

博士阶段赴密歇根大学，师从 Mcity 主任彭辉教授（Mcity 是全美首个动态自动驾驶测试场）。期间我将自动驾驶全栈技术实践了一遍——感知、建图、预测、跟踪、决策、规控，从零搭建系统并上车实测。同时构建了第二套仿真平台，后续一位师兄基于此开发了强化学习框架。早在 2020 年，我们便利用 RL 进行智驾研究，而行业大规模应用 RL 则是在 2022、2023 年。

实习期间，我在 Waymo 参与行人意图识别项目，其精细度极高——仅需 100 像素即可识别行人骨骼姿态，甚至通过眼神判断其过街意图。在苹果 Vision Pro 组（当时处于秘密研发阶段），我负责 3D 空间物体检测与跟踪。

ZP：从本科到博士，两次从零搭建自动驾驶平台，这在学生中极为罕见。为什么要做这件事？

钟元鑫：初高中信息奥赛经历加上本科计算机二学位，使我在汽车系中具备较突出的计算机底层功底。当时的动机是课题组认为不能长期依赖开源平台，且我觉得 ROS 在实时性和带宽上表现不足，于是决定动手自建一套。

这绝对是一个非共识的选择——彼时愿意自建平台的多为公司，实验室更关注学术问题，鲜少投入工程平台。但通过摸索，我掌握了节点通信、Linux 组件动态加载等原理。这段经历让我获得了全栈训练，也是我博士毕业后选择进入工业界的原因——我希望看重的技术能落地于机器，产生实际效益。

ZP：公开信息显示，您是华为智驾方向首位“天才少年”，25 岁加入。在华为主要做了什么？

钟元鑫：博四博五时，我认为需要进入大厂了解组织体系，因此加入华为。期间经历了三代智驾范式：第一代端到端、第二代 VLA、第三代世界模型。中间验证了许多思考——例如测试最新 VLM 判断前方行人左右位置时，成功率甚至不足 50%。这让我确认：通用基座模型离操控物理世界尚远，具身智能必须独立构建基座模型。

ZP：具身智能创业公司众多，为什么最终选择了日冕（Rimbot）？

钟元鑫：我与肖博（毕设课题组师兄）相识已逾十年。2025 年初，我们就世界模型展开交流——当时我们刚启动世界模型研究，肖博也在探索交互复杂场景的世界模型。经过多次学术交流，我们发现双方对模型 Scaling 路径及落地价值的认知高度一致。随后，我与肖博及另一位联创云龙进行了大半年的深入探讨，从第一性原理出发得出相同结论，最终决定共同创业。

具体来说，我们有几个核心共识：

第一：数据闭环至关重要。从事智驾的人都有此经验——早期每家公司购买数百辆测试车采集数据，但覆盖场景可能仅 1% 或 10%，远未解决长尾问题。真正能解决问题的关键在于用户数据和数据闭环。

第二：大模型时代，模型并非最核心，数据和 Infra（基础设施）才是。如何高效训练模型？如何快速试错？如何在端侧快速验证？这对训练至关重要。

第三：操作（Manipulation）是当下最具价值的方向。早期我们考察了多个方向。经思考发现，Navigation 在商业上已基本成为"Solved Problem"；Locomotion 在机器人学界也相对清晰；而 Manipulation 一方面业务收益最高——替代人力、自动化完成任务均需 Manipulation 解决方案；另一方面正处于技术突破前夜，谁先做好谁就能领先。当然，我们并非不做 Locomotion 和 Navigation，只是优先级相对较低。且我们正在构建的世界模型不仅解决操作问题，同样能理解世界、执行导航。

02 拆解环境、自我与经验三子表征

ZP：请用一句话介绍日冕（Rimbot）的定位，以及你们目前最核心的技术工作是什么？

钟元鑫：我们致力于构建原生的物理世界基础模型，最直观的应用是解决操作问题。具体范式是我们的 LaMPA 架构，任务是完成精细且灵活的操作。这是我们认为最核心的场景和赛道。

日冕的 Slogan 是"Drive Every Move"。我们希望成为行业所有解决方案背后的驱动力，提供此类能力。因此，我们的目标仍是做一家技术公司。

ZP：除了训练范式，表征体系是你们基座模型的另一大支柱。我觉得“表征就像一个人认知世界的方式”——日冕的表征体系具体是如何设计的？为什么是这样的结构？

钟元鑫：你的直觉非常准确。每进入一个新领域，我们先关注如何表征，再关注如何做下游任务。传统 CV 领域（如检测、分割）皆有基座模型（ResNet、UNet）将视觉表征做好，以便添加各种 Task Head。

智驾亦是如此——六路、八路甚至更多相机，可能还有激光雷达——必须先将这些信息处理清楚。为何大家不在 2018 年就做端到端？因为前方的感知架构尚未完善。必须先将 BEV（Bird's Eye View）等搞明白，端到端才能做好。

具身智能亦然——要操控并改变世界，前提是对世界的认知足够完备。从第一性原理出发，我认为世界包含三部分：

第一，Ego——自我。这是其他领域 AI 所不具备的——无论是语言模型还是 VLM，都不会有一个模块描述“我现在自身状态如何”。这是具身智能的独特之处——我必须知晓关节状态、电流用力大小、手部触觉反馈等。

在此延伸一下。密歇根大学有一位我崇敬的老师 Jessy Grizzle（Michigan Robotics 首任院长）。他的学生曾让机械臂仅靠碰撞（撞击各处）来构建环境三维空间。全靠本体，无需视觉甚至触觉，仅凭电机状态还原世界。这是对自我感知认知的极致案例——对自身认知足够强，便能很好地与物理约束交互。因此，我们在此投入较多。

第二，Environment——环境。这与智驾相似——4D 表征、时空表征皆属此范式。出发点是对环境的几何和语义有充足详细的认知——利用 3D 重建、NeRF、3D Gaussian Splatting 训练 Encoder。这是较为清晰的范式，后续只需增加数据，我们投入不算太多。

第三，Experience——经验。这是我们今年发力的方向。大家讨论大模型的直观原因是想承接其蕴含的知识。但我认为直接基于大模型微调并非正确选择，而应将能力蒸馏到一个表征模块上。

该表征能根据视觉状态知晓操作常识——水杯应如何拿、焊枪应如何握、不同工具有不同握法和使用方法。甚至物体重量——看一眼便大致知晓，无需触摸。我们将 DeepSeek、Claude 等最强大模型的能力蒸馏进来——但它们看不见真实世界，因此我们将世界数据转化为结构化信息，进行检测、分割，描述得足够完备后喂给大模型，大模型通过文本告知解法，我们再将这些知识揉入表征之中。

我们将三者缩写为E、E、E——Environment、Ego、Experience。这三个表征并非互相独立，而是存在交融。目前的做法是简单拼接后进入模型，未来可能会做成统一表征模型——但这属于较长期的规划。

还需补充一点——该表征是对单帧状态的描述。帧与帧之间的关联通过世界模型学习——世界模型学习的是状态之间的迁移和变化规律，即时间维度上的变化法则。

ZP：为什么恰好是这三个维度，而不是更多或更少？而且它们之间似乎不是完全正交的——比如捏一个东西之前预判反馈，既涉及环境信息也涉及自我信息。训到最后会不会只剩其中一个维度在真正起作用？

钟元鑫：这涉及哲学思考。我们阅读了一些哲学书籍——人对世界的理解确实就是自我、他我和经验这三块。

至于是否会训到最后只剩一个有用——不会。我们现在就发现触觉数据很重要。有些任务，如盲操盲插 USB——看不到的地方只能靠触觉感知——肯定存在强依赖这些信息的场景。

ZP：这套三子表征体系在实际收益上验证到什么程度了？有没有已经看到的、比较确定的优势？

钟元鑫：我们正在完成下游任务的验证。但比较明确的收益是——通过统一表征，我们能将所有数据都吃进来。别人做不到——例如你的 VLA 若无触觉模块就用不了触觉数据，若模型只支持 6 自由度就吃不了 7 自由度的数据。我们通过统一表征，无论何种传感器配置、何种自由度分布，都能编码进来。

这使得我们的数据量能达到上亿帧。配比大概是异构视角的人手数据占约 90%——如 Ego4D、EgoExo4D 等学术数据集。它们只有人视角，且与机器人自由度不同，通常做人手到机器人手的迁移不易。但我们不需要做 Retargeting——人手数据和机器人手数据可直接混训，毫无问题。我们最近发布论文的核心理念就是"No Retargeting"——因为 Retargeting 存在损失。

ZP：行业里也有不少团队走显式 3D 重建的路线。您怎么看这条路线的前景？

钟元鑫：显式路线有其应用场景。例如制作上一代仿真产品卖给客户——若客户要求精度非常高——做显式重建更有优势。原则是“监督什么就学什么”，监督像素就能把像素学得最好。但缺点是像素精度高不意味着表征能力强。可能针对每种应用有最优架构，但它不是一个能在所有任务上泛化的范式，不是一个大一统的基础范式。

ZP：最近你们连续发布了 UniDexTok、HT-Bench、PalmDex 几项工作，它们分别在解决什么问题？背后的整体逻辑是什么？

钟元鑫：这些都是在构建“自我”表征。坦白讲，刚创业时我们比较天真——以为灵巧手已发展两三年，应该差不多了。结果发现没人做，难度极大。触觉传感器也是如此——听闻多年，至今也没几家公司能稳定采集全掌触觉数据。

因此，一方面我们自己探索，另一方面需要与学术界交流，吸纳更多人参与其中。

UniDexTok是灵巧手的统一表征——能用一个 Tokenizer 将不同自由度的手建模进来，无需 Retargeting。我们上限设为 22 到 24 自由度，基本能覆盖目前及未来所有灵巧手。人手数据大部分是 MANO 格式，我们用一种极低损失的方法降维至 24 维——误差仅 0.7 毫米，基本可视为无损——因此能直接映射到各种灵巧手的空间。

HT-Bench包含一个叫 HandTouch 的模型，是统一触觉表征——我们将所有触觉传感器通过“手型拓扑图”映射到一张 2D 图上。为何是图？因为图易于建模——局部空间关系用 2D 卷积即可处理，识别凸起、纹理很容易。不同布局的传感器——有的仅有指尖数据、有的全掌、有的有值有的没值——都能映射到同一张图上统一建模。

PalmDex是我们发布的一个数据集。全掌触觉数据极其稀缺，若行业没有数据便无人共同参与此事。因此我们以开源形式提供，也欢迎大家贡献数据、进行评测，希望推动行业前行。

ZP：统一表征免去了 Retargeting 的需求，迁移效果不错。但这种方式有没有局限性？比如是否只能从高自由度往低自由度迁移？

钟元鑫：还是有些限制。但上限设为 22 到 24 自由度，行业内做灵巧手的公司上限也就 23 自由度，再往上也无必要了。

ZP：你们还提到了一个 Latent Completion Model，它具体是做什么的？跟前面的统一表征有什么关系？

钟元鑫：这是统一表征的一个下游应用。有了统一表征后，A、B、C 三个模态都在同一个空间，将 A 映射进去再反推到 B——便拥有了跨模态迁移能力。

例如将视觉迁移到触觉上。做触觉的人都知道，从单帧视频还原触觉力度基本不可能——没有信号。但有个技巧：通过完整视频——例如 10 秒钟的所有动作——来推断力的大小。举例：拍网球弹了多远，能反映出使了多少劲。虽然拍那一帧看不出来，但通过物体运动轨迹能推断。

关键是要包含未来帧——即 Offline Labeling——将整个片段的信息都喂进来，去还原中间帧的触觉数据。

03 用 LaMPA 架构兼顾自回归多样性与扩散高精度

ZP：LaMPA 架构是公司比较核心和原创的工作。能详细讲讲这个架构的设计思路、它解决了什么问题、以及为什么你们认为它能成为长期的技术主干？

钟元鑫：这个架构叫 LaMPA——Latent Masked Predictive Architecture。后半部分与 Yann LeCun 提出的 JEPA（Joint Embedding Predictive Architecture）一致，是 JEPA 体系的延伸。但我们做的不同之处在于 Mask。

Mask 是神经网络中非常 Old-school 但沿用至今的操作——将输入数据的一部分抠掉，让模型来填充，即“完形填空”。这是一种极好的自监督方法。我们将其迁移到 JEPA 架构里，有两个关键优势：

第一，兼顾自回归的多样性和 Diffusion 的精度。我们底层仍基于自回归架构，因为自回归的训练效率最高——每个 Token 都能得到充分监督。但自回归现在的问题是它的词是一个一个蹦出的。行业在语言模型方面做了许多探索——能否一次输出多个 Token？这点我在华为研究了很长时间，因为华为很大一块工作是推理加速。

2025 年年初，谷歌发布了 Gemini Diffusion——用离散扩散做预训练，能一次输出 50 个、100 个词，相比以前一次一个词，效率是量级上的提升。我当时觉得这是个大范式——因为它兼顾了 Autoregressive 的多样性（容易产生多模态输出，如换道或不换道皆可），又有 Diffusion 拟合精度高的优势（轨迹很丝滑）。而且推理也快——一次能推 100 个、1000 个 Token。

第二，在隐空间做监督。我们采用了 JEPA 在隐空间做监督的方式——将所有模态都编码到 Latent Space 再训练，效率非常高。

因此 LaMPA 满足了一家公司长期做 Scaling 最重要的两件事——Infra和数据。Infra 方面，模型能很好地做推理适配；数据方面，隐空间训练效率高。它能成为公司长期的主干架构。

ZP：具体的模型结构是怎样的？比如注意力机制是双向的还是因果的？

钟元鑫：我们实际上是 Block Diffusion——一块一块做解码，每块内部用双向注意力。图像内部没必要做因果注意力——像素之间没有因果关系，可以双向处理。但上一帧和下一帧之间是因果的，确保不会看到未来、能不断推理。

ZP：行业里有一派观点认为，做物理世界预测必须用强因果推理，你怎么看这种主张？

钟元鑫：我们这个范式其实是兼顾的——Block 内双向，图像建模比单向好；时序和模态上是因果的。至于所谓的“符号推理”派——即将每个实体当成符号，建立显式的因果图——理想非常美好。

我们做自动驾驶时，最初几个月就考虑过做这件事，但很快就否定了。以往经验告诉我们——做因果会死得很惨，因为训不出来。没有人走通一个 Scalable 的因果系统——甚至在非常简单的文字迷宫里面都很难实现。所以风险非常大。

后来在华为做 VLA 时，我们花了大半年做 CoT（思维链），相当于已经是比较显式的因果链条了。结果发现——对于要解决的那些 Corner Case，该解决不了的还是解决不了。它最大的用处是给用户提供情绪价值——“我知道前面有个障碍物，我要变道”——车主会很信任这个系统。但对底层轨迹级任务的提升有限，甚至不如简单做 Model Ensemble 的效果好。

而且 CoT 不 Scale——最痛苦的是里面的逻辑很难自动化构建。大半年搞出来大概 10 万条数据，放到端到端模型里——动辄 1 亿帧里混 10 万帧 CoT，根本混不进去。后来我们做了 CoT 生产自动化——用规则引擎提取逻辑，一天能产几百万条，效果才好了很多。但本质上，因果提取成本高，又不能解决之前解决不了的问题。

ZP：如果显式因果走不通，那在可解释性上你们打算怎么解决？用户和客户对“机器人在想什么”的需求是真实存在的。

钟元鑫：靠世界模型本身的能力——推演未来。我们是 WAM（World-Action Model）范式，做 Action-conditioned 的未来预测。做得足够准之后，能基于预测出来的图像去做评价——给用户做可解释性可以，做仿真评测也可以。

当然这可能不够，人总希望 AI 能把逻辑讲出来。这暂时没有一个 Scalable 的范式能支撑。可能要等以后——例如操作员边说话边操作“我为什么这么做”——已有团队在做。核心还是需要配对数据，短期内单条数据成本很高。

ZP：LaMPA 目前验证到了什么程度？效率、精度方面有没有具体的数据可以分享？另外这个架构有没有明显的 Trade-off？

钟元鑫：验得比较明白的是——效率确实很高。推理上比纯自回归快大概10 倍。训练效率也不低——我们先把多模态信息转换到隐空间再训练，这是 JEPA 的优势，所有模态都编码进去，效率很高。现在 MFU（Model FLOPs Utilization）能到 60% 以上，在大模型中算很高的。

Trade-off 方面，训练难度比纯自回归高一点。因为它本质是个去噪过程——你需要让模型知道，输入的任意位置都有可能被抠掉。例如 50 个 Token 随机抠 30 个，要能把任意 30 个都补全。这比直接做 Next Token Prediction 要难，所以收敛会慢一些，比较吃训练经验和数据适配度。

ZP：LaMPA 作为基座架构，后面会衍生出哪些方向的下游应用？

钟元鑫：不同下游任务对应同一个基座模型。下游可能有好几个任务：做 Policy——真正交付的操作模型；做 Reward Model；做推理模型、做评价器（Critic）、做仿真——生成足够逼真的图像后可做仿真和评测。甚至可以将其作为独立产品包装出去给别的公司用。

04 聚焦世界模型流派与 Scaling 节奏

ZP：市场上有大量团队在做世界模型，但仔细看会发现各家解决的问题并不相同。在您的框架里，这些路线之间的区别和上限分别是什么？

钟元鑫：对，使用领域会不一样。大体上可以分三派。

第一派关注世界模型的视频生成能力——做得足够保真，例如单视角多视角一致性。用途很广，不止自动驾驶，也包括娱乐、计算机插帧补帧。很多从 CV 领域转过来的人会选这条路线，擅长训一个看起来很逼真的世界模型。

第二派是从世界模型最初的源头来的——最早提出世界模型的其实是做RL（强化学习）的领域。RL 需要一个能预测当前状态、基于当前状态加动作预测未来变化的模型，才能做 Model-based RL。这一派真的需要估计未来的真实状态，给 RL 提供监督和闭环反馈。可能涉及训练 Value Function 来判断状态好坏——关注的是状态和行为的好坏，不关注像素。

第三派是融合——既想兼顾像素做得好，又想兼顾状态表征做得好。同时对世界模型还有个预期——它能做辅助监督，预测未来本身就是一个很好的策略模型监督方式。

ZP：如果把时间线拉长来看，这三个流派最终会各自分化走不同方向，还是会收敛成一个大一统的模型？

钟元鑫：大家判断都是会收拢到一起。会有个基础模型，它可能每方面不能做到 100%，但能提供每个方面的 80%——像素生成 80 分，状态预测 80 分，辅助监督 80 分。

这点在我离开华为之前，华为已经在下重注了。里面成立了“空间智能”的专门工作组，成立了一年左右。他们认为这是做 Foundation Model 的下一代方向——AI、ML、VR 的下一代就是空间智能。最后这些跟真实世界关联紧密的模型，都会有一个基座模型，再基于下游任务微调。只是这个范式跟 VLM 和 LLM 不一样——是一个原生处理高维现实世界信息的模型。

ZP：如果最终确实会出现一个统一的世界基础模型，什么样的公司最有可能率先做出来？

钟元鑫：坦白讲，两个条件。第一是模型 Infra 基建足够强的公司——包括卡最多的公司，像 Meta 手里有那么多卡，想训世界模型肯定能训；也包括做过大模型、有训练经验积累的团队。第二是能真正打穿一个场景、形成数据闭环的公司。尤其是跟物理世界相关的——训数字 AI 数据可以从互联网海量爬取，但真实世界的数据采集成本高、不容易规模化。真正打通数据闭环的公司能活到最后。所以关键是两个：模型 Infra 和数据闭环。

ZP：日冕后续有哪些比较重要的工作规划？

钟元鑫：分两块——表征和基座模型。

基座模型预计发布 1 到 2 版，能在各个 Benchmark 上有指标。

表征这边有几个：第一是做手触一体的表征——手的动作和触觉放在同一个表征里，因为操作时触觉跟姿态高度相关，触觉数据不能太独立。第二是做仿真的全掌触觉数据——现在全掌触觉数据太少，算法端也需要一个测试全掌触觉模型能力的基准。

包括后面自己的资产建设，都是针对灵巧手的。主要原因是这块没有稳定供应商——我们本来想找供应商，觉得行业做了这么多年总该有吧——发现没有，只能自己做。

ZP：关于 Scale 的节奏，公司内部有没有一些关键的阶段性目标或观测指标？

钟元鑫：肯定有阶段性节点。

算力方面——现在是百卡级别，年底会扩到千卡。我们基座模型尺度比较小——4B 到 10B 以下——千卡已经非常够用，能快速迭代。

数据方面——现在大概清洗后 10 万小时，往后想扩到大几百万小时，但是高质量、经过清洗的。

再往后是模型尺度的 Scale——这跟端侧和云侧算力耦合，到底要不要做再看。然后是下游任务的 Scale——更多是场景数据丰富度提上来、噪声降下来。

ZP：在训练过程中，先验知识（比如语言模型蒸馏来的常识）和实际环境数据之间如果产生冲突，你们怎么处理？

钟元鑫：需要在数据管理里做清洗——但我们的“清洗”其实是区分。错误数据进一个池子，正确数据进另一个池子。训 Policy 用正确数据，但训 Reward Model 和 Value Function 要用错误数据一块训——让它学会区分好坏。是切开用，不是扔掉。

ZP：最后一个问题，如果这些技术路线都走通了，规模化验证完成之后，日冕能给行业带来什么样的变化？

钟元鑫：最直接的业务价值是——基座模型能力强了之后，后训练速度大幅提升、成本大幅下降。现在后训练用 RL 很吃人力——要做真机、有机器和场地成本。但基座模型够强的话，下游迁移优势就很大。

最理想的情况——像大语言模型一样直接能用。对具身智能来说这有点过于理想，场景太多，多少需要微调。但微调要尽可能时间短——几小时调好。商业价值就是：进一个新工位、新任务，半天之内出可用方案。

第二个目标——基座模型要跟行业共建。把模型能力开放出去，大家基于它构建不同商业落地——一方面赋能更多人产生价值，另一方面也有更多数据回流到我们系统。