表征、VLA、世界模型合流难，机器人基础模型的下一个拐点是「统一接口」吗？

作者：吴运熙  

机器人基础模型落地最大的隐性成本，从来不是单任务的训练效果，而是连续作业中各项能力难以真正衔接。

能听懂「把杯子放进柜子」，也能完成一次平稳抓取，不代表它能主动避开挡路的柜门，更不代表抓取打滑后还能自己调整动作继续完成任务。演示视频里行云流水的连贯动作，到了真实产线、仓库场景中，却需要一次次的人工接管。这是当下机器人落地的普遍困境。

2026年9月3日，富士通、卡内基梅隆大学等机构联合发布综述《Toward Unified Robot Learning: Bridging Representation, Vision-Language-Action, and World Models》，把当下机器人学习的三条主流路线放到了同一张技术地图上：表征学习对应环境理解（understanding）、视觉语言动作模型（VLA）对应动作执行（acting）、世界模型（World Model）对应后果推理（reasoning）。

三条路线各自都在快速迭代，但论文直指一个核心问题：三者基本是独立发展，数据来源、训练目标、交互接口都不打通，最终导致不确定性量化、分布外泛化、跨本体迁移、长上下文理解与长时程规划，成了全行业共同的瓶颈。

很多人会把这些问题归结为「单个模型能力还不够强」，但这篇综述真正指向的答案，其实在架构层——不只是某条路线不够好，更是三条路线之间缺少标准化的连接接口。由此也引出四个关乎下一代机器人基础模型走向的关键问题：①表征学习、VLA 和世界模型之间，究竟需要怎样的接口才能真正协同？ ②为什么世界模型没法天然解决 VLA 的长时程规划难题？ ③跨本体泛化的瓶颈，本质是模型能力还是接口标准？ ④下一代架构，会从「单模型包办一切」转向模块化组合吗？

接下来我们就从接口的视角，逐一拆解这些问题。这里所说的「统一接口」，不只是统一数据格式，还包括状态含义、动作约束、反馈规则的统一约定。系统可以用多个不同的专家模型，但它们必须对同一场景、同一次动作、同一项任务进度，形成可以相互校验的一致判断。

三条路线之间的第一重孤岛，是表征到动作的状态接口没有对齐 —— 压缩后的环境特征，往往撑不起精细的动作控制。

表征学习相当于机器人的「环境账本」，把图像、深度、关节角度、触觉信号压缩成模型可以处理的特征向量。但账本里记录什么，不取决于控制端需要什么，而取决于训练时奖励什么。识别一个杯子需要的视觉特征，和判断杯子有没有被夹稳需要的信息，本来就不是一回事。

以取杯任务为例，一张图像足够支持「杯子在柜内」的语义判断，却没法确定杯柄朝向、夹爪与柜壁的间隙，以及手臂是否挡住了观察视线。如果动作模型只拿到一个高度压缩的视觉向量，它可能知道目标是什么，却缺少决定如何接近目标的几何信息。认出任务目标，并不等于掌握完成动作所需的细节。这也是为什么很多演示级任务单帧图像就能完成，真实复杂作业往往需要接入多模态实时传感——感知输出的信息密度，往往达不到精细控制的要求。

OpenVLA 是当下很有代表性的连接方案：把预训练视觉特征与大语言模型结合，直接输出机器人动作。它证明了视觉语言知识可以进入控制链路，但这一结构本身，并不等于建立了一个可供规划器调用的、完整的状态系统。对产品团队而言，必须继续追问：这一次动作建议依据的是哪一时刻的环境？哪些状态是经过确认的，哪些只是模型推断？

因此，第一类需要统一的接口，是带时间和证据标记的状态接口。它不需要强制所有信息都变成手工定义的字段，可以同时容纳模型提取的潜在特征、物体位姿、机器人自身状态、任务阶段，以及观测缺失标记。但对于坐标系、时间戳、信息有效范围，上下游模块必须有明确的统一约定。

这些约定看似琐碎，实则决定了系统能不能排查故障。腕部相机的图像与关节状态采集时间不一致，模型看到的就是上一个时刻的夹爪位置；世界坐标与工具坐标混用，同一个位移向量就会有完全不同的含义。很多团队更换传感器或硬件后，就要重采大量数据、重新训练模型，本质原因就是接口层没有统一基准，把感知与控制的衔接成本，大量转嫁到了训练侧。接口对齐不能消除所有适配需求，但能减少大量本可避免的返工。

状态接口还要能传递「尚不知道什么」。杯子被手臂遮挡后，合理的状态应该保留最后一次可靠观测，同时标记当前估计的不确定性。否则下游模块就会把过时信息当成实时事实。长上下文的工程价值也在这里体现：系统要记得哪些动作已经执行、哪些结果已经验证，而不只是堆砌更多的历史画面。

世界模型没法天然解决长时程规划，核心不只是预测精度不够，而是「预测结果」和「动作决策」之间，缺一条可工程落地的连接链路。

就算世界模型能生成「杯子最终放进柜子」的完整预测视频，机器人也不知道该动哪几个关节、用多大速度、中途会不会碰到柜门。预测输出的是未来画面，决策需要的是可执行动作，二者不能直接划等号。

所以第二类需要统一的接口，就是决策接口。它要把预测覆盖的时间范围、候选动作对应的状态变化、任务评分及可靠性，完整传递给决策环节。工程上还要明确三件事：候选动作由谁提出、未来结果按什么标准评分、选定的方案怎么落地到真实控制。缺少任何一环，世界模型都只是展示未来的旁观者，没法真正改变 VLA 的行为。

TD-MPC2 展示了一条具体的落地路径：在模型学习到的潜在空间里做模型预测控制（MPC），通过模型展开和价值估计来选择动作。这给 VLA 系统的启发是：不用直接在庞大的原始动作空间里盲目搜索，可以先让动作模型输出有限的候选方案，再用世界模型逐一评估后果，效率会高很多。

另一条路径是把预测的价值前置到训练阶段。DreamerV3 从交互经验中学习世界模型，再用模型生成的想象轨迹训练行为策略。这样部署时就不用每次都在线调用世界模型搜索，部分规划能力已经固化进了策略里，能减少在线计算开销。代价是面对全新场景时，策略没法当场重新对比足够多的方案，灵活性更差。

两条路径对应不同的产品预算和场景。快速分拣这种高节拍、场景固定的任务，适合用想象训练把策略预先学好，优先保证效率；整理、装配这种变数多、流程长的任务，适合在线规划，用时延换取场景适应性。但前者受训练覆盖范围限制，后者依赖预测的可靠性，没有绝对的优劣之分。

长时程任务还有一个容易被忽略的目标函数问题。「柜门打开」只是取杯的前置条件，「夹爪闭合」也不代表成功抓取。如果评分机制只奖励接近目标画面，系统就可能忽略杯子是否稳定、后续路径是否可达。规划器需要衡量中间步骤的价值，还要为后续操作保留余地。

预测越远，误差累积就越容易影响选择。一个更可行的方案是：每次只执行计划的前一小段动作，收到新观测后立刻重新规划，同时用任务阶段来组织更远的目标。这样局部控制负责修正眼前偏差，任务记忆负责维持整体进度。但它的前提仍然是可靠的状态估计，不能靠频繁重算来弥补始终看错环境的问题。

第三重缺失是闭环反馈接口 —— 动作执行的偏差如果不能反过来修正状态估计与后续预测，系统就永远没法从失败里自愈。

机器人预期拉开抽屉，实际只让把手轻微移动了一点。偏差的原因可能是抽屉卡住了、抓取打滑了，也可能是控制命令没有完整执行。如果只是把最新的图像重新输入 VLA，这些因果线索就全部丢失了，系统只会机械地重试同一个动作，大概率还是失败。

反馈接口要做两件事：一是记录实际执行了什么动作，二是记录预测与观测在任务关键变量上的偏差，再把结果送回状态估计与规划环节。只有这样，「出了错」才能转化为「接下来需要补什么证据」，而不是无脑重试。

这里的不确定性不能只是一个装饰性的置信度。模型输出的候选动作分布很分散，可能意味着有多种同样有效的抓取方式，也可能意味着模型根本没见过当前场景。两种情况需要完全不同的处理：前者可以继续挑选最优解，后者可能需要换视角观察、做小幅度试探，或者交由人工确认。系统应该通过独立测试来检验自己的可靠性估计，而不是直接相信模型自报的分数。

反馈还要能真正改变行为。对抽屉卡滞的怀疑，可以触发低幅度的试探动作；对目标被遮挡的怀疑，可以触发主动观察调整视角。只有当不确定性真的能影响动作选择，它才算真正进入了控制闭环。把真实偏差长期记录下来，也能帮助团队区分是感知缺陷、动力学误差还是执行故障，减少故障排查中的反复试错。

需要明确区分的是，更新当前状态不等于在线修改模型参数。前者是每次交互都可以进行的状态修正，后者涉及训练稳定性、数据筛选与版本验证。不要把「闭环学习」过度包装成机器人能在现场自动解决一切问题，在实际交付中，保留可回放、可复查的交互记录，反而更有操作价值。

跨本体泛化的瓶颈，往往不只是模型容量问题，更多来自接口与数据语义的统一标准。数据格式统一了，不代表含义就一致了，更不代表就能直接执行。

跨本体迁移就像把同一份工艺图纸发给不同的机床。机械臂长度、关节数量、夹爪形式、控制频率、负载能力不同，能实现的动作本来就有边界。把数据存成同一种文件格式，只解决了「能读取」的问题，没有解决「含义相同」和「能够执行」的问题。

Open X-Embodiment 已经汇集了超过百万条真实机器人轨迹、覆盖 22 种不同本体，是行业在跨机器人学习上重要的基础设施尝试。但不能因为数据已经汇集，就直接认为所有本体之间已经能实现无损迁移。

对齐工作可以拆成三个层次来理解。记录层约定图像、动作和时间的组织方式；语义层明确动作究竟表示位置、速度还是增量，同时约定单位、坐标系和控制周期；执行层处理关节限制、碰撞检测和动力学约束。三层都需要工程投入，模型也需要从足够丰富的交互中学习它们之间的对应关系。

一个很简单的例子：同样写着「向前移动 0.01」，它可能表示一次位置增量，也可能表示一个速度目标。就算单位完全一致，不同的控制周期也会走出完全不同的轨迹。再比如同一个末端目标位姿，长臂可以到达，短臂就不可达；双臂系统可以通过协作实现，单臂系统就需要调整任务顺序。这些都不是单靠模型能力提升就能解决的，是接口语义的标准问题。

更可行的方向是，共享部分只表达任务意图和期望的物体状态变化，本体相关的部分负责把意图转化为可执行的控制指令。Octo模型就把适配新观测与新动作空间纳入了模型设计，展示了通过微调适应不同机器人设置的能力。这支持了「共享知识 + 专门适配」的思路，但距离即插即用还有很远的距离。

这也回答了模型与标准谁更关键的问题：接口负责让经验可比较、可调用，模型负责从经验中学会适应。就算坐标与单位全部对齐，新夹爪的摩擦、形变和接触行为仍然需要真实交互去学习。更合理的验收方式是，先排除语义不一致带来的问题，再测量新本体还需要多少真实交互数据，避免把两类成本混在一起。跨本体能力的商业价值，最终要落实到新设备的接入成本上。

下一代机器人基础模型，最终会走向「一个大模型包办一切」，还是标准化接口下的模块化组合？目前行业还没有定论。

从这篇综述的逻辑和当前工程落地的规律来看，它大概率不会是简单的模块拼装，更可能走向基于标准化接口的「专业化分工 + 联合校准」架构。

我们可以做一个工程层面的推演：感知编码器与记忆模块维护环境状态，动作专家输出候选动作方案，世界模型预测动作后果，规划器权衡收益与约束，本体控制器负责最终执行。这只是基于接口逻辑的推演，不是综述已经验证的成品方案。

这种架构的潜在价值是专业化。语义知识和任务记忆可以较广泛地共享，触觉处理、精细接触与底层动力学则可以按设备或场景单独优化。更换夹爪时，团队有机会只调整动作模型与硬件适配模块，不用全栈重训；升级预测能力时，也有机会复用原来的控制链路。前提是接口约定保持稳定，且替换后要经过完整的回归测试。

模块化同样可能带来新的问题。编码器压缩掉的信息，后续模型很难补回来；多个专家分别优化，可能出现目标冲突；在线调用链过长，又会抬高系统时延。如果只看各模块自己的准确率，放到连续任务中系统仍可能频繁失败。组合模型必须围绕共同任务联合训练或校准，才能避免责任在模块之间来回转移。

统一大模型也有其存在的充分理由。共享参数有机会减少表征转换的损耗，让行动与预测通过联合训练相互约束。但就算把所有能力塞进同一个网络，也不会自动消除数据缺口、时间错位和物理限制。单体与模块化更像一个连续的设计空间：一个联合训练的模型，可以保留不同的输出头；多个独立模型，也可以围绕共享状态形成紧密协作。

因此，近期最值得统一的，未必是全部内部特征表示。更实际的起点，是状态与动作的语义、时间基准、预测结果的评价方式、失败反馈规则和版本记录。共享潜在空间可以在具体系统内训练，而跨团队协作先从可解释、可测试的边界开始。过早固化尚未成熟的内部表示，反而可能限制后续模型的进步。

验证「统一接口」是否有价值，同样需要换一套评估标准。除了报告单次任务成功率，更应该在固定算力与时延预算下，比较连续任务完成率、失败后的恢复能力以及人工接管次数；更换本体后，再比较新增数据量和适配工时。只有移除某个反馈环节会稳定损害表现，才能说明它确实参与了决策。

对机器人企业而言，基础模型的竞争迟早会延伸到系统接入与持续运维。这一趋势和早年大模型从单任务模型走向组件化、API 化的路径高度相似——最终决定长期竞争力的，从来不只是单模型的精度，更是生态兼容成本和系统迭代效率。

只是机器人还要多承担一层物理世界的约束：实时控制不能出错，物理执行有明确边界。单模型精度当然重要，但能不能低成本接入、快速升级、快速定位故障，才决定了能力能不能持续转化为交付价值。

下一代机器人基础模型是否会由一个网络包揽全部能力，目前仍没有定论。但在真实作业场景里，有一个检验标准已经足够具体：当动作没有得到预期结果时，系统能不能指出哪项判断失效，并据此改变下一步。 能把这件事做成闭环，理解、行动与预测才算开始真正合流。