WAIC | Manifold AI创始人武伟谈世界模型将进入以物理为中心时代

2026 世界人工智能大会（WAIC）“具身智能前沿趋势与产业生态论坛”上，Manifold AI流形空间创始人武伟应合作伙伴乐聚机器人邀请在圆桌对话中输出关于具身智能的最新观点，深度输出了当下世界模型将进入以物理为中心时代的论点和论据。

主流的具身训练数据包括三类：

首先，关于仿真/合成数据，Manifold AI的实验结论是谨慎使用，严格控制比例。这个结论也是来自团队对于第一性原理的认知，让我们举例看NVIDIA Isaac Sim（英伟达推出的一款机器人仿真软件），其超参数仅有数万个，如果把一个仿真器看做一个小模型，用小模型生成的数据再去训练几十亿参数的大模型训练并不合理。如果我们用这个方式，初始的提升可能走的很快，但后期会碰到明显的性能天花板，且很难倒查出数据的问题点。

其次，关于Ego（第一人称视角）数据，其价值被业内低估，第一人称视角视频数据里包含了真实的成功和真实的失败，把人类的失败经验用于预训练是非常重要的。

最后，有一个容易被业内忽略的观点——Raw Data (原始数据）的采集和精加工数据管线同样重要。以往自动驾驶数据管线，就包含非常复杂的预标注、质检、后标注等。在具身数据采集过程中，大家会非常在乎外业数据采集，而中业和内业的数据清洗、打标、质检环节常有缺失，但我们团队会认为这个环节非常重要，且会在处理过程中留下尽可能多的物理场标签，这样利于以后做好多模态的约束和学习。

流形空间坚信，用尽可能多的高质量数据进行大规模生成式预训练后涌现的能力，可以覆盖下游的判别式任务。这个范式已经发生了两次。

GPT的训练其实是一个next-word-prediction这种生成式大模型的训练，比如现在需要一个客服，我们已经可以zero-shot（零样本）执行文本prompt。

该模型把所有的计算机视觉任务放到了生成式图片预训练里，下游所有的计算机视觉相关任务可以用图片prompt的方式去完成，其精度超越了专用的计算机视觉算子。

两次知名的范式示例，让我们团队比较看好世界模型的海量深层次预训练，会使得下游的action后训练产生小样本、零样本的推理能力。

当然历史成功的是数字世界的AI应用，关于物理AI，我们认为自动驾驶领域中有个已落地且得到有效性验证的数据闭环方法其实可以作为具身领域的参考。第一梯队的自动驾驶团队会进行one-model的预训练，而具体到某一个车型还会进行真机在环的数据闭环，这个工作就是当前模型版本先推送上车，在模型运行过程中安全员会进行突发状况的接管，这些接管数据会用于自动驾驶强化学习训练，而这一切正是在对齐人类偏好。所以我们有理由相信，具身智能也会存在一个真机在环强化学习、人类经验对齐的阶段，甚至具身模型数据训练最后会出现一个不需要人类主动接管的self evolving（自进化）范式来提升后训练精度。

当前无论是VLM（视觉语言模型）还是视频世界模型，都没有完全做出一个以物理为中心进行学习的具身基模。VLM的底层基础模型是以语言为中心的大语音模型，后来出现了以视频为中心的世界模型。而对于机器人来说，语言不是强需求，视觉是重要需求但不是充分必要条件，我们团队相信多物理场的约束是充分必要条件，即机器人需要视觉/动作/触觉等任意一个物理量时，模型都能输出对应的预测。

我们一直在研究迭代的世界模型就是物理为中心的世界模型。该模型的特点：