大数跨境

凡拓数创与北大深研院联合发表论文,攻克机器人世界模型仿真运动迁移难题

凡拓数创与北大深研院联合发表论文,攻克机器人世界模型仿真运动迁移难题 凡拓AI
2026-11-03
4
导读:机器人抓取物体前,能不能先“想一想”:手臂应该怎么动?物体会怎样变化?如果预测得更准,机器人训练就有机会减少


机器人抓取物体前,能不能先“想一想”:手臂应该怎么动?物体会怎样变化?如果预测得更准,机器人训练就有机会减少反复试错。这正是机器人世界模型要做的事——根据眼前画面和计划动作,预测接下来可能发生什么。

但训练这类模型,靠真机视频往往成本高、动作变化复杂。仿真环境可以快速搭建场景、重复执行动作,是更可控的数据来源。问题在于,仿真与真实环境很难完全一致:灯光、材质、背景有差别,仿真运动结果也可能有偏差。如何利用仿真中学到的运动规律,同时避免把外观差异和仿真误差带入真实世界预测,是机器人模型研究的一大难题。

然而,仿真场景再方便,也很难和真实环境完全一样:灯光、材质、背景有差别,仿真运动结果也可能有偏差。如何利用仿真中学到的运动规律,同时避免把外观差异和仿真误差带入真实世界预测,是机器人模型研究的一大难题。

针对这一难题,凡拓数创与北京大学深圳研究生院联合展开研究,提出了SimForcing框架,并发表论文 《SimForcing: Distilling Simulation Motion Priors into Real-Domain Robot World Models》。这也是凡拓数创围绕具身智能仿真训练与物理AI工具链持续投入的一项阶段性成果。

论文链接:https://arxiv.org/abs/2610.06598

代码链接:https://github.com/Wang-Xiaodong1899/SimForcing



 SimForcing 用仿真辅助世界模型生成


仿真能快速搭建场景、重复执行动作,适合规模化训练。但如果只关注画面像不像,就容易忽略更关键的运动规律——机械臂往哪个方向移动?接触物体后,物体会怎样变化?

SimForcing的思路是:先在仿真数据中学习动作条件下的运动规律,再将运动先验迁移到真实域视频预测模型,并在预测阶段以可调节的仿真参考辅助生成。

与直接把仿真视频当作真实视频的替代品不同,SimForcing 把仿真当作两类资源来用:


● 运动知识来源:在仿真中学习动作与视觉变化之间的联系,把运动先验迁移到真实域模型。

● 可控预测参考:在真实视频预测时提供运动引导,同时允许模型降低对不可靠仿真结果的依赖。

重点不只是“使用仿真数据”,而是研究如何迁移运动知识,以及如何控制仿真预测对真实域生成的影响。对凡拓而言,这一思路也延续了其以仿真训练服务真实机器人任务的工程取向:不只生成数据,更让仿真能力进入模型训练与预测链路。


 两个关键手段,让仿真经验更有效


(1)不只看画面像不像,更要看动作怎么变


SimForcing 的第一个关键设计是潜在运动蒸馏(Latent-Motion Distillation)。视频经过压缩后变成一系列潜在特征,SimForcing 不直接比较仿真和真实画面的特征,而是比较相邻时刻特征的变化量,也就是“运动”本身。这样,模型从仿真中学到的是动作带来的变化规律,而不是画面长什么样。

仿真和真实视频的外观差异很大,如果直接让模型模仿仿真画面,它很容易把纹理、光照、背景这些无关信息也学进去,却忽略了真正重要的动作变化。潜在运动蒸馏解决的就是这个难题:它不比较画面本身,而是比较相邻时刻的变化量,让模型专注于“动作让画面发生了什么变化”。这样,仿真中学到的运动知识可以更干净地迁移到真实场景,减少外观差异带来的干扰。

根据Bridge 数据集消融实验显示,它在 PSNR、SSIM、FVD 和 LPIPS 四项指标上都优于直接匹配画面特征,验证了这种做法的有效性。


(2)把仿真当参考,而不是标准答案


第二个关键设计是多层条件引导(Multi-block Simulation Conditioning)与条件丢弃(Condition Dropout)。

训练时,模型在多个视频 Transformer 模块中接入仿真潜变量作为运动参考,同时随机关闭该条件并加入扰动,让模型学会“有参考就利用,没有或不准就靠已内化的运动先验预测”。

推理阶段,团队采用仿真条件引导(Simulation-conditioning Classifier-Free Guidance,CFG),组合“使用”和“不使用”仿真条件两条分支调节引导强度。仿真模型只在训练阶段使用,推理时真实域模型先生成仿真域潜变量,再引导真实域预测,无需额外调用仿真世界模型。团队还用分割出的机器人区域作为仿真域输入,降低外观干扰。


这一设计解决了仿真到真实迁移中“既想用仿真、又怕被仿真误差带偏”的核心难题,让仿真运动知识在真实域预测中更可控、更实用。同时,推理阶段不再依赖额外的仿真世界模型,部署成本更低。这为同类研究提供了一条可借鉴的路径。


 SimForcing的优势在哪里?


(1)视频预测更准,速度更快


在 Bridge 数据集上,SimForcing 在未使用外部具身预训练的方法中,取得了最佳 PSNR、SSIM、LPIPS 和 FVD。简单说,就是预测画面更接近真实、更自然,视频也更连贯,视觉幻觉更少。它的推理速度约为 Cosmos-Predict2.5 的 5 倍,说明不仅质量好,效率也更高。研究团队还在 InternData-A1 上做了验证,说明方法不局限单一数据集。


(2)下游策略学习成功率更高


在 LIBERO 基准上,团队用 SimForcing 预训练世界模型初始化下游策略模型,相当于让机器人先跟一个懂运动规律的“老师”学一遍。对比 Wan2.2 初始化,三种训练设置平均成功率都更高。最难的“仅动作训练”中,视觉部分被冻结,只能练动作决策,成功率仍从 82.6% 提升到 89.2%,涨了 6.6 个百分点。

这说明从仿真里学到的运动知识,是真能用到真机机器人身上的。哪怕视觉部分不能调,模型也能靠已经内化的运动先验,把动作做得更准。换句话说,用 SimForcing 世界模型做初始化,就是给机器人策略一个更好的起点,让它在真实任务里上手更快、成功率更高。


从仿真到现实,

关键是让训练链路真正打通


具身智能走向规模化,绕不开真实数据贵、试错成本高、场景覆盖有限的问题。仿真能补短板,但如果只停留在“生成数据”,价值仍然有限。SimForcing 的意义在于,把仿真中学到的运动规律迁移进真实世界模型,让仿真从“数据来源”变成参与真实机器人未来状态预测的“运动先验引擎”。

在推进具身智能落地的过程中,凡拓数创也沉淀了一套物理AI工具链。针对训练中场景构建难、数据质量不一、训推效率低以及缺乏闭环验证等痛点,该工具链通过四大核心平台提供全链路支撑:FunSim物理AI仿真平台解决高保真、可交互三维环境的快速搭建与重复验证问题;数据标注处理平台解决模型训练的基础数据质量问题;模型训练推平台解决高效训推与工程化落地效率问题;模型评测平台则通过高保真仿真评测,验证物理闭环以确保训练效果。四大平台相互协同,打通了从场景构建、数据准备到模型训练与闭环验证的完整链路。


这些工程化能力的背后,是凡拓数创在具身智能领域的长期技术积累。凡拓与北京大学联合打造的“面向具身智能的多层级空间仿真及训练一体化技术”已获评“国际先进”,而SimForcing正是双方围绕仿真运动先验迁移展开的阶段性探索。此外,双方共建的“具身数采训练与仿真协同联合实验室”,正致力于搭建从仿真数据生成、运动知识迁移,到真实域模型训练与策略验证的完整链路,为整个行业打通一条从仿真走向现实、从研发走向应用的可行通路。



【声明】内容源于网络
0
0
凡拓AI
凡拓AIDC创新中心以AI算力底座为引擎,构建自进化的新一代智能空间;依托全智能场景方案赋能千行百业,驱动产业智能化转型。我们致力于打造有温度、会思考、自进化的下一代展馆,让每次体验成为深度认知的起点。
内容 19
粉丝 0
凡拓AI 凡拓AIDC创新中心以AI算力底座为引擎,构建自进化的新一代智能空间;依托全智能场景方案赋能千行百业,驱动产业智能化转型。我们致力于打造有温度、会思考、自进化的下一代展馆,让每次体验成为深度认知的起点。
总阅读156
粉丝0
内容19