QUOTE
一个只会盯着眼前路况的司机,开不出从这儿到机场的路线。
—— 机器人日报
「机器人看看视频就能学会干活」——这句话过去一年以各种版本在流传。世界模型火了之后,它升级成了更完整的一句:有了世界模型,机器人的泛化问题就解决了。
10 月,北京大学、智元机器人、CocoMatrix 的联合团队在 arXiv 上发了篇论文,标题直译过来是《重新思考用于组合式与上下文式机器人操作的世界-动作模型》。它干的事,就是给这句流传的话做一次压力测试。
先给结论:这句话对了一半。
— ViGAR 框架
本文看点
01
第一条:只靠世界模型,随机场景只对 22.46%
02
第二条:Clean 看不出差距,问题全在 Random
03
但它对了一半
01
SECTION
第一条:只靠世界模型,随机场景只对 22.46%
世界-动作模型(WAM)的逻辑不复杂:喂海量视频,让它学「做完这个动作,世界会变成什么样」。所以它泛化能力不错,换个物体、换个场景,大概知道该怎么动。
问题是它擅长回答「接下来 0.5 秒会发生什么」,完全不擅长回答「这个任务分几步,现在该干哪一步」。
论文里有个扎心的对照。一个叫 Cosmos3-Nano-RoboTwin 的模型,用和 ViGAR 完全一样的训练方法,唯一的差别是没加显式的子目标指导——随机场景成功率 22.46%。ViGAR 在同样条件下是 67.02%。
差 44.56 个百分点。十个任务里,一个做对不到两个,一个做对将近七个。
训练数据一样,底座一样,算力也一样。差别只有一个:要不要显式地预测「下一步该变成什么样」。
这个数字的价值在于,它把「规划」这件事从玄学变成了可测量的东西。以前说「模型缺少任务级大脑」是种感觉,现在它有了一个具体的价码。
— 关键数字
02
SECTION
第二条:Clean 看不出差距,问题全在 Random
更有信息量的是场景拆分。
论文用的基准叫 RoboTwin Clean2Random,分两档:Clean 是布局和训练时差不多,Random 是物体位置被打乱。
成绩单:ViGAR 在 Clean 是 82.00%、Random 是 67.02%;之前最强的基线 4D-WAM,Clean 81.50%、Random 41.80%。
Clean 场景下,两家差 0.5 个百分点。Random 场景下,差 25.22 个点。
同一组数字,两种解读。一种说「都很强」,一种说「一旦离开舒适区就崩」。我倾第二种。
因为它说明了一件事:当机器人只需要复述训练时见过的套路,各家水平都差不多;一旦场景变了、需要它真正判断「现在该干什么」,差距立刻拉开。
所以那些在受控环境里拍出来的演示视频,证明力其实很有限。真正该问的是:换个房间、换种光照、把杯子挪开十厘米,它还认不认得自己在干什么。
03
SECTION
但它对了一半
拆完两条,得说清这个说法在哪儿成立——不然就是唱反调。
我认为它成立的部分,比不成立的部分更有价值。
第一,世界模型确实是必需的底座。 ViGAR 用的底座叫 Cosmos3-Nano,160 亿参数、激活 80 亿,双分支架构:一条「推理器」处理语言和语义视觉,一条「生成器」用流匹配生成图像,两条路径通过共享的注意力层交流。
没有这个底座,规划器生成的子目标图像就没有物理常识支撑。论文的比喻我很喜欢:一个厨师对「炒到什么火候算好」的判断,和他手上翻勺、调温的肌肉记忆,建立在同一套对食材和热量的直觉上。如果规划和执行分别交给两个互不懂对方的人,一个人画出「菜应该长这样」,另一个人压根不懂这张图背后是大火收汁还是小火慢炖,执行必然走偏。
第二,用视觉当目标,确实比用语言强。 这是整篇论文的核心洞察。「把积木叠整齐」这句话说不清最终该是什么角度、留多大间距,但给一张「叠完之后」的照片,一眼就知道该放哪儿。
数据也支撑:子目标图像的质量指标里,仿真环境 LPIPS 是 0.13,对比基线 VISTA 是 0.38,差了将近三倍。
第三,上下文学习是真的。 只换一张全局目标图、不改动任何参数,机器人的行为就会跟着调整,去匹配这张图隐含的任务拆解方式。分布内任务进度 77.5%,训练时没见过的分布外组合,仍能做到 47.5%。
所以边界在哪:这句话成立在「模型学到了物理常识」这一层,不成立在「模型会自己规划」这一层。
常识和执行之间那层规划,得单独做。ViGAR 的做法是加一个子目标规划器:先「编辑」出一张下一步该长什么样的图,再让执行器把世界变成那样。
— Clean 与 Random
04
WHY IT MATTERS
为什么这句话会被传
不是谁在撒谎,是三方都需要它成立。
研究者需要。 「世界模型」是这两年最容易拿到关注和经费的词。一篇论文标题写「我们加了个子目标规划器」,没人转;写「重新思考世界-动作模型」,就有人点。ViGAR 这个缩写后面跟着的是一整套模块设计,但摘要里最先被读到的是「重思」。
媒体需要。 「看看视频就会」是一个完整的故事,有画面、有想象空间、有终局感。「随机场景成功率 67%」不是故事,是报表。
观众需要。 大家想看机器人把纸杯叠成一摞、把包子从蒸笼里夹到盘子上,不想看它在陌生房间里失败三十三次。而失败的那三十三次,恰恰是评估泛化能力的地方。
三方合力,一个必须额外补上规划层才成立的技术,被讲成了一个通用能力。
∞
THE END
写在最后
更准确的说法是:机器人不是看视频学会了干活,是看视频学会了常识,然后被教着先想清楚下一步长什么样。
论文里那个司机比喻我一直记着:一个只会盯着眼前路况的人,坑洼、红灯、加塞都能躲过去,但你问他从这儿到机场怎么走,他两眼一抹黑。
机器人现在装的,就是那套导航。
— 机械臂操作
*本文事实与数据综合自科技行者对 arXiv 论文《Rethinking World-Action Model for Compositional and In-Context Robotic Manipulation》的解读,观点部分为作者判断。*
END
我是 机器人日报。
如果你觉得今天这篇有收获,欢迎点赞、在看、转发三连,我们下篇见。





