大数跨境

「看看视频机器人就会干活」这句话,漏掉了 44.56 个百分点

「看看视频机器人就会干活」这句话,漏掉了 44.56 个百分点 伺服位
2026-11-05
0
导读:QUOTE一个只会盯着眼前路况的司机,开不出从这儿到机场的路线。—— 机器人日报 「机器人看看视频就能学会干

QUOTE

一个只会盯着眼前路况的司机,开不出从这儿到机场的路线。

—— 机器人日报

「机器人看看视频就能学会干活」——这句话过去一年以各种版本在流传。世界模型火了之后,它升级成了更完整的一句:有了世界模型,机器人的泛化问题就解决了。

10 月,北京大学、智元机器人、CocoMatrix 的联合团队在 arXiv 上发了篇论文,标题直译过来是《重新思考用于组合式与上下文式机器人操作的世界-动作模型》。它干的事,就是给这句流传的话做一次压力测试。

先给结论:这句话对了一半。

— ViGAR 框架

本文看点

01

第一条:只靠世界模型,随机场景只对 22.46%

02

第二条:Clean 看不出差距,问题全在 Random

03

但它对了一半

01

SECTION

第一条:只靠世界模型,随机场景只对 22.46%

世界-动作模型(WAM)的逻辑不复杂:喂海量视频,让它学「做完这个动作,世界会变成什么样」。所以它泛化能力不错,换个物体、换个场景,大概知道该怎么动。

问题是它擅长回答「接下来 0.5 秒会发生什么」,完全不擅长回答「这个任务分几步,现在该干哪一步」。

论文里有个扎心的对照。一个叫 Cosmos3-Nano-RoboTwin 的模型,用和 ViGAR 完全一样的训练方法,唯一的差别是没加显式的子目标指导——随机场景成功率 22.46%。ViGAR 在同样条件下是 67.02%。

差 44.56 个百分点。十个任务里,一个做对不到两个,一个做对将近七个。

训练数据一样,底座一样,算力也一样。差别只有一个:要不要显式地预测「下一步该变成什么样」。

这个数字的价值在于,它把「规划」这件事从玄学变成了可测量的东西。以前说「模型缺少任务级大脑」是种感觉,现在它有了一个具体的价码。

— 关键数字


02

SECTION

第二条:Clean 看不出差距,问题全在 Random

更有信息量的是场景拆分。

论文用的基准叫 RoboTwin Clean2Random,分两档:Clean 是布局和训练时差不多,Random 是物体位置被打乱。

成绩单:ViGAR 在 Clean 是 82.00%、Random 是 67.02%;之前最强的基线 4D-WAM,Clean 81.50%、Random 41.80%。

Clean 场景下,两家差 0.5 个百分点。Random 场景下,差 25.22 个点。

同一组数字,两种解读。一种说「都很强」,一种说「一旦离开舒适区就崩」。我倾第二种。

因为它说明了一件事:当机器人只需要复述训练时见过的套路,各家水平都差不多;一旦场景变了、需要它真正判断「现在该干什么」,差距立刻拉开。

所以那些在受控环境里拍出来的演示视频,证明力其实很有限。真正该问的是:换个房间、换种光照、把杯子挪开十厘米,它还认不认得自己在干什么。


03

SECTION

但它对了一半

拆完两条,得说清这个说法在哪儿成立——不然就是唱反调。

我认为它成立的部分,比不成立的部分更有价值。

第一,世界模型确实是必需的底座。 ViGAR 用的底座叫 Cosmos3-Nano,160 亿参数、激活 80 亿,双分支架构:一条「推理器」处理语言和语义视觉,一条「生成器」用流匹配生成图像,两条路径通过共享的注意力层交流。

没有这个底座,规划器生成的子目标图像就没有物理常识支撑。论文的比喻我很喜欢:一个厨师对「炒到什么火候算好」的判断,和他手上翻勺、调温的肌肉记忆,建立在同一套对食材和热量的直觉上。如果规划和执行分别交给两个互不懂对方的人,一个人画出「菜应该长这样」,另一个人压根不懂这张图背后是大火收汁还是小火慢炖,执行必然走偏。

第二,用视觉当目标,确实比用语言强。 这是整篇论文的核心洞察。「把积木叠整齐」这句话说不清最终该是什么角度、留多大间距,但给一张「叠完之后」的照片,一眼就知道该放哪儿。

数据也支撑:子目标图像的质量指标里,仿真环境 LPIPS 是 0.13,对比基线 VISTA 是 0.38,差了将近三倍。

第三,上下文学习是真的。 只换一张全局目标图、不改动任何参数,机器人的行为就会跟着调整,去匹配这张图隐含的任务拆解方式。分布内任务进度 77.5%,训练时没见过的分布外组合,仍能做到 47.5%。

所以边界在哪:这句话成立在「模型学到了物理常识」这一层,不成立在「模型会自己规划」这一层。

常识和执行之间那层规划,得单独做。ViGAR 的做法是加一个子目标规划器:先「编辑」出一张下一步该长什么样的图,再让执行器把世界变成那样。

— Clean 与 Random


04

WHY IT MATTERS

为什么这句话会被传

不是谁在撒谎,是三方都需要它成立。

研究者需要。 「世界模型」是这两年最容易拿到关注和经费的词。一篇论文标题写「我们加了个子目标规划器」,没人转;写「重新思考世界-动作模型」,就有人点。ViGAR 这个缩写后面跟着的是一整套模块设计,但摘要里最先被读到的是「重思」。

媒体需要。 「看看视频就会」是一个完整的故事,有画面、有想象空间、有终局感。「随机场景成功率 67%」不是故事,是报表。

观众需要。 大家想看机器人把纸杯叠成一摞、把包子从蒸笼里夹到盘子上,不想看它在陌生房间里失败三十三次。而失败的那三十三次,恰恰是评估泛化能力的地方。

三方合力,一个必须额外补上规划层才成立的技术,被讲成了一个通用能力。


∞

THE END

写在最后

更准确的说法是:机器人不是看视频学会了干活,是看视频学会了常识,然后被教着先想清楚下一步长什么样。

论文里那个司机比喻我一直记着:一个只会盯着眼前路况的人,坑洼、红灯、加塞都能躲过去,但你问他从这儿到机场怎么走,他两眼一抹黑。

机器人现在装的,就是那套导航。

— 机械臂操作

*本文事实与数据综合自科技行者对 arXiv 论文《Rethinking World-Action Model for Compositional and In-Context Robotic Manipulation》的解读,观点部分为作者判断。*


END

我是 机器人日报。

如果你觉得今天这篇有收获,欢迎点赞、在看、转发三连,我们下篇见。

【声明】内容源于网络
0
0
伺服位
1234
内容 51
粉丝 0
伺服位 1234
总阅读0
粉丝0
内容51