本期作者:王昊禹, 本期论文共一,上海交通大学自动化与感知学院电子信息专业博士研究生,主要从事视觉—语言—动作(VLA)模型与世界模型训练研究,重点关注强化学习与基础模型训练方法。
如果你有值得分享的论文或者研究成果,欢迎添加投稿:germainecheung(请备注“研究投稿+学校/机构+投稿方向”),社区可以助力你的研究被更多志同道合的小伙伴看到~
这也是机器人世界模型值得重新梳理的原因。视频生成、潜在动力学、三维与物理建模等路线,分别提供了不同的预测内容和使用接口。理解它们的价值,需要追踪预测怎样进入机器人学习与行动的过程。
围绕这一问题,来自AItonomy Foundation及多所高校的75位作者共同撰写了文章《From Prediction to Control: A Survey of Closed-Loop World Models for Robot Learning》。团队成员的高校背景涵盖上海交通大学、香港科技大学(广州)、斯坦福大学、卡内基梅隆大学、牛津大学、南洋理工大学、新加坡国立大学等。
-
论文链接:
https://www.preprints.org/manuscript/202611.0078
-
项目主页:
https://github.com/aitofound/awesome-robot-world-model
1. 文章总体思路
文章的核心判断是:世界模型的质量取决于谁在使用预测,以及预测怎样参与学习或决策。 学习器利用生成轨迹训练策略,规划器比较候选动作的后果,评估器给行为评分,控制器根据执行偏差修正指令。文章将这些使用预测的模块称为consumer,即预测的使用者。
如图1所示,这一判断将全文组织成相互连接的几个部分。模型设计决定能提供什么预测,预测用途说明交给使用者的是什么信息,策略学习与动作选择决定这些信息怎样影响行为。真实任务提出要求、给出执行结果,执行经验再用于后续更新。图中的蓝色、橙色、绿色和紫色区域,依次对应模型、预测用途、学习与动作选择、真实世界。底部箭头将执行经验送回后续学习。
图1:从模型预测到策略学习与动作选择,再从真实执行返回后续学习的总体思路。
抓取任务可以说明这套思路为什么重要。规划器根据预测挑选动作时,接触位置或滑移的误差可能改变它对抓取方式的判断。误差是否重要,既与规划器查询了哪些动作有关,也与错误选择会带来多大的任务影响有关。这就是图1上方的Prediction-to-Control Gap所关注的问题:预测质量怎样转化为行动效果。
公式1用一阶近似表达预测误差与真实任务回报之间的关系:
公式1:预测误差与回报变化。
公式1中,q是一次模型查询,例如一段候选动作序列。Q是使用者实际发出的查询分布,ε(q)是预测ŷ(q)相对真实结果y(q)的误差。∂J/∂ŷ表示真实环境中期望回报J对预测变化的敏感程度,ΔJ表示误差引起的回报变化。
对于选择最高分动作的规划器,可以从候选排序理解这种敏感性:误差是否颠倒了两个动作的优先次序,而这两个动作的真实回报又相差多少。因此,理解模型质量,需要把预测误差、实际查询和动作后果放在一起。
这一认识也解释了多条技术路线为何并存。不同使用者需要不同的信息,对计算时间和预测误差也有不同要求。文章据此先讨论模型如何构造预测,再讨论预测如何被使用,随后考察真实任务中的收益,以及执行经验怎样推动下一轮学习。
2. 世界模型如何预测动作后果?
要让预测支持具体任务,首先要确定模型应该保留什么信息、能回答哪些动作查询。如图2所示,文章用预测空间、条件输入、知识来源和计算机制四项设计选择,对照不同技术路线。四项选择共同决定模型可以提供什么样的预测。
图2:不同技术路线在预测空间、条件输入、知识来源和计算机制上的常见选择,以及相应的主要用途。
2.1 预测空间:保留哪些信息?
抓取需要区分接触与滑移,导航需要记住遮挡后的空间和此前经过的区域。任务所需的信息,决定了模型该预测什么。
像素预测保留丰富的场景细节,潜在状态提供紧凑的表示,显式三维结构表达位置与几何关系,物理状态描述接触、材料和约束。模型也可以围绕具体任务预测奖励、价值或可供性。覆盖丰富细节的预测便于适配多种用途,任务相关的预测则将表示能力集中到动作判断所需的信息上。
此外,同一项任务也可以采用不同的预测空间,具体选择还要看模型的使用方式。为视觉策略生成训练视频时,模型需要提供相应的未来观测,在潜空间中规划时,也可以直接预测紧凑状态及其奖励。例如,EgoWAM对预测目标进行了直接比较。它保持策略骨干、动作头和数据配比一致,将未来预测目标分别设为像素级表示、DINO语义特征和三维运动流。在文中的三项真实双臂任务中,DINO语义特征在新物体、新场景测试中表现最好,三维运动流则在已知物体与场景中的位置、朝向变化测试中更有优势。预测空间明确了模型要输出什么,条件输入则规定了模型依据什么作出预测。
2.2 条件输入:预测怎样回应动作?
确定预测内容后,还要让模型区分不同动作会带来什么结果。规划器需要从同一状态出发,比较多种抓取方式。把候选动作作为条件输入,模型才能围绕这些动作分别推演未来。论文用公式2描述一种可查询的预测接口:
公式2:动作条件下的未来预测
公式2中,zₜ是由观测与动作历史得到的状态表征,a[t:t+H−1]是待查询的动作序列,H是预测时域。未来量y可以包含观测、潜在状态、奖励或物理量。这个接口将当前状态、待执行动作和预测结果对应起来,支持规划器比较不同动作的后果。
世界—动作模型还可以结合未来预测与动作生成。有的在训练时用未来预测监督策略,有的在执行时联合生成未来和动作。它们分别怎样影响行为,将在第3节展开。
2.3 知识来源:动作与后果的对应从哪里学来?
动作条件提出了查询方式,训练数据则提供学习这种对应的材料。真实机器人轨迹记录了可执行动作及其后果。互联网视频和人类第一视角视频提供更广泛的物体、场景与交互经验。仿真便于改变条件、收集轨迹。
结合这些来源,需要把广泛经验对应到具体机器人的身体和控制方式。例如,将视频中的手部运动转换为机器人可执行的末端轨迹,再用机器人交互数据学习动作与结果的关系。接触任务还可以利用触觉、力和本体感觉补充受力与接触状态信息。不同数据由此承担不同职责:扩展经验覆盖、建立动作对应、补充物理交互信息。
2.4 计算机制:预测何时能被使用?
将学到的关系用于机器人,还需要按预测的使用时机安排计算。为策略生成训练经验时,可以在部署之前集中进行推演与筛选。为当前动作选择提供依据时,则需要在控制周期内完成预测、搜索与评分。
循环状态模型压缩交互历史,便于反复推演。序列模型保留更丰富的上下文,扩散与流模型表达多种可能的未来。使用者需要在这些能力与推理开销之间安排计算。机器人持续运动时,环境也在推理期间变化,预测速度因此要与观测反馈和动作执行的节奏协调。
到这里,四项设计选择回答了模型能够提供什么、怎样提供。接下来要看这些预测交给谁,以及使用者怎样将它们转化为学习材料或动作依据。
3. 预测如何影响机器人的学习与行动?
3.1 预测以什么形式交给使用者?
模型输出可以包含状态、轨迹、分数或动作后果。文章按交给使用者的信息,区分五种预测用途。如图3所示,每种用途都对应机器人系统中的一项具体计算。
图3:预测的五种用途、使用时机,以及各自需要关注的误差影响。
特征,为策略提供任务状态。 策略、价值函数或规划器从表征中获取所需信息。预测训练可以帮助表征保留动作后果相关的结构,状态估计也可以向策略提供交互所需的变量。
生成经验,为学习器提供轨迹。 学习器可以模仿生成的演示,也可以在想象轨迹上进行强化学习。模型在这里提供训练材料,学习器据此更新策略。
评分,为学习和选择提供依据。 奖励或进展估计可以引导策略更新,成功或风险估计可以帮助挑选动作与策略。评分因而同时连接学习和执行。
决策,在行动前利用预测的未来。 规划器查询候选动作的后果,再进行比较。一些世界—动作模型则联合生成未来与动作,让预测参与当前动作的生成。
残差,根据预测与观测之差修正执行。 机器人比较预期接触与实际触觉后,可以修正下一条指令,或在偏差超过阈值时请求人工介入。这种修正可以在模型和策略参数固定时进行。
同一个系统可以组合多种用途,例如既生成训练轨迹,也对轨迹评分。分类的对象是预测的具体使用方式,同一篇工作可以包含多条路径。
3.2 这些用途怎样进入学习和执行?
前面的分类说明了使用者接收什么信息。图4进一步说明这些信息何时影响机器人:预测可以在训练时改变策略,也可以在执行时参与当前动作的选择。
图4:预测在学习时提供经验与表征,在执行时支持动作选择。实线表示信息传递,虚线表示参数更新。
训练时,预测通过学习过程影响部署后的策略。 例如,Dreamer先用世界模型生成潜在轨迹,再利用这些轨迹训练策略与价值模型。部署时由策略选择动作,无需在每次决策时显式搜索候选未来。
前面比较预测目标时提到的EgoWAM,就通过共享表征将预测接入策略学习。它同时学习动作和未来预测,推理时移除预测头,由动作分支使用训练后的共享表征生成动作。预测的作用因此通过训练后的特征保留在策略中。
执行时,预测直接参与当前动作的形成。 PlaNet从当前观测出发,推演候选动作序列的回报,执行选定动作,再根据新观测重新规划。预测在每轮规划中为候选比较提供依据。DreamZero采用联合生成的方式,同时生成未来视频与机器人动作,在共享模型中连接预测与行动。
两种时机对模型设计提出了不同要求。用于训练的预测,需要提供适合学习的经验或特征。用于当前决策的预测,还需要及时响应动作查询。预测内容、计算方式和使用者由此形成对应,下一步就要在具体任务中评价这种配合的效果。
4. 真实任务需要什么,怎样衡量收益?
4.1 任务怎样决定预测需求?
预测是否有用,要回到机器人需要完成的动作判断。图5将不同身体与任务的要求放在一起,说明模型设计为什么会随应用变化。
图5:不同身体与任务,对预测内容、使用方式和评价重点的要求。
机械臂操作依赖接触状态。物体位置相近时,摩擦、滑移或形变的差别会改变合适的动作,视觉与触觉因此可以共同提供信息。导航则需要在局部观测之外维持空间记忆,并在获得新观测后调整路线。两类任务分别强调接触信息和持续空间状态。
人形机器人要协调全身动力学与间歇接触,应对支撑和地形变化。驾驶需要预测其他交通参与者的运动,处理遮挡和稀有危险情形。跨机器人迁移还要求将共享经验对应到新的动作空间、运动学与传感器。
人机协作进一步涉及何时请求监督、怎样利用纠正。预测可以帮助安排人工介入,也可以支持人在模拟过程中修正动作。任务成功、监控时间、接管时机和纠正的保留,共同描述系统的实际使用效果。
4.2 怎样把模型表现对应到任务收益?
任务明确了所需信息,评价则要追踪这些信息被使用后的结果。文章从模型质量、机器人行为收益和部署可靠性三个方面展开。
模型质量关注预测是否回应动作、是否保留物理交互所需的信息,以及在使用时域内的误差和不确定性。行为收益关注策略使用预测之后的任务成功、回报、学习效率和适应能力。部署可靠性关注持续运行中的干预、恢复与能力保留。三者分别考察预测本身、预测的使用效果和持续使用中的表现。
具体比较应当与第3节的预测用途对应。如图6所示,生成经验的价值体现在用它训练出的策略上。评分模块需要比较预测排序与真实成绩,再考察采用推荐策略后的回报。规划模块则需要把动作查询、候选选择、任务结果和推理耗时联系起来。
图6:从预测用途出发,将模型诊断、对照设置与机器人行为结果对应起来。
比较行为收益时,还要明确投入的资源。文章将模型规模、演示或交互数据、真实交互时间及测试时计算列为资源条件。在声明的匹配资源条件B下,公式3以两项回报之差衡量使用世界模型相对基线的策略收益:
公式3:匹配资源下的真实收益。
公式3中,π_WM是使用世界模型的策略,π_base是预先确定的基线,J_real是真实机器人单次任务的期望回报。两项回报之差刻画该资源条件下的收益,估计的不确定性反映测量精度。将收益与数据、计算和时延一起观察,可以比较不同预测用途的实际价值。
部署过程还会留下动作、观测和恢复记录。一次可恢复的偏离、一次人工复位和一次碰撞,对运行的影响不同。记录事件类型、严重程度、干预频率与恢复表现,既描述了部署效果,也为后续学习提供了具体材料。
5. 执行经验如何推动下一轮学习?
5.1 当前修正和后续学习各做什么?
机器人获得新观测后,可以立即更新规划或修正下一条指令。这延续了第3节的执行反馈。积累的轨迹还可以进入训练,改变下一轮部署使用的模型与策略。前者调整当前动作,后者改变随后使用的预测与行为。
后续学习之所以重要,也与使用者的变化有关。策略学到新行为、规划器提出新动作后,实际查询分布Q随之变化。新的执行经验提供了这些状态和动作的真实后果,模型可以据此继续学习。如图7所示,执行、经验整理与模型更新因此相互联系。
图7:真实执行轨迹用于分析预测误差、整理经验、更新模型,并选择后续交互。
5.2 同一段经验怎样服务不同学习目标?
以物体滑落的一次抓取失败为例,预测模型需要学习动作实际造成了什么结果,滑移和失去接触的轨迹都能提供动力学信息。策略则需要学习在这些状态下怎样行动,纠正动作、恢复过程和成功经验可以提供相应的行为目标。模型学习动作后果,策略学习更合适的动作,两者从同一段执行中获得不同的训练材料。
VLAW提供了把这些环节连接起来的例子。它收集真实策略轨迹,用于更新世界模型和奖励模型。更新后的世界模型生成经验,奖励模型筛选成功轨迹,筛选后的生成经验再与成功的真实轨迹一起用于策略训练。策略随后产生新的执行轨迹,继续为模型更新提供材料。
执行反馈还可以指导下一轮该生成什么。例如,围绕需要补充的接触状态、物体条件或恢复过程构造样本,让合成经验服务于具体的学习需要。多轮更新中,新任务表现与已有技能的保留共同体现学习效果。
6. 世界模型“下半场”,还有哪些有趣的问题值得继续研究?
前面的讨论把模型设计、预测使用、任务评价与后续学习连在一起。图8进一步将这些连接转化为开放问题和相应的比较方案。
图8:围绕模型设计、预测用途与持续学习展开的研究问题及其比较方案。
怎样让模型学到真实决策需要的动作后果? 规划器会探索演示之外的动作。研究动作响应、接触变化与候选排序,可以将预测目标和训练查询更直接地对应到决策需要。这延续了第1节关于误差如何影响行动的讨论。
怎样在训练与执行之间安排预测计算? 有些能力可以通过预测训练进入策略,有些任务需要行动前的未来推演。两种机制适合哪些任务,怎样分配数据、计算与观测反馈,是第2、3节共同提出的问题。
模型与策略怎样在多轮执行中共同学习? 新策略改变实际查询,真实反馈更新模型,新的预测再参与策略学习。经验选择、纠正目标和已有技能的保留,决定这种相互作用怎样持续发挥价值。
这篇文章最终强调的是:世界模型的价值,要体现在机器人学到的策略和实际执行的动作上。 不同用途对预测内容、动作响应和计算时限提出不同要求,这解释了多条技术路线为何并存,也为比较和选择模型提供了共同依据。真实任务检验预测带来的收益,执行经验则为模型与策略的后续更新提供依据。
从预测到控制,世界模型研究的共同目标,是让机器人借助对动作后果的预测,更有效地学习、更可靠地行动,并在真实交互中持续改进。
点击下方关注我们
加入我们
JOIN US
扫码关注公众号
加入读者群
👋 Research AI+是一个面向青年研究者的 Global开放社区。我们汇聚了AI 、AI for Science/Engineering、Physical AI 方面的众多优秀学者、科研工作者、产业界研究员、工程师、AI项目开源贡献者和Tech Founders。是一个站在学术、产业与创业交叉点的创新型开源社区。
🍻我们日常会有前沿技术分享、闭门讨论会、Tech meetup、Research Party 等有意思的社区活动,希望通过高质量的社区活动和内容来促进科研、工程、技术的交流和进步!
👀社区有自己的媒体,会经常分享前沿科研工程内容和高质量的技术活动资讯,同时我们也会深度报道值得被关注的研究者、工程师、技术创业者,欢迎优秀的工作和团队来稿~也欢迎关注我们!

