大数跨境

登顶RoboDojo-Agent超过GPT-6!世界模型ICL抢跑三个月后,Manifold AI流形空间交出R²SI技术答卷

登顶RoboDojo-Agent超过GPT-6!世界模型ICL抢跑三个月后,Manifold AI流形空间交出R²SI技术答卷 Manifold AI流形空间
2026-10-18
2
导读:以世界模型与空间智能为起点,持续探索智能与真实世界建立更深连接的可能。

近日,Manifold AI 流形空间在权威机器人学习基准测试 RoboDojo-Agent 榜单中登顶,超越GPT-6-Astra、英伟达GR00T-N1.7等国际知名模型。

三个月前,我们首次发布了具备上下文学习(In-Context Learning,ICL)能力的世界动作模型 WorldScape Policy 2.0。随后,Generalist AI 和 Skild AI 也官宣了各自具备上下文学习能力的具身模型 Gen-1.5 与 S1。

模型能力的提升,也需要与系统的自我改进相结合。Manifold AI 提出了 WorldScape R²SI(Recursive Robot Self-Improvement,机器人递归自进化)框架:通过内外双层 Agent 系统执行任务复盘、技能修正、经验积累,让有效经验进一步推动机器人模型和系统的双重自我改进。

01

登顶背后的两项技术支撑

 

RoboDojo 面向机器人操作能力,覆盖双臂操作、长程任务、记忆、泛化和精细操作等维度,要求系统在任务规定的原生动作步数限制内取得有效进展。

46.58

宏观进度分数 · 总榜第一

此次评测中,WorldScape R²SI 取得 46.58 的宏观进度分数,高于 GPT-6 Astra 取得总榜第一。

整个系统背后有两项核心技术支撑:

ICL

一次示范 · 学习新任务

ICL 关注机器人如何在不后训练的情况下,通过一次人类示范学习新任务;

R²SI

多次执行 · 持续改进

R²SI 将任务执行、经验复盘与技能更新连接起来,关注机器人如何在多次执行中持续改进。

两者共同指向一个目标:让机器人更有效地调用已有能力、应对变化,减少遇到新情况时从头探索的需要。

02

ICL:让机器人“一次就会”

 

今年 7 月发布 WorldScape Policy 2.0 时,我们提出一个问题:面对新任务,机器人能否不重新训练模型,仅看一遍人类示范即可完成任务?

毕竟真实世界可不是按照训练数据固定运转——模糊的指令、多样的操作物、多个任务随机组合、边干活环境边改变等等,这才是我们人类面对的日常。

通常机器人面对这些变化时,需要额外采集数据-训练-微调。而 ICL 将人类示范作为上下文,让模型在执行阶段利用示范适应新任务,不必改变模型参数。

WorldScape Policy 2.5 的能力体现在三个层面。

1动作迁移,物体规格随意改

观看印章操作示范后,机器人迁移了“盖章动作”到不同颜色和形状的新印章、不同位置和材质的落款页,超越了对某个物体和固定动作轨迹的简单记忆和模仿。

2技能组合,独立记忆完美衔接

从拿起鞋子到松开鞋带,任务涉及多个衔接的操作阶段。机器人需要根据当前观察调整行为,协调各阶段的操作。

这考察的是机器人能否根据新的任务要求组织已有技能,而非重复单一动作。

3零样本学习长任务


长程任务推理的难点是,前一步的结果会影响后续任务从而发生“宕机”,为管理长程任务中的信息,我们在 WorldScape Policy 引入视觉记忆与事件记忆机制,帮助系统保留环境变化、任务进度等关键信息。

经过我们这些实验,发现面对预训练已知任务,上下文学习已显著超越 VLA 模型;进一步面对未知任务,两者正确率甚至相差数倍。

不同训练任务数量 ICL/VLA 模型成功率对比

03

R²SI:让执行经验转化为持续改进

 

机器人每次执行任务,都会产生可用于改进的信息。抓取失败,可能需要调整接近方向;推移未达预期,可能需要改变接触高度;任务虽已完成,却耗费过多动作步数,也说明策略仍有优化空间。如果这些经验无法被有效复用,机器人就可能在下一次执行中重复犯错。

因此,从持续执行中进行经验积累、提升,是支撑具身智能通往真实世界任意任务的本质能力。

WorldScape R²SI 框架

R²SI 正是围绕这一问题提出的自进化系统,通过双层 Agent 结构,连接任务执行与经验分析、修正和积累,尝试形成持续改进的闭环。

R²SI 由内外两层 Agent 构成:内层负责执行,外层负责改进。

内层 · Robot Agent

任务执行

内层 Robot Agent 以多视角 RGB 图像、机器人本体状态、任务描述与回合记忆作为上下文进行决策,并通过按任务加载的 Skill 执行任务。调用 reactive model(WSP)本身也是一项 Skill:加载后,Robot Agent 依据观测调用 reactive model(WSP),该模型执行一个动作块即交还控制权,Robot Agent 再依据新的观测决定下一步。

外层 · Recursion Agent

经验分析与改进

外层 Recursion Agent 跨轮次复盘执行记录,修订 Skill,并以 Harness 更新的形式作用于内层。对于使用 reactive model(WSP)的任务,外层还将执行记录组织为训练数据,训练并更新该模型。各类更新均须通过测试,方可自动发布并纳入版本管理。

任务实例:从失败诊断到技能改进

以下两个案例分别展示这两条改进路径:push_T 中,外层改进 Skill;装箱任务中,内层调用 reactive model(WSP),外层对其进行训练。

案例一:push_T,改进 Skill

在 RoboDojo 的 push_T 任务中,机械臂需将 T 形物体沿桌面推入目标区域,使位置、朝向与接触状态同时满足要求,并在 600 个原生动作步数内完成任务。该任务不使用 reactive model(WSP)。

首轮执行中,Robot Agent 采用的夹持方向与任务不相适配,且在平移过程中同步转向,导致物体发生明显偏转。对齐完成后,夹爪一次性释放,又使物体偏离目标位姿。本轮共耗用 723 步,超出预算。

外层 Recursion Agent 据此修订 Skill:调整夹持方向;将平移与转向解耦,先平移、后分段转向;分阶段释放夹爪,并逐段检查物体是否偏移。修订版本通过测试后,自动发布至内层 Robot Agent。

更新后的 Skill 首次在预算内取得原生满分,耗用 596 步。经后续迭代,同一布局下的原生动作步数进一步降至 389,降幅约 35%。

596

预算内首次满分

389

后续迭代步数

≈35%

同一布局步数降幅

此后,该 Skill 冻结,外层停止更新。内层 Robot Agent 以 RGB 图像与公开的机器人状态作为观测,在 push_T 的三种随机布局上自主执行,分别以 222、312、256 步完成任务,均取得原生满分,且均未超出 600 步预算。

案例二:装箱,调用并训练 reactive model(WSP)

当任务切换至装箱时,外层 Recursion Agent 为内层加载调用 reactive model(WSP)的 Skill。执行中,Robot Agent 依据观测调用该模型;模型执行一个动作块后即交还控制权,Robot Agent 再依据新的观测决定下一步,如此往复。外层 Recursion Agent 随后将执行记录组织为训练数据并训练 reactive model(WSP),更新后的模型继续供内层调用。该模型由此既承担执行,又能在外层 Agent 的训练下持续改进。

内层通过 Skill 执行,调用 reactive model(WSP)即是其中之一;外层持续改进 Skill 与 reactive model(WSP),试错经验持续沉淀为可复用的能力。这就是 R²SI。

R²SI 双层 Agent 任务实例

04

从榜单成绩到机器人通用能力

 

回看 ICL 模型发布后的三个月,WorldScape Policy 从 2.0 探索通过一次示范学习新任务,到 2.5 探索动作迁移、技能组合与长程执行,我们持续研究机器人如何在复杂操作中利用观察、示范与记忆。

WorldScape R²SI 则进一步连接执行与经验改进:提炼技能、验证修改,并探索 Agent 与动作模型的协同进化。此次登顶,是这一系列探索的阶段性成果,下一站我们将在落地实战中见分晓。


推荐阅读

RECOMMENDED READING







加入我们

JOIN US


探索下一代世界模型

扫码投递

【声明】内容源于网络
0
0
Manifold AI流形空间
基于自研的世界模型构建具有通用理解和交互能力的具身智能体。
内容 23
粉丝 0
Manifold AI流形空间 基于自研的世界模型构建具有通用理解和交互能力的具身智能体。
总阅读805
粉丝0
内容23