大数跨境

英伟达发布机器人基模GR00T 2,12月开源,Jim Fan:机器人要有自己的System 1 | CoRL 2026

英伟达发布机器人基模GR00T 2,12月开源,Jim Fan:机器人要有自己的System 1 | CoRL 2026 AI科技评论
2026-11-10
48
导读:GR00T 2及其Turbo版本的模型权重,将在12月开放。
GR00T 2及其Turbo版本的模型权重,将在12月开放。

    作者丨张   驰

    编辑丨岑   峰

                                                                                                       

英伟达发布GR00T 2:机器人基础模型的新进化

一台机器人正在英伟达实验室中更换GB300服务器的内存模块。它用灵巧手取出旧模块,精准插入新模块,完成了一系列精细操作。英伟达GEAR团队联合负责人Jim Fan戏称,GR00T已经开始维护训练自己的数据中心,这被业界称为“递归式自我改进(RSI)”。

北京时间11月10日,在美国奥斯汀举行的机器人学习大会CoRL 2026上,Jim Fan发表主题演讲,正式介绍英伟达新一代机器人基础模型GR00T 2及其配套技术。

演讲中展示了机器人自主执行更换服务器部件、处理快递、化学实验、组装玩具、清理实验室及擦燃火柴等任务的案例。英伟达旨在解决核心痛点:如何让机器人兼具快速灵活的物理执行能力,以及大模型的复杂推理、规划与纠错能力。

与此同时,英伟达公布了覆盖机器人模型、仿真环境、智能体框架、数据集及硬件设计的开源计划。GR00T 2及其Turbo版本的模型权重预计将于今年12月开放,代码也计划同期发布。

从VLA到WAM:预测未来以指导动作

针对“前沿推理模型增强后,机器人是否还需要System 1模型”的讨论,Jim Fan指出,现实世界中的机器人仍需快速反应、低延迟及本地执行能力,因此高效的System 1模型依然不可或缺。

GR00T 2被定位为世界动作模型(World Action Model, WAM)。与传统视觉-语言-动作模型(VLA)不同,WAM不仅预测下一步动作,还同步预测动作执行后周围环境的变化。模型输入包括语言指令、多视角摄像头画面和机器人状态,通过扩散架构联合生成未来视频帧和机器人动作。这种让机器人在内部“想象”物理变化的设计,使其在学习动作的同时建立对物理世界的预测能力。

为满足端侧部署需求,英伟达开发了GR00T 2 Turbo。该版本采用约20亿参数,通过高效视频编码降低计算开销。在长时程操作测试中(如持续数分钟的化学实验),GR00T 2展现出强大的连贯性。数据显示,在50项未专门训练的任务中,其零样本平均成功率为40%;增加一次示范后提升至71%,五次示范后达到95%。这表明该模型能显著减少对新任务专用训练数据的依赖。

X-Adapt:跨形态技能迁移打破数据瓶颈

GR00T 2的另一项核心能力是X-Adapt,即跨形态技能迁移。其核心思路是在易采集数据的环境中学习技能,再迁移至真实机器人,无需目标机器人亲自演示。

数据采集方式主要包括三种:

  • 人类操作数据:通过佩戴传感设备记录人类操作,模型学习后将技能迁移至不同手部结构的机器人。
  • 手持式设备(如UMI):研究人员演示组装、抓取等动作,即使采集装置与目标机械臂结构不同,模型也能实现技能迁移。
  • 灵巧手外骨骼(DexUMI):通过可穿戴设备采集细致的手指运动数据,支持更细腻的抓取和双手协同动作学习。

此外,仿真环境也是重要数据来源。利用Isaac Lab等工具生成的强化学习轨迹,可进一步降低对昂贵真机数据的依赖。若能有效整合人类视频、手持设备数据和仿真数据,机器人训练的数据来源将大幅扩展。

统一认知:System 1与System 2协同纠错

Jim Fan提出了“统一认知”(Unified Cognition)架构,其中System 1负责物理动作执行,System 2负责任务理解、规划及监控,两者紧密协作。

协作方式包括:

  • 视觉引导(Visual Steering):推理模型分析场景并将操作指引标注在画面上,GR00T 2通过WAM API接收指引执行动作,实现语义推理与物理执行的分工。
  • 实时干预:在化学实验中,若System 1丢失计数信息,推理模型Astra会介入阻止错误重复,并指导调整显微镜旋钮。
  • 智能体框架管理:通过ASPIRE框架,机器人在任务失败时可调用恢复策略。例如在玩具飞机组装中,若机翼装反,ASPIRE调用恢复技能修正后,再将控制权交回GR00T 2。测试显示,结合该机制后,300次连续组装测试中成功292次。

这种分工既利用了大模型的推理能力,又满足了机器人对实时性的要求。

端侧部署:Jetson Thor上的实时运行

System 1模型的关键要求之一是本地运行能力。GR00T 2 Turbo与SONIC全身控制器结合,部署在宇树G1人形机器人上,可执行清洁、端取物品等任务。

技术层面上,GR00T 2 Turbo负责高层运动规划,单次预测延迟约124毫秒;SONIC负责底层关节控制,执行频率为50Hz。这种分层方案确保了高速动作执行的本地化,而复杂推理仍可交由外部模型处理。

全栈开源:构建开放的机器人技术体系

英伟达宣布开放一系列机器人技术,旨在降低开发门槛:

  1. GR00T 2及Turbo:模型权重及X-Adapt方案将于2026年12月开源。
  2. SimFoundry:仿真工具,支持将现实场景转换为仿真环境,1.0版本已开放,2.0版本预计2027年初推出。
  3. ASPIRE:智能体框架,通过积累程序化技能实现持续学习和错误修复。
  4. Flora:数据标注模型套件,用于生成视频描述和奖励信号,本地部署成本比使用Astra低约125倍。
  5. Human-1M数据计划:开放首批10万小时高质量第一视角人类视频数据。
  6. 硬件设计:公开UMI、DexUMI等数据采集设备的设计方案。

结语:机器人研究的“夏天”即将到来

演讲最后,Jim Fan展示了机器人自主擦燃火柴并点燃实验装置灯的无剪辑视频,将其称为“希望之火”。他从开场时调侃的“凛冬将至”转变为结束时的“夏天即将到来”,预示着机器人研究正迎来新的爆发期。

【声明】内容源于网络
0
0
AI科技评论
聚焦AI前沿研究,关注AI工程落地。
内容 9055
粉丝 0
AI科技评论 聚焦AI前沿研究,关注AI工程落地。
总阅读319.4k
粉丝0
内容9.1k