随着通用基础模型在物理控制领域的强势渗透，行业曾普遍担忧专用具身策略会被大模型“降维收割”。然而，商业闭源接口的物理黑盒、高延迟及权重不可获取等现实问题，长期阻碍了开发者的物理闭环训练。
近日，加州大学伯克利分校与清华大学联合团队发布论文《Democratizing Robot-Use Agents》，并开源了统一机器人 Agent 框架 uni-robot-agent。该框架为通用开源大模型连接仿真环境与真实机器人提供了一套可复用的工程基础，显著降低了技术门槛。
在无需针对具体任务进行专门训练（零样本）的前提下，开源权重模型 Qwen3.8-Flash-Next 表现优异：
1. 在 RoboDojo 仿真基准中得分 31.39，超越闭源旗舰 GPT-6 Astra 此前公布的基线（28.97 分）及多个微调基线模型；
2. 在 19 项真实机械臂操作中获得 53.50 分，高于零样本 Dream-1（43.50 分）及经过大量数据微调的专用模型 π₀.₅（47.75 分）。
图注：uni-robot-agent 的实验结果与系统概览
研究团队阵容强大，共 28 位作者参与。第一作者为 Jiarui Yuan，项目负责人包括 Yuxin Zuo（曾参与 Qwen3.5 项目）和 Xiaoyu Huang。核心成员还包括伯克利机器人学习实验室主任 Pieter Abbeel，以及清华大学教授刘知远、周伯文等知名学者。
模型与本体解耦：构建统一运行中间件
大模型控制机器人的核心痛点在于不同模型、机械臂与仿真环境间的接口割裂。uni-robot-agent 作为连接基础模型与物理硬件的 Agent Harness（统一运行中间件），其核心设计原则是决策与执行彻底解耦，采用五层架构：
图注：uni-robot-agent 五层架构图
- Agent 层：接收任务目标，管理多模态上下文，驱动大模型输出结构化意图；
- Orchestration（编排层）：管理状态机，校验动作参数，调度异步任务与异常拦截；
- Tools（工具层）：封装通用原子化控制接口（如空间位姿平移、夹爪控制等）；
- Services（服务层）：处理相机标定、点云投影与空间坐标变换；
- Backend（后端层）：对接具体硬件驱动或仿真内核（如 Franka、ALOHA、RoboDojo）。
例如，当模型接收“把红色积木放到蓝色积木上”指令时，只需通过统一工具接口提交目标位置与姿态，框架再通过环境适配器将其转换为机械臂可识别的控制命令。执行后，机器人返回状态反馈，形成闭环。
此外，框架引入了工具复用机制。通过统一接口和环境适配器，将原本 N×M 的组合实现压缩为 N + M 的适配器模式，大幅降低重复开发成本。
图注：工具与环境适配器的复用关系
在效率优化方面，框架采用模型推理与底层执行重叠的流水线调度。在机械臂移动的同时并行预加载下一步规划，有效压低端到端延迟，为高频交互轨迹采集奠定基础。
图注：串行交互与流水线执行
开源阵营的物理战力验证
研究团队在虚拟仿真 RoboDojo 测试与真实物理双臂环境下进行了系统性评测。
42 项 RoboDojo 仿真测试
RoboDojo 基于 Isaac Sim 构建，涵盖开放泛化、精细装配等五个维度。评测严格限制仅使用 RGB 画面、相机标定与关节读数，剥离深度图等外挂信息，迫使模型依靠真实视觉输入进行空间推演。
图注：42 项 RoboDojo 仿真测试结果
1. 开源模型表现亮眼
接入 uni-robot-agent 后，开源模型 Qwen3.8-Flash-Next 得分 31.39（成功率 25.00%），DeepSeek-V4.1 得分 27.11（成功率 21.39%），均超越此前 GPT-6 Astra 配合旧系统跑出的 28.97 分。
2. 中间件效能显著
控制变量实验显示，同一 Qwen 模型在旧基准 RoboProbe 下仅得 1.90 分，在新框架下飙升至 31.39 分，证明中间件的精密程度对物理世界发挥至关重要。
3. 顶尖模型上限被拉高
GPT-6 Astra 换用新框架后，纯视觉得分升至 51.90 分（成功率 46.67%），引入深度数据后达 56.76 分。这表明前沿闭源模型认知优势明显，但此前受限于工程框架。
19 项非结构化桌面实机盲测
在 ARX AC one 双臂平台上进行的 Real Eval 真机测试，覆盖空间理解、物体泛化等五个维度。
图注：真机任务代表性场景
实机评测成绩对比如下：
- GPT-6 Astra：80.50 分
- Qwen3.8-Flash-Next：53.50 分
- 专用具身策略 π0.5（微调）：47.75 分
- 视觉运动策略 Dream-1（零样本）：43.50 分
图注：19 项真实机器人测试的五维度成绩对比
结果显示，通用大模型凭借“常识推理+容错自愈”的泛化优势，无需特定训练即可超越依赖海量遥操数据的专用模型。Astra 的领先进一步证明，机器人物理操作的天花板取决于基座模型的认知高度。
决定机器人 Agent 成败的关键能力
研究通过横向消融与失败归因，提炼出物理智能体必须具备的四项核心支柱能力：
- 通用视觉理解：在复杂光照和遮挡环境中辨识物体状态；
- 空间定位能力：将二维图像像素准确锚定为三维几何直觉；
- 几何编程能力：自主编写几何算法，通过多视变换解算空间坐标；
- 具身常识推理：理解刚体形变、摩擦力、重心及防碰撞等物理直觉。
图注：四项关键能力与不同模型失败率之间的关系
研究发现，模型参数规模与物理操作能力并非简单线性正相关。较新的 Qwen3.8-27B 表现稳定，而参数量更大的早期模型却频繁失败。这表明，若预训练缺乏针对空间几何、视觉对齐及代码生成的有效训练，单纯堆叠参数量收益有限。
图注：通用模型能力评测与 RoboDojo 成绩之间的相关性
同时，具身成绩与 MMMU-Pro、ERQA、ScreenSpot-Pro 及 LiveCodeBench 等通用基准呈现高度正相关。这启示行业：强化通用模型的多模态空间理解、物理因果直觉与几何代码生成能力，是注入物理智能体控制中枢的关键路径，而非仅依赖高昂的机械臂遥操数据。
项目地址：https://github.com/Open-RUA/uni-robot-agent
声明：本文为 AI 前线原创，不代表平台观点，也不构成投资建议，未经许可禁止转载。
