38,100 小时数据 + 15 种机器人通吃：阿里通义发布 Qwen-RobotManip，插网线成功率 30% ，零样本跨机器人迁移达 23.9%

关注下方“公众号”，获取更多开源资讯

一、问题与产业痛点：为什么机器人操作模型"一个机器人一个模型"

机器人操作是具身智能的核心能力——从工厂流水线上的零件装配到家庭服务中的物品整理，从医疗手术中的精密操作到物流仓储中的货物分拣。但当前的技术路线面临一个结构性困境：

数据碎片化。不同研究机构、不同硬件平台收集的数据格式各异。有的记录关节角度（joint-space），有的记录末端执行器位姿（end-effector space），有的记录笛卡尔坐标（Cartesian space）。当试图把这些数据混在一起训练一个通用模型时，模型必须同时学习"不同表示方式之间的映射关系"和"操作任务本身的物理规律"，这极大地浪费了模型容量。

Scaling 失效。传统观点认为"数据越多模型越强"，但在跨具身场景下，如果动作表示不对齐，增加数据量反而可能引入冲突——一个机器人在关节空间中的"抓取"动作与另一个机器人在末端执行器空间中的"抓取"动作，数值上可能完全不同，模型会把它们当作不同的概念来学习，导致 scaling 曲线不稳定甚至下降。

泛化能力差。现有模型大多在单一机器人形态上训练和评估，遇到新的机器人（不同的臂长、关节数、夹爪类型）时性能急剧下降。关节空间控制尤其脆弱——因为关节角度是机器人特有的，换一台机器人就意味着全新的动作空间。

评估标准不足。现有基准大多只在训练分布内（in-distribution）评估，无法区分模型是真正学到了可泛化的操作结构，还是仅仅记住了训练集中的特定模式。一个只在训练集上表现好的模型，遇到新场景时可能完全失效。

本文的核心思路是：不是简单地堆数据，而是先把不同机器人的动作表示"对齐"到统一空间，然后再 scaling。这类似于自然语言处理中的"词嵌入"——不同语言的词汇被映射到同一个语义空间后，才能进行跨语言的理解和生成。

图片来源于原论文

---

二、方法设计："先对齐、再 Scaling"的三层架构

2.1 统一状态–动作空间表示

Qwen-RobotManip 的核心设计是将不同机器人的状态和动作映射到一个 80 维的标准化向量中，每个维度都有固定的语义含义：

• 关节维度（前 14 维）：按肩–肘–腕顺序排列，缺失维度用零填充；
• 末端执行器维度（第 15–20 维）：位置（3 维）+ 旋转（3 维，轴角表示）；
• 夹爪/手维度（第 21–80 维）：单夹爪用 1 维，多指手用 59 维（MANO 模型）。

这种设计的关键在于语义固定——无论机器人的实际自由度是多少，"位置"总是在第 15–17 维，"旋转"总是在第 18–20 维。模型不需要学习"这个机器人的位置在哪几个维度"，只需要学习"位置应该是什么值"。

2.2 相机坐标系增量位姿（Camera-Frame Delta EEF）

这是论文最具创新性的设计。传统方法用关节角度或绝对末端位姿表示动作，但这些都是机器人特有的。Qwen-RobotManip 采用相对于当前相机观测的末端执行器位姿增量：

其中  表示位姿的"逆组合"（在 SE(3) 流形上）。这种表示的物理直觉是：**"向右移动 5 厘米"这个指令，在任何机器人上都是一样的**——不管机器人的臂长、关节数、基座位置如何，只要末端执行器相对于相机向右移动 5 厘米，语义就是一致的。

消融实验（论文 Table 20）证实了这种设计的价值：

相机坐标系增量位姿不仅提升了同分布控制质量，更重要的是解锁了跨机器人技能组合和零样本迁移——因为动作表示与具体机器人的运动学解耦了。

2.3 模型架构：Qwen-VL + DiT 扩散策略

Qwen-RobotManip 基于 Qwen2.5-VL-7B 视觉语言模型构建，通过三阶段训练：

阶段 1：VLM 预训练。保持 Qwen-VL 的视觉和语言理解能力，同时引入视觉语言（VL）数据共训练，防止灾难性遗忘。

阶段 2：VLA 预训练。在 38,100 小时的跨具身数据上训练，数据组成包括：

• 机器人操作数据（约 70%）：来自 15 种机器人形态的真实操作轨迹；
• 人类视频数据（约 30%）：通过 Human-to-Robot（H2R）合成管道将第一人称人类视频重定向为机器人操作轨迹。

H2R 合成是数据扩展的关键。传统方法直接用人手关键点控制机器人，但人手和机器人夹爪的运动学差异巨大。Qwen-RobotManip 采用基于接触约束的重定向——首先检测人手与物体的接触点，然后将这些接触约束映射到机器人夹爪的对应位置，生成物理上可行的机器人操作轨迹。消融实验（论文 Table 16/17）显示，H2R 数据在 RoboTwin-C2R Hard 上将成功率从 54.7% 提升到 58.7%，在 LIBERO-Plus 上从 87.1% 提升到 89.0%。

阶段 3：后训练（Post-training）。在目标域数据上微调，同时混合 VL 数据和辅助 VLA 数据以防止过拟合。关键发现（论文 Figure 21）：仅用目标域数据微调时，随着训练步数增加会出现严重过拟合，OOD 性能持续下降；加入 10% VL 数据后过拟合减轻；加入 75% 辅助 VLA 数据后过拟合完全消除，OOD 性能持续提升。

图片来源于原论文

2.4 结构化具身提示与上下文策略适应

为了处理不同机器人的时间特性差异（帧率从 5 Hz 到 50 Hz 不等），Qwen-RobotManip 引入结构化具身提示（Structured Embodiment Prompt），包含 FPS 字段让模型感知当前 episode 的时间尺度。同时，上下文策略适应机制（In-Context Policy Adaptation）在 episode 开始时注入一个历史观察–动作块，让模型根据实际执行动态调整行为，而非依赖静态的类别标签。

消融实验（论文 Table 15）显示：结构化提示相比自然语言提示提升 2.5 个百分点；加入上下文适应后，在 10 步去噪预算下达到 70.9%，比无上下文基线提升 8.2 个百分点。

三、关键实验结果

3.1 跨基准综合评估

论文在 7 个基准上进行了系统评估：

在标准同分布基准（LIBERO 系列）上，Qwen-RobotManip 达到 SOTA 或接近 SOTA。真正拉开差距的是在分布外（OOD）和真实机器人评估上：

• RoboTwin-C2R Hard（同时施加背景、光照、高度、杂乱物四种扰动）：62.6% vs. DM0 的 51.7%，提升 10.9 个百分点；
• RoboTwin-IF（指令跟随，测试模型理解新指令的能力）：71.6% vs. π0.5 的 52.0%，提升 19.6 个百分点；
• RoboChallenge（真实机器人上的 6 项高难度长程任务）：36.7% vs. 此前 SOTA 的 5.0%，提升超过 7 倍。

3.2 真实机器人高难度任务：唯一超过 10% 的模型

论文 Figure 17 展示了 6 项挑战性长程任务的表现：

此前 SOTA 通用模型在这 6 项任务上的平均成功率仅 5%，而 Qwen-RobotManip 达到 36.7%。特别是在需要双手协调的插网线和薯条倒入盘子任务上，Qwen-RobotManip 是唯一达到 30% 成功率的模型。

图片来源于原论文

3.3 双手协调与抓取放置

论文 Figure 14 展示了两个关键能力：

双手协调任务（8 项）：Qwen-RobotManip 平均成功率 40.0%，远超 DM0（21.2%）、GR00T-MULTI（16.2%）和 π0.5（7.5%）。

抓取放置任务（12 项）：Qwen-RobotManip 平均成功率 63.3%，比 DM0（48.3%）高 15.0 个百分点，比 π0.5（23.3%）高 40.0 个百分点。

图片来源于原论文

3.4 涌现的自纠错行为

论文观察到一个有趣的涌现现象：Qwen-RobotManip 在真实机器人评估中表现出自发重试行为——当初次操作失败（如抓取滑落或放置偏差）时，策略会自动重新尝试，而不是继续下一步或卡住。Figure 16 的案例研究显示：在分拣电子产品任务中，模型第一次抓取成功但物体滑落，第二次再次滑落，第三次终于成功抓取并放入目标箱，最终任务成功（50% 成功率）。相比之下，DM0 也尝试了三次但每次都未能实现稳固抓取。

团队假设这种重试行为源于预训练数据的多样性——人类演示中自然包含不完美的尝试和随后的纠正，使模型将恢复策略作为策略的一部分来学习。

3.5 数据 Scaling 规律

论文 展示了关键发现：在统一动作空间表示下，跨具身数据遵循清晰的对数线性 scaling 规律——验证 MSE 随训练数据量从 1% 到 100% 持续下降。而在未对齐的表示（Ours w/o UnifiedSpace）下，scaling 曲线不稳定，预测误差显著更高。这说明对齐是 scaling 的前提——没有统一表示，增加数据量反而可能引入冲突。

四、讨论：为什么"对齐"比"堆数据"更重要

Qwen-RobotManip 的实验结果揭示了几个对具身智能落地具有重要指导意义的洞察。

第一，动作空间对齐是跨具身 scaling 的前提。论文的消融实验明确显示：未对齐的动作表示（简单拼接各机器人的原始动作字段）在增加数据量时 scaling 曲线不稳定，而统一表示（UnifiedEEF）下呈现清晰的对数线性 scaling。这说明"先对齐、再 scaling"不是可选项，而是必选项——没有对齐，数据量越大，模型越混乱。

第二，相机坐标系增量位姿是跨机器人迁移的关键。零样本迁移实验（AgileX → ARX/UR5/Franka）中，EEF 控制达到 23.9%，而关节控制仅 14.5%。在 UR5 上差距尤其显著——EEF 模式 22.8% vs. 关节模式 4.1%（5.6 倍）。这是因为关节角度是机器人特有的，而相机坐标系中的位姿增量是机器人无关的——"向右移动 5 厘米"在任何机器人上都是一样的。

第三，纯开源数据足以构建高性能操纵基础模型。Qwen-RobotManip 的 38,100 小时预训练数据全部来自开源机器人数据集和第一人称人类视频，没有使用任何专有数据。这说明操纵基础模型的数据门槛可能比想象中更低——关键在于数据合成和对齐基础设施，而非昂贵的专有数据采集。

第四，OOD 评估比同分布评估更能反映真实能力。论文发现，标准同分布基准（如 LIBERO Easy）无法区分预训练是否真正贡献了可泛化结构——所有模型在这些基准上表现都接近饱和。而 OOD 评估（RoboTwin-C2R Hard、RoboTwin-IF）才能揭示模型的真实泛化能力。团队呼吁社区将评估重心从同分布排名转向分布外泛化。

第五，VL 数据共训练防止灾难性遗忘。在 VLA 训练过程中，纯动作预测数据会侵蚀 VLM 的语言理解和视觉定位能力。论文通过在预训练和后训练阶段混合 VL 数据，有效保持了模型的基础能力——在 RoboTwin-IF 上，有 VL 共训练的模型达到 71.6%，无 VL 共训练的降至 64.6%。

五、总结与思考

把上述实验结论转化为给机器人公司、具身智能研发团队和制造业自动化部门的"选型指南"：

• 数据策略：不需要从零采集专有数据。利用开源机器人数据集（如 DROID、RH20T、Open X-Embodiment）和第一人称人类视频（如 Ego4D、EPIC-KITCHENS），通过 H2R 合成管道即可构建大规模预训练语料。关键是先对齐动作表示，再 scaling；
• 动作表示选型：对于需要跨机器人部署的场景，优先采用相机坐标系增量位姿（Camera-Frame Delta EEF）而非关节角度。这不仅能提升同分布性能，更重要的是解锁零样本跨机器人迁移；
• 模型架构：基于现有 VLM（如 Qwen-VL、LLaVA）+ DiT 扩散策略的架构已被验证有效。关键是设计合适的动作头（Action Head）和状态–动作对齐机制，而非从零构建全新架构；
• 评估标准：不要只在训练分布内评估。引入 OOD 评估（背景变化、光照扰动、高度变化、杂乱物干扰）才能真正检验模型的泛化能力；
• 真实机器人部署：Qwen-RobotManip 在真实机器人上的 36.7% 成功率虽然不高，但相比此前 SOTA 的 5% 已是质的飞跃。对于工业场景中的重复性操作任务（如抓取放置、整理排序），这一水平已具备实用价值；
• 后训练策略：在目标域微调时，混合 10% VL 数据和 75% 辅助 VLA 数据可有效防止过拟合，保持 OOD 泛化能力。仅用目标域数据会导致严重的域过拟合；
• 开源生态：Qwen-RobotManip 基于开源 Qwen-VL 构建，使用开源数据训练，降低了具身智能的准入门槛。团队已开源模型权重和代码（具体地址待论文正式发布后公布）。

对机器人制造商、具身智能创业公司、以及正在探索 AI 赋能自动化的制造企业而言，这项工作提供了一条"从 0 到 1"的技术路径：不需要昂贵的专有数据采集，利用开源生态和对齐基础设施，即可快速构建适配自身硬件的跨具身操作模型。"先对齐、再 scaling"的范式不仅适用于机器人操作，也为其他跨模态、跨域的具身智能任务提供了可复用的工程模板。