Zero‑HLM｜Real2Sim2Real新范式，无需真机数据实现人形全身协同操作

写在前面：作为德塔智能原生人形基础模型技术体系的组成部分之一，原生3D世界引擎的一个重要能力就是通过Real2Sim对真实物理环境进行建模还原，从而在仿真中实现更高效的策略评估，参数搜索，甚至数据合成。以下是我们在这一方向上的最新探索。

对人形机器人行业长期存在真机演示数据采集成本高昂、硬件损耗大、泛化能力弱的行业痛点，来自北京通用人工智能研究院、北理工、清华、德塔智能的研究团队推出 Zero‑HLM 框架，创新打造 “手机实景采集‑仿真规模化造数‑真机零样本部署” 全新技术路线，开辟人形机器人数据集 2.0 “实景炼数” 新路径，彻底告别高成本、低效率的真机 “实验室造数”。

Zero‑HLM 实‑仿‑实框架，依托普通手机设备即可完成场景重建，一站式产出具备视觉保真与物理交互能力的大规模人形全身协同操作演示数据，专为具身人形智能长时序全身协同任务打造。

传统人形 Loco‑Manipulation（全身协同操作）高度依赖真实机器人采集示教数据。真机采集虽然数据真实，但成本高、耗时长、硬件损耗严重，很难大规模产出手脚协同、长时序复杂任务样本。而直接使用仿真，又面临两大现实难题：如何构建视觉真实同时支持物理碰撞交互的数字孪生环境；如何在运动跟踪出现偏差时保障交互动作不失效。

Zero‑HLM 完整流水线分为四大环节，不需要大规模真机示教，就可以生成大量物理校验合格的人形演示样本：

基于手机拍摄完成智能体驱动实景转仿真，构建视觉、物理几何对齐的可交互数字孪生

仿真遥操作获取源演示轨迹，作为数据生成锚定模板

运动‑环境协同自适应，规模化自动生成经过物理校验的仿真演示数据

仿真训练策略直接零样本迁移部署至真实人形机器人

团队利用 Zero‑HLM 生成4800 条经过物理验证的仿真演示样本，数据采集效率相比真机采集平均提升1.8 倍。仅使用这套仿真数据集训练，模型就可以零样本部署在G1人形机器人，完成三项复杂长时序全身操作任务。

团队基于G1人形机器人开展真机物理部署，设置三项典型人形全身协同任务：

任务 1：移动拾取放置｜行走至桌前，拾取香蕉，放入目标篮筐

任务 2：低位取帽放置｜下蹲拾取帽子，起身搬运，放置进柜边篮子

任务 3：腿部辅助篮子搬运｜双手提篮，脚关闭柜门，将篮子放置凳子上

在 GR00T N1.7 模型下开展对照实验，同等硬件、模型配置条件下：

基础测试场景：纯仿真数据训练平均全任务成功率 66.7%，相比真机数据训练提升 20 个百分点；

5组泛化测试场景：真机综合任务成功率从23% 提升至 69%，全程不新增任何真实机器人演示样本。

除基础任务之外，模型同时具备语言接地泛化能力。在同时存在目标物体、干扰物体的场景中，接收不同自然语言指令，可以精准完成 “香蕉放进编织篮”“苦瓜放到白盘子”，不会误操作无关物体，实现语言指令驱动的物体选择与全身操作。

为推动领域标准化对比，团队同步建立人形全身协同操作基准测试集。

基准包含4 套主流算法策略、3 项长时序任务，拆解为 9 个技能阶段。所有模型统一初始化分布、统一全身控制接口，每项任务运行 100 次仿真评估。

测试结果显示：

Diffusion Policy（DP）整体表现偏低，平均成功率仅 2.7%；

GR00T N1.7 在长时序全身协同操作任务表现突出，平均仿真任务成功率达 69.7%；

π0.5、DiT4DiT 也取得可观效果，但在手脚耦合、长时序任务上仍存在明显差距。

统一 Benchmark 为后续研究提供标准化评估协议，方便横向对比各类人形策略模型，同时支持开展数据规模缩放的相关研究

Zero‑HLM 给出一条低成本可规模化人形全身移动操作全新路径：普通手机采集实景，高斯重建构建数字孪生，仿真自动生成物理有效轨迹，直接零样本部署真机。

这项工作证明高质量、经过物理校验的仿真生成数据，不仅可以替代昂贵的真机示教采集，在多场景泛化能力上甚至可以超过真实世界采集数据集。依托通研院-德塔智能联合实验室，未来团队将继续拓展更复杂家居、工业交互场景，进一步扩大仿真数据生成规模，持续缩小仿真与现实之间的鸿沟。

最近OpenAI GPT-6 Astra在Real2Sim场景还原上的能力提升，也将使得这条路线的边际成本进一步降低，未来的潜力进一步增大。

关注我们 获取更多信息