编者摘要：苹果 HALO 是一套具身智能研究验证框架，因采用组装方案被网友戏称为 “拼多多机器人”：机器人本体选用宇树 G1 人形机器人，搭载千问大模型，背部搭载 Mac mini 作为本地算力载体，并非苹果面向市场发售的成品机器人。
整套系统采用三层异步解耦控制架构，各司其职、运行频率各不相同。顶层为编排器，以 0.5Hz 低频运行，依托千问大语言模型，接收自然语言指令与机器人第一视角图像，完成语义理解、指代识别与长任务拆解，输出一系列原子子任务，不输出关节控制信号。中层是运动生成器，3Hz 频率工作，由视觉语言模型与苹果自研 DiT 扩散模型组成，基于子任务与实时画面，生成未来 5 秒全身运动姿态轨迹，学习了行走、落座、钻行、推物等家庭场景技能，仅规划动作，不负责平衡。底层为运动跟踪器，以 50Hz 高频闭环运行，基于强化学习策略，接收目标姿态与本体传感器数据，实时调整关节力矩，保障重心稳定、防止摔倒，对接机器人硬件电机接口。
HALO 核心亮点是纯仿真训练、Sim2Real 零样本迁移，无需提前扫描建图，在陌生环境测试任务成功率达 91%。该路线避开了真人遥操作采集海量真实数据的高成本模式，代表轻资产验证具身智能软件栈的新思路，当前技能范围仍有限，以基础移动交互为主，暂不支持精细抓取操作。
苹果HALO 人形机器人研究深度解读：三层控制架构与产业信号
苹果在arXiv 上发布的《Perceptive Humanoid Motion from Simulation》（HALO）并不是一台要立刻开售的消费机器人，而是一次"用现成硬件+ 自研三层智能栈+ 纯仿真训练"验证具身智能可行性的研究演示。它最值得关注的不是"拼了一台机器人"，而是证明了：一条不依赖大规模真人遥操作数据的人形机器人运动路线，已经可以在陌生家庭环境中做到91% 的任务成功率。 |
一、HALO 是什么：被网友戏称"拼多多机器人"的一次研究亮相
2026年下半年，苹果AI 研究团队在arXiv 发布论文《Perceptive Humanoid Motion from Simulation》，公开了一套名为HALO 的人形机器人感知运动系统。演示视频中，一台浑身插满传感器的双足机器人在陌生客厅里听懂人话、绕过桌椅、侧身穿过门缝、蹲到桌子底下，再坐到沙发上——整个过程没有提前建图、没有人为遥控。
视频一出，立刻被网友戏称为"拼多多机器人"，原因是这套系统的硬件清单几乎是"组装"出来的：
•身体：国产宇树科技Unitree G1 人形机器人本体，苹果直接采购现成硬件，没有从零自研机械结构。
•计算单元：机器人背上绑着一台Mac mini M4 Pro，承担整套模型的本地推理。
•上层大模型：语义理解与任务规划基座使用阿里通义千问Qwen 系列模型。
•自研核心：苹果自己训练的运动生成扩散模型（DiT）和底层强化学习跟踪器，构成HALO 的"运动大脑"。
这种"买身体、借大模型、自己做运动控制"的路线，与波士顿动力、特斯拉Optimus、Figure 02 那种"从硬件到算法全栈自研"的叙事形成鲜明对比，也因此引发了两种截然不同的评价：一种认为苹果只是在做学术演示，离产品很远；另一种则认为，这恰恰是巨头切入具身智能最务实的姿态——用最轻的资产、最快的速度验证最关键的软件能力。
二、硬件清单与部署形态：为什么是Mac mini + 宇树G1
要理解HALO 的工程取舍，必须先看它的硬件约束。整套系统跑在一台Mac mini M4 Pro 上，所有推理离线完成，不依赖云端。这意味着苹果对"未来家用机器人"的算力形态有非常明确的判断：端侧推理、本地闭环、不能依赖5G 或数据中心。
选择宇树G1 作为本体，背后是两层考量：其一，研究阶段的目标是验证"智能栈"，而不是优化机械结构，现成本体可以把工程资源全部集中在算法上；其二，宇树G1 开放了底层关节力矩与位置接口，允许外部高频控制器直接下发指令，这是做底层RL 跟踪器训练的前提——很多闭源机器人本体并不开放这种控制权。
需要特别澄清一个常见误解："苹果拿千问当机器人大脑"这句话只对了一半。千问承担的是顶层编排器和中层视觉语言编码器的基座角色；真正决定机器人能不能走、能不能不摔、能不能完成复合动作的运动生成DiT 和底层RL 策略，是苹果自己在仿真环境中训练出来的。把千问换成其他开源大模型，理论上整个系统也能跑，但运动质量会大打折扣——这才是HALO 的护城河。
三、三层控制架构：慢思考、中规划、快稳身
HALO最核心的工程贡献，是把"理解人话—生成动作—稳住身体"这三件以前经常被塞进一个端到端模型里的事情，拆成了三个异步运行、频率截然不同的层级。这是整条路线能塞进一台Mac mini 的关键。
3.1顶层：编排器Orchestrator（约0.5 Hz，2 秒刷新一次）
顶层由一个大语言模型（Qwen3.6-35B-A3B 级别）承担，输入是用户的自然语言指令加上机器人第一人称摄像头画面，输出是一串简短的子任务序列，例如"走向箱子—推箱子—钻到桌子下方"。它不输出任何关节角度，也不关心机器人腿该怎么迈。
这一层的关键能力有两个：一是任务拆解，把模糊的长指令切成可执行的技能原子；二是指代消解，听懂用户说"那个红色的箱子""这张桌子"时，能在画面中定位到正确的物体。因为频率只有2 秒一次，它可以从容地做"慢思考"，而不必承担实时控制的负担。
3.2中层：运动生成器Motion Generator（约3 Hz，0.33 秒刷新）
中层是苹果自研的核心，由一个小型视觉语言模型（Qwen3.5-2B VLM）加上扩散Transformer（DiT）构成。它接收顶层下发的当前子任务和实时第一人称RGB 画面，输出未来5 秒的全身姿态序列——包括躯干、手臂、腿和脚的运动轨迹。
这一层的本质是一个"动作先验库"：它在仿真中学会了一整套家庭场景技能，比如走到物体前、侧身过窄门、蹲低、爬行、落座、推箱子。每次刷新，它都基于最新画面重新规划接下来5 秒该怎么动，从而保证动作连贯、能避开突然出现的障碍。需要强调的是，中层只负责"生成想要的姿态轨迹"，它完全不负责平衡和防摔——这是有意的解耦。
3.3底层：运动跟踪器Motion Tracker（约50 Hz，每秒50 次）
底层是一个强化学习训练出的高频策略，输入是中层给的目标姿态，加上机器人本体的IMU、关节角度、足底力和深度传感，输出直接发给宇树G1 电机的关节力矩/位置指令。它相当于机器人的"小脑"：每20 毫秒做一次微调，保证重心稳定、跟得上中层的轨迹，遇到地面不平或被轻轻碰一下也不会摔倒。
这种"高层慢、中层中、底层快"的异步设计，本质上是在做算力分级：昂贵的大模型只在低频被调用一次，高频平衡问题交给轻量的RL 策略，从而让整套系统在功耗和体积上都能收敛到一台Mac mini。
3.4一次完整任务的三层接力
以"坐到椅子上"为例，三层的配合是这样的：
1.编排器：收到指令后，输出子任务序列"走向椅子—落座"。
2.运动生成器：看到椅子画面，生成未来5 秒的轨迹：向前走三步、减速、屈膝下蹲、臀部落座。
3.跟踪器：以50 Hz 的频率持续微调各个关节，保持重心，在落座瞬间缓冲冲击，保证不会坐空。
三层之间通过目标姿态向量通信，而不是原始传感器信号。这种解耦带来一个工程上的巨大好处：任何一层都可以单独替换或升级，而不必重训整个系统。
四、最关键的技术亮点：纯仿真训练+ 零迁移
HALO论文真正想证明的命题，不是"机器人能走"，而是"机器人的运动技能可以全部在仿真里学会，再零样本迁移到真实世界"。
论文在6 个全新的、从未在训练中见过的家庭环境中进行了360 次任务测试，平均成功率达到91%。这些环境在仿真阶段完全没有出现过，机器人进入房间时也不做提前扫描、不建地图，直接靠自身摄像头感知。
这一路线之所以重要，是因为它绕开了当前人形机器人行业最大的成本黑洞——大规模真人遥操作数据采集。特斯拉Optimus、Figure 02 等公司都投入了大量人力，通过人类操作员穿戴动捕设备远程遥控机器人，在真实环境中积累运动数据，再用于训练。这种方式的数据成本随机器人数量线性增长，且难以覆盖长尾场景。
HALO的选择是：在仿真里随机生成上千套户型、上千种家具布局、上千种光照和材质，让机器人在虚拟世界里做几亿次"听懂指令—完成动作"的尝试，再把训练好的策略直接迁移到真实宇树G1 上。论文演示显示，这种迁移几乎不需要在真实世界做额外微调。
需要冷静看待的边界：91% 的成功率是在受控家庭场景、有限技能集合下测得的，并不代表机器人已经能在真实开放世界完成所有家务。论文本身也明确说明，这是研究原型，不是产品。 |
五、与特斯拉Optimus、Figure 02 的路线对比
维度 |
苹果HALO |
特斯拉Optimus |
Figure 02 |
硬件自研度 |
低：采购宇树G1 本体 |
高：全栈自研机械与电驱 |
高：全栈自研本体 |
算力部署 |
端侧Mac mini M4 Pro |
车载算力衍生，端侧为主 |
端侧+ 部分云端 |
运动数据来源 |
纯仿真生成，零样本迁移 |
仿真+ 大量遥操作真实数据 |
遥操作为主，仿真为辅 |
智能栈叙事 |
三层解耦：大模型规划+ DiT 运动+ RL 跟踪 |
端到端神经网络+ FSD 视觉迁移 |
Helix 端到端双层网络 |
当前定位 |
学术研究演示 |
工厂试点→ 量产爬坡 |
商业部署试点 |
从对比中可以看出，三家代表了人形机器人的三种切入姿势：特斯拉和Figure 选择"重资产、全栈自研、先在工厂里跑通"，苹果则选择"轻资产、先在软件智能栈上建立方法论、硬件留给供应链"。哪条路线最终跑通，目前没有定论。
六、对产业的三点信号
第一，具身智能的竞争焦点正在从"硬件本体"转向"运动智能栈"。当苹果这样的硬件巨头都选择采购宇树本体，说明机械结构本身正在快速商品化，真正的壁垒会沉淀在"感知—规划—控制"的软件层。
第二，仿真到现实的迁移（Sim2Real）正在成为降低数据成本的主流答案。HALO 证明了在受控家庭场景下，纯仿真训练可以达到可用的成功率，这对所有押注"遥操作数据采集"的公司都是一个警醒：数据护城河的厚度，可能没有想象中那么深。
第三，端侧大模型+ 高频RL 控制的分层架构，很可能成为家用机器人的参考范式。把大模型放在低频规划位、把RL 放在高频控制位，是当前在功耗、算力和实时性之间最务实的折中。这一架构思路未来会被大量机器人创业公司复用。
七、局限与展望
理性看待HALO，还必须看到它的边界：技能集合目前仍然有限，主要集中在行走、过障碍、落座、推箱子等基础动作；操作类任务（抓握、精细操作）几乎没有涉及；91% 的成功率是在论文设定的受控条件下测得，真实家庭环境的长尾复杂度远超测试集；苹果也从未宣布任何基于HALO 的产品路线图。
但这不妨碍它成为一个标志性事件：它说明苹果对具身智能并非没有布局，而是在用自己最擅长的方式——端侧芯片、系统级集成、对用户体验的偏执——切入这个赛道。下一个值得跟踪的问题是：当苹果把HALO 这套软件栈，绑定到自己的M 系列芯片和未来自研的机器人本体上时，会形成怎样的产品形态。在那之前，HALO 更像是一份技术路线图预告，而不是一份产品发布。
附录 从仿真中习得的人形感知运动
作者：胡思源、阿布力克木・阿布杜韦利、孟越、刘世鹏、昆汀・勒布泰、陈晨、马蒂亚斯・穆勒、弗拉德连・科尔图恩机构：苹果公司
图 1：在从未见过的真实环境中实现自主全身行为。在每一处环境内，机器人根据一条自然语言指令执行动作。机器人仅搭载自身第一人称相机获取画面；没有对场景进行扫描，也没有预编写任何运动轨迹。
摘要
人形机器人有潜力完成大量物理作业。然而，通用人形机器人自主能力的发展受限于数据瓶颈：将像素画面与自由形式的自然语言映射到底层关节指令，需要成对的监督数据，但目前不存在规模足够庞大的这类数据集。部分研究方案依靠人类遥操作与可穿戴动作捕捉设备，但生成一小时的数据至少要消耗一小时的人工时间。
本文提出HALO（Humanoid Autonomy, Learned in simulation, running Onboard，在仿真中学习、板载运行的人形自主系统），该自主系统依托一套数据生成流水线，在上千个程序化生成的住宅场景中合成视觉‑语言‑运动配对数据。这套数据集的规模仅受算力约束，不再依赖人力投入。HALO 掌握一整套物理行为技能，包括坐到椅子上、走向指定物体、侧步穿过半开的门、俯身与匍匐钻过桌底、推动箱子；并且可以组合调用这些技能，完成长时序复合任务。
训练阶段从未接触真实住宅，但 HALO 可以零样本迁移到真实物理世界。在 6 个未预先建图的真实环境中完成 360 次试验，任务成功率达到 91%。项目代码与演示视频详见：https://apple‑aiml‑research.github.io/ml‑halo/
一、引言
人形机器人可以完成后空翻、跳舞、奔跑。但还没有哪一台机器人，可以被带到一间陌生客厅，接收指令 “坐下” 就完成动作。它们运动敏捷，却缺乏环境感知：后空翻是预先编排好的动作，执行过程不需要感知周围几何环境。而真正能发挥人形机器人价值的任务完全不同：任务发生在未扫描过的房间，周围摆放没有标注过的家具；机器人必须先找到椅子，才能够坐下。
感知作用体现在两个不同抽象层级：
-
语义层面：决定要做什么 —— 指令指代周围哪一个物体； -
物理层面：决定要如何运动 —— 要精准抵达座椅的实际位置，完成重心转移同时维持平衡。
这两个层级都无法像后空翻那样简单依靠参考运动片段 + 轨迹跟踪器实现。把像素画面、开放式自然语言映射到关节指令，需要成对监督数据：第一人称图像、指令、满足指令的完整全身运动轨迹。
自然语言领域依靠海量数据实现了泛化能力，但文本、视频是人类创作活动的副产品，存量巨大；而带有配对上下文的全身运动数据却并非如此，每一条样本都需要专门制作。ALOHA、TWIST 这类遥操作系统，UMI 这类可穿戴捕捉设备都可以生成演示数据，但数据产出与人力强绑定：人类必须手动完成每一段动作演示，一小时数据至少消耗一小时人工。
本文提出 HALO 人形自主系统，整套训练数据全部在仿真内部生成，策略完全在实体机器人板载运行。仿真把数据生产从人力劳动中解放出来：生成场景、合成运动、渲染第一人称视频全程无需人为介入。原本需要耗费数小时、数天乃至数年人工的工作，现在可以并行自动完成，仅受算力限制。
生成一条训练样本的完整流程：运动扩散模型生成人形全身运动；程序化生成器构建环境；仿真器将运动放置在场景内，渲染机器人传感器输入。最终训练数据集包含1000 套程序化生成住宅场景、共计 300 小时的样本片段，所有场景都不需要人工实地扫描访问；依靠自动化校验工具保障数据质量。
HALO 自主软件栈分为三层（见图 2）：
-
编排器（现成的视觉语言模型，每 2 秒调用一次）：把开放式语言请求拆解成一串子任务，每个子任务定义一项技能以及技能作用目标物体； -
运动生成器（3Hz 运行）：由 VLM 编码器 + DiT 解码器组成，接收机器人第一人称 RGB 观测画面与子任务，输出全身运动学规划：时长 5 秒的关节角度与骨盆位姿序列； -
运动跟踪器（50Hz）：接收运动规划，结合机器人板载深度传感器与本体感知数据，输出关节级执行器指令驱动机器人本体。运动跟踪器通过大规模强化学习训练，在跟随运动规划的同时兼顾平衡、接触约束与执行器硬件限制。
前两层解决语义层面问题（该坐哪一把椅子）；跟踪器解决物理层面问题（精准抵达现实中座椅位置）。
依靠这套软件栈，HALO 可以自主完成具备感知能力的全身技能：坐椅子、走向指定物体、侧步穿过半开门、蹲伏匍匐钻桌底、推箱子；并且可以根据开放式自然语言指令，把单项技能串联成长时序多步骤任务。
本文三大贡献：
-
数据生成流水线：在仿真中生成第一人称视觉‑语言‑运动样本，无需遥操作、动作捕捉服，也不需要对部署环境扫描重建。数据规模不再绑定人力，仅受算力约束；在 1000 个程序化生成住宅场景完成训练。 -
板载自主软件栈：高层编排器确定语义子任务；中层生成器基于第一人称视觉输出 5 秒全身运动规划；底层跟踪器结合板载深度、本体感知，将规划落地到真实物理世界执行。此前没有任何系统，可以把具备感知能力的底层控制器，与完全板载运行的生成式模型输出的全身运动规划结合起来。 -
在从未见过的真实物理环境实现全身自主能力。部署在实体机器人上，在 6 个真实住宅环境完成 360 次试验，这些环境训练时从未见过，也没有提前扫描建图；策略直接从仿真零样本迁移到全新物理环境，不需要对目标环境预先扫描。 
图 2：板载自主软件栈
(A) 视觉语言任务规划器（约 0.5Hz）接收自然语言指令与第一人称视觉输入，输出子任务序列；
(B) 运动生成器（约 3Hz）将子任务、第一人称 RGB 图像映射为 5 秒时长全身运动规划；
(C) 运动跟踪器（50Hz）执行该运动规划，结合第一人称深度图像与本体感知，将轨迹落地真实物理世界。
编排器与运动生成器运行在 Mac mini M4 Pro；运动跟踪器运行在 Jetson Orin NX。
二、相关工作
运动监督来源
全身行为通常来源于人类运动录制结果，再重定向到机器人运动学模型上做硬件跟踪。参考轨迹一般来自光学动捕、遥操作套装、手持采集设备或者原始视频。HALO 绕开这套人工采集流程，直接使用基于人类运动训练的生成模型输出轨迹。生成的运动轨迹在物理上未必可行，会出现脚滑动、穿透地面、悬浮离地等现象。已有工作会在采样阶段、仿真推演阶段或者数据集后修复阶段处理物理不可行问题。HALO 在采样完成后立刻使用几何校验，直接丢弃无效轨迹样本。
训练环境
想要泛化到从未见过的住宅，训练环境需要具备多样性，来源分为重建生成与程序化生成。如果部署场景预先已知，重建方案效果很好，采集视频扫描的成本远低于遥操作，性能也往往更优，VLK 这类系统就完全在预扫描房间训练、评估。但真正的自主能力，要求机器人可以在从未见过、没有地图的空间工作。HALO 使用程序化生成获得多样化训练场景。过往相关工作存在不少限制：GRAIL 只改变地形，物体交互只能使用预设模板；FetchMan 生成 15 万场景，却只服务于单一抓取任务。HALO 解除这些限制，在 1000 套程序化生成住宅中训练，户型布局、家具配置各不相同（见表 1）。
表 1：无遥操作人形系统对比对比维度分为能力、训练数据、真实世界评估三大部分。
|
|
|
|
|
|
|
|---|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
注：~ 代表部分具备该能力，仅在新物体测试，并非全新环境；n/a 无可用数据；‑代表论文未报告。HALO 独有能力：在线串联多项技能，将板载外部感知直接接入运动跟踪器。
分层全身控制
把语言映射到关节指令的系统分为两类：端到端方案与分层方案。端到端完全去掉中间接口，直接从语言、图像预测关节目标值，或者只用生成规划塑造训练奖励。分层架构会保留显式接口：紧凑任务空间指令、稀疏人体关键点、学习得到的隐表征；和 HALO 最接近的一类方案传递完整全身运动学轨迹。已有工作规划时长从 1 秒到完整任务周期不等，重新规划频率从从不重新规划到 2Hz。HALO 采用滚动时域策略：向前规划 5 秒，但以 3Hz 重新规划；只执行轨迹靠前部分，随后就用新观测更新规划。并且 HALO 增加高层编排器，把开放式自然语言请求翻译成子任务序列；任务成功则推进，失败会主动重试。
具备感知能力的底层控制
仅依靠本体感知的控制器对环境几何完全 “失明”。在底层控制引入视觉是成熟研究方向，但这类感知策略大多只为狭窄的特定技能训练，例如穿越杂乱地形。虽然可以在线选择、串联这些专项技能，但受限于有限技能库。另一方面，可以跟随任意参考运动的通用跟踪器，却缺少感知能力。现有生成全身参考轨迹的系统大多把输出交给这种 “失明跟踪器”，当真实环境和生成规划出现偏差，机器人无法做出反应。HALO 填补这个缺口，实现具备感知的跟踪器，融合第一人称深度图像，跟随生成的全身参考轨迹。
仿真到现实评估
仿真训练策略的真实能力，取决于实体硬件测试：遇到多少种不同真实环境，这些环境训练阶段是否见过。过往工作在未知真实环境的试验规模有限。VLK 仅在两个预先扫描、训练见过的房间做评估；TANGO 在 3 个房间测试；ZeroWBC、GRAIL 报告总试验数，但没有说明独立环境数量。HALO 采用更严谨评估协议：6 项不同全身技能，横跨 6 处真实环境，完成 360 次实体试验；关键是所有空间训练时没有扫描、重建、见过，实现严格的零样本硬件迁移。
三、方法
HALO 实现：接收自然语言与第一人称视觉，输出底层关节指令，在从未见过的真实环境运行；整套系统完全板载部署，不需要预先场景重建、外部动捕、特权物体状态信息。在多样化程序化合成仿真数据完成训练（3.1 节）。板载自主栈分为三层，见图 2。
-
高层编排器（VLM）：解析开放式请求，输出语言形式子任务序列，实现长时序行为（3.4 节）。 -
中层运动生成器：接收激活的子任务、第一人称 RGB 图像，输出全身运动学规划。规划是 5 秒、30Hz 轨迹，每帧包含 29 个关节角度以及相对骨盆位姿，合计 36 个数值（3.2 节）。 -
学习得到的运动跟踪器：利用板载深度图像、本体感知信息，在实体硬件执行这条参考轨迹（3.3 节）。
3.1 合成数据生成流水线
图 3：合成数据生成与训练流水线
(A) 把任务拆解为文本提示、关键帧姿态定义的运动片段；采样目标物体位置、导航路径点；条件扩散模型合成运动片段，拼接成连续全身轨迹。
(B) 把生成的运动轨迹、目标物体嵌入程序化生成场景，保证放置后无碰撞。
(C) 仿真器回放运动，渲染机器人头部相机第一人称画面；使用大量视觉域随机化提升外观多样性。
(D) 最终数据集用于训练整套自主栈：运动生成器使用模仿学习；运动跟踪器使用强化学习。
把每项任务拆解成一连串运动片段；每个片段由文本提示、可选路径点约束、定义物体交互的终止关键帧姿态来参数化。例如任务 “坐到扶手椅” 拆解为 “向前行走‑转身‑坐到椅子上”。路径点约束 “向前行走” 片段引导机器人走到座椅前方；最后片段用绑定目标资产的坐姿关键帧约束。每项任务只需要编写一次拆解逻辑，之后可以复用到每一个程序化生成环境。
为生成完整轨迹，首先采样机器人、目标物体合法位置，使用非完整约束独轮车规划器计算导航路径。把文本、几何约束（路径点、关键帧）送入 KIMODO 运动学扩散模型，为每个片段生成密集全身运动，再拼接为一条连续全局轨迹。
KIMODO 只做运动学生成，输出轨迹物理上未必可行，会出现脚滑移、地面穿透、跳变伪影。针对每个片段生成 N 条候选轨迹，使用前向运动学几何校验器打分（校验脚滑动、地面穿透、腾空、关节限位），保留得分最高的候选样本。
使用 INFINIGEN 工具程序化生成 1000 个不同房间，分为客厅、办公室、卧室三类，户型大小、家具各不相同。和基于重建的流水线不一样，这套方案完全不需要物理 3D 扫描、人工资产标注；环境多样性仅受算力限制。要把任务放置到场景内：首先从布局提取二维占据栅格；联合采样 SE (2) 变换，把合成运动轨迹、目标物体嵌入场景，接受第一个满足 “运动轨迹、目标资产、周围家具互不碰撞” 的配置。每一条样本完全由随机种子与轻量化放置记录确定；运动生成与渲染解耦，数据集可以用全新分辨率、相机内参、不同物理仿真器重新渲染，不需要重新生成底层运动。
在 INFINIGEN 生成场景中运动学回放轨迹，通过和真实硬件匹配的仿真鱼眼镜头渲染第一人称画面。为缩小仿真‑现实视觉鸿沟，执行大量域随机化：色温、曝光、对比度、运动模糊、传感器噪声。路径追踪渲染计算开销极高，因此把全局光照、着色烘焙到物体自发光纹理，只需要一次预处理，就可以用普通光栅化器实现交互式渲染，流水线具备高可扩展性。最终数据集包含 1000 个环境下合计 300 小时配对视频‑语言‑运动样本。仿真对照实验的样本全部取自完全预留隔离环境，而不是训练环境内的新轨迹。
3.2 运动生成器训练
运动生成器在合成数据集训练；输入第一人称 RGB 图像
模型架构：非对称编码器‑解码器
-
编码器：Qwen3.5‑2B 视觉语言模型，把第一人称 RGB 图像、自然语言指令映射为联合特征嵌入。预训练 VLM 已经具备网页规模对齐的视觉观测与语义概念表征（例如 “坐到椅子”“推箱子”）。编码器权重冻结，复用已有强表征，推理只需要一次前向传播，20 亿参数不需要维护优化器状态。 -
解码器：从零训练的扩散 Transformer DiT，8 层、宽度 512 维、8 头注意力。接收 VLM 特征嵌入，输出密集全身运动规划。解码器使用流匹配 Flow‑Matching 训练；推理阶段采用 15 步欧拉采样。
异步生成机制闭环部署要求运动生成器在新观测不断到来的情况下持续运行。朴素同步方案：完整执行完当前规划，再用新观测调用生成器。但神经网络推理需要时间，推理期间机器人没有控制信号，只能维持上一帧姿态；会造成动作卡顿，行为割裂，对动态机器人来说，迈步、跳跃中途 “僵住” 本身就存在安全隐患。
因此本系统异步运行生成器：跟踪器执行现有规划的同时，系统并行计算下一条运动规划。消除停顿，但带来一致性约束：当前规划时间区间
已有方法实时分块 RTC，在推理时做补全来缝合时序，但存在两个缺陷：连续性没有数学保证；每一步去噪都要计算梯度，带来巨大推理延迟。本文采用训练阶段条件约束方案：把机器人已经确定要执行的
3.3 运动跟踪器训练
把运动学规划落地到物理执行分为三阶段：
-
训练特权单技能专家； -
多教师蒸馏，得到统一、使用深度输入的学生策略； -
多评判器强化学习微调，加入执行器建模、域随机化，实现鲁棒的仿真‑现实迁移。
阶段 1：特权专家针对每一类独立技能，分别训练 PPO 专家。专家在仿真特权数据上训练，使用合成轨迹以及重定向到 Unitree G1 的 LAFAN1 人类运动片段。专家可以访问特权仿真信息：本体感知、接下来 10 帧规划、用高度图表示的真实场景几何。专家以 50Hz 输出关节位置目标，交给底层 PD 控制器执行。所有专家共享模仿奖励，惩罚关键连杆跟踪误差。仅仅姿态模仿不足以处理物体交互任务：机器人姿态复制到位，但物体完全不动属于严重失败，纯粹运动学奖励无法检测。因此面向物体交互的专家增加额外奖励项，奖励手部靠近目标、物体产生正确位移。
阶段 2：多教师蒸馏把多个专家蒸馏为单一学生策略，学生只能访问板载输入：运动规划、第一人称深度、本体感知、IMU。蒸馏仿真实例由对应专家监督，学生不会平均冲突动作。训练采用行为克隆 + DAgger 混合策略。一维卷积编码本体感知历史；卷积网络处理深度图像；残差 MLP 把特征映射到目标关节位置。学生无法拿到物体、地形坐标，全部几何信息必须从深度图像推断。蒸馏性能上限来自教师能力；部分可观测环境下还存在跟踪残差。
阶段 3：多评判器微调不同技能奖励量级差异巨大，因此采用多评判器 PPO：Actor 网络共享，但是每个技能拥有独立评判器，初始化来自阶段 1 对应专家。每个评判器只在本技能样本上训练，独立归一化优势估计，避免高回报任务主导策略梯度更新。
仿真‑现实迁移处理除域随机化之外，显式对执行器物理建模缩小仿真现实鸿沟。参考 OmniXtreme，从电机转子惯性解析推导各关节 PD 增益，保证所有关节统一固有频率、阻尼比；动作按照关节扭矩上限缩放；随机动作延迟模拟硬件指令时延。为保护电机，奖励函数直接惩罚膝盖过大负机械功率，避免策略依赖仿真允许、真实电机无法输出的扭矩。域随机化分两档：阶段 1‑2 随机幅度较小保证教师保真；阶段 3 放大随机范围。随机化物理参数：地面摩擦、恢复系数、机身质心、执行器增益、关节偏移量、外部冲击扰动、物体质量。同时对第一人称深度流模拟丢点、斑点噪声、帧延迟、相机安装偏移。和看不到环境几何的盲跟踪器不一样，这套深度条件训练策略，可以主动处理上游运动规划没有预见到的几何变化。
3.4 面向长时序任务的编排机制
生成器、跟踪器擅长原子短时行为；真正自主能力要处理开放式长时序请求。因此在软件栈顶层增加基于 VLM 的任务编排器。开放式自然语言带来两大挑战：
-
指令信息先天不完备，例如指令 “坐下” 没有指定目标物体，系统必须直接从视觉上下文推断目标； -
隐含几何前置条件会把单条请求扩展为复杂序列：路径通畅时 “坐到椅子上” 只是一个子任务；桌子挡住路径时，则需要串联蹲伏‑靠近‑坐下。
编排器处理第一人称视频流，把模糊指令解析成有序、可执行子任务计划，闭环驱动整套序列。持续监控环境：动作完成则推进计划；失败发生则动态重试；每次只向下层运动生成器传递一条明确子任务。默认编排器在 Mac mini 本地运行，使用 Qwen3.6‑35B‑A3B（4‑bit MLX 量化），和运动生成器共享推理引擎，完全断网可用。也可以选择调用云端前沿大模型 API，获得更强推理规划能力。
四、实验
4.1 数据与训练
主训练数据集包含 1000 个程序化生成住宅，合计 300 小时样本。合成全部数据在 250 张 H100 GPU 上耗时 48 小时，全程无人干预。运动生成器训练使用 64 张 B200 GPU；运动跟踪器训练使用 4 张 H100 GPU。仿真对照试验样本全部取自完全隔离预留环境，保证指标衡量对全新空间的泛化能力。
4.2 硬件系统
硬件平台：Unitree G1 人形机器人，两处物理改装：
-
定制头部支架搭载 OAK‑1W 相机； -
尾部外壳容纳 Mac mini M4 Pro（64GB 内存）。
感知与控制分布在两台设备，完全无缆异步级联，ZeroMQ 完成通信。外层循环：OAK‑1W 输出 120° 视场 RGB 画面（1280×800，30fps）传给 Mac mini；编排器、运动生成器在这里计算运动学参考轨迹。这条轨迹作为设定点，交给运行在机器人原生 Jetson Orin NX 的内层控制循环。跟踪器接收规划，同时读取向下朝向 Intel RealSense D435i 输出的深度流（424×240，30fps），输出底层关节指令。跟踪器作为 C++ 实时进程运行在 PREEMPT RT 实时内核，保证严格周期时序；使用无锁三缓冲器和硬件接口通信，控制循环不会发生阻塞。绕开 D435i 原生噪声深度处理管线，原始双目红外图像直接送入 Jetson Orin NX 上 TensorRT 加速的 LiteAnyStereo 立体匹配模型，输出干净深度，避免原生输出常见的遮挡、斑点伪影。
4.3 单任务评估
测试六项技能：GO‑TO 走向指定物体、SIT 坐椅子、DOOR 侧步穿过半开门、CROUCH 蹲伏钻障碍、CRAWL 匍匐钻障碍、PUSH 推箱子。仿真：100 个预留环境，每个环境每项任务 10 次试验，合计 6000 次仿真试验；实体硬件：6 个真实环境，每个环境每项任务 10 次试验，合计 360 次真实试验。单任务成功定义：完成任务，没有摔倒、卡住。
表 2：预留环境任务成功率
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
仿真、真实环境单任务平均成功率均为 91%。多任务链式任务整体成功率明显低于单项成功率乘积，子任务之间并非相互独立。失败主要来源：前一个子任务结束时机器人姿态，导致下一个任务目标物体离开相机视野。
4.4 多任务长时序评估
使用完整编排器系统，测试三组典型多任务序列，仿真与真实环境同时测试。链式任务失败案例分析：例如真实环境 CROUCH→GO‑TO→PUSH，5 次失败中有 3 次是匍匐结束后头朝向偏离箱子，目标脱离视野；CROUCH→SIT 两次失败是匍匐结束姿态让机器人误识别旁边沙发作为落座目标。仿真 DOOR→GO‑TO：过门动作成功率 85%，但过门后朝向随机变化，目标物体可能完全移出视野，后续 GO‑TO 条件成功率只有 83%，整体链式成功率 71%。这类失败根源一致：开启下一个子任务时目标不在观测视野内；未来可以增加原地旋转搜索等恢复行为，提升链式任务鲁棒性。
4.5 消融实验
表 3：分模块消融实验（SIT 任务，100 个仿真预留环境，每个环境 10 次试验）
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
消融实验结论：
-
训练环境数量从 1 增加到 100，性能大幅跃升（43%→81%）；继续扩大到 1000 仅提升 3 个百分点； -
缺少时序连续性处理，轨迹切换跳变，成功率暴跌至 24%；推理时 RTC 平滑虽然改善，但相比训练期原生约束仍然低 18 个百分点，还会引入推理时延； -
将流匹配 DiT 解码器替换为普通回归解码器，成功率掉到 19%；回归模型在分布外场景容易丢失关节细节，出现脚滑移； -
跟踪器去掉深度输入，仅依靠本体感知，成功率下降 10 个百分点，证明深度感知对处理真实环境几何非常关键。
五、结论
本文证明仿真可以作为人形机器人自主系统的数据引擎。仿真将人类操作员移出数据采集循环，数据生成不再依赖人力劳动。这套软件栈可以零样本迁移到训练阶段从未见过、没有扫描建图的真实环境。
局限性与未来工作
-
流水线移除了操作员数据采集，但没有移除任务设计人力：新增物理任务，仍然需要人工编写提示词、定义运动序列关键帧；技能库拓展速度受人工定义速度限制。 -
机器人感知主要依赖视觉；缺少直接接触感知，物体离开视野、被遮挡后，系统失去物体状态信号，接触密集型任务性能会下降；触觉传感是自然改进方向。 -
运动生成器‑跟踪器接口比较窄；跟踪器只跟随运动学规划，不知道规划背后任务意图；如果可以传递世界未来预期状态会是很好改进。 -
当前编排层相对简单；未来技能库持续扩充，需要更强的 Agent 式规划系统。
参考文献（略）
附录
全部数据集合计 162 698 条片段，总时长 296.3 小时。使用 INFINIGEN 程序化生成房间，对光照做烘焙加速渲染；KIMODO 生成运动片段；使用大量几何校验过滤物理不可行样本。每项技能的运动链条、关键帧来源、过滤规则详见原文表格。
编码器使用冻结 Qwen3.5‑2B；DiT 解码器 8 层，宽度 512，8 头；规划窗口 150 帧（5 秒），前缀固定 15 帧；流匹配损失；训练 50 个 epoch，64 卡 B200。异步训练条件机制，保证新轨迹和当前执行状态平滑接续。
分三阶段训练：特权专家 PPO、多教师 DAgger 蒸馏、多评判器 PPO 微调。网络由 1D 时序 CNN 编码本体历史，2D CNN 编码深度图像，SimBa 残差 MLP 输出目标关节位置。详细奖励函数、域随机化参数、执行器辨识公式见原文表格。硬件部署上，Jetson Orin NX 运行 C++ 实时推理，深度来自 LiteAnyStereo 立体匹配。
图 6：运动跟踪器板载推理架构
上方：RealSense 原始双目 IR 送入 LiteAnyStereo，输出第一人称深度，由 2D CNN 编码；
左侧下方：30 步本体感知历史、未来运动规划片段，由 1D 时序 CNN 编码；
特征拼接送入 SimBa 残差 MLP，输出 29 个关节目标位置，下发底层 PD 控制器；整个循环运行在 Jetson Orin NX，50Hz。
本地使用 Qwen3.6‑35B‑A3B（4‑bit MLX 量化），定义一套固定子任务集合：go‑to‑chair、go‑to‑box、sit、crouch‑under、crawl‑through、sidewalk、push‑box、stand、hold。编排器接收图像与用户指令，输出 JSON 格式子任务计划；运行中持续观察画面，支持：完成当前步骤、重试、插入前置子任务、改写整体计划、询问操作员、结束任务。系统提示词、完整子任务描述见原文。
Mac mini 运行编排器、运动生成器；Jetson Orin NX 运行跟踪器。中间通信基于 ZeroMQ+Protobuf 自定义中间件 HALO‑comm。进程之间发布‑订阅消息，慢进程永远拿到最新状态，不会消息堆积。Mac 内部 GPU 调度：运动生成规划拥有更高优先级，同时保障编排器至少 60% GPU 时间。实测板载时延：运动生成器推理约 152ms；编排器单次决策单独运行约 0.72s，和生成器共享算力时约 1.46s。
图 7：进程通信框图
Orchestrator 编排器、Generator 生成器、Tracker 跟踪器、WebGUI 可视化界面之间的消息发布订阅关系。
图 8：机器人板载感知与算力硬件示意图
头部 OAK‑1W 输出 RGB 给 Mac mini；向下 RealSense D435i 输出深度给 Jetson Orin NX；尾部 Mac mini M4 Pro 运行高层 0.5Hz 编排器、3Hz 运动生成器；Orin NX 运行 50Hz 运动跟踪器，下发电机指令。
仿真环境使用 MuJoCo，成功判定条件：摔倒判失败（骨盆倾斜 > 60°，骨盆高度 < 0.3m 持续 1 秒）；各个技能明确定义成功几何判据。真实环境所有测试全部在 Unitree G1 改装硬件上完成。
图 9：六项技能真实世界执行样例帧序列；
图 10：泛化测试：不同人、不同高度桌子、不同座椅上的真实测试截图。
VLM 冻结权重 vs 微调
-
微调编码器：机器人对人物跟随响应更快更平滑，但训练数据人物样本单一情况下，微调后只能识别外观接近训练样本的人；增加训练集人物多样性后泛化恢复。微调模型还会学到 “看见椅子就坐下” 的图像捷径，忽略语言指令；解决方法训练时 30% 样本把图像置黑，迫使模型依赖文本指令。 -
冻结 VLM：对物体类别泛化更好，但对小角度空间位置变化不够敏感。
硬件部署实践经验
-
系统辨识非常关键：官方 G1 仿真模型低估髋关节转子惯量、忽略电池重量；用真实硬件轨迹拟合电机参数，可以把关节跟踪误差大幅降低。 -
地面域随机化：地毯、木地板、瓷砖、光滑地板差异巨大；不做地面刚度、摩擦随机化，在地毯上机器人会不停踏步抖动；光滑地板容易脚滑。 -
动作平滑正则：仿真奖励高不等于真实硬件稳定；缺少动作速率惩罚、指令随机时延，会带来脚踝、腕部高频振动。 