11月4日,苹果研究团队在预印本平台arXiv提交论文《Perceptive Humanoid Motion from Simulation》,公开了人形机器人自主控制系统HALO,数据生成、模型训练、部署的代码一并放出。
论文摘要给的数字:训练阶段没有见过一个真实住宅,直接零样本迁移到物理世界,在6个未建图的真实环境里完成360次测试,成功率91%。
仿真与真机同步训练 图源:湖南日报
三层跑,算力挂在背上
HALO分三层。上层是现成的开源视觉语言模型,大约每2秒出一个子任务,频率0.5赫兹,据 IT之家报道默认调用千问Qwen3.6-35B-A3B。中间层是动作生成,用冻结的千问Qwen3.5-2B编码器加DiT解码器,配流匹配,每次规划未来5秒、150帧全身动作,只执行头0.5秒,其余作废重算,频率约3赫兹。底层是动作跟踪器,50赫兹,靠机载深度相机和本体感觉跟随计划,输出29个关节的目标位置。
算力分两处放。G1背上挂了一个3D打印外壳,里面一台Mac mini(M4 Pro,64GB统一内存),跑上面两层;机器人自带的板载算力只管高频跟踪那一层。三层各按自己的节奏走,慢的不用等快的。
两个中国名字
这套系统里,模型是千问,身体是宇树G1,公开售价1.6万美元起,整机可以直接买到。
最上层用的是现成开源模型,中间层的编码器是冻结的千问,底层跑在机器人自己的板载芯片上。三样东西拼起来,说明通用大脑跨硬件部署这条路已经走通了:算法不绑硬件,换一台本体也能装。
开源是这次最重的动作。代码全放出来,任何实验室买一台G1、配几张卡,就能复现这条链路。门槛一降,模型层和整机层就很难再靠“我有你没有”吃独食,竞争会往数据、往触觉、往工程细节里挤。
在从91%掉到50%
单项任务91%,串起来就掉。在单一真实场景里,三种复合任务各测10次,平均70%;最复杂的“俯身通过障碍—走向目标—推箱子”,10次成功5次。单个任务也不是都到91%,项目主页给出的“坐下”一项是84%。
原因苹果自己写了。机器人主要靠视觉,感知不到接触。物体离开相机视野、被挡住,涉及力反馈的任务就开始退化,机载深度相机的量程也只到2.5米。触觉被列为下一步改进方向。
数据这一头同样没有完全脱离人。新增物理任务要人工写提示词、设计关键帧,部分动作还用了人类视频和动捕素材。全自动生成训练数据这个说法,现阶段还早。
对做“大脑”的国内团队,三条能拿走的
第一条,三层解耦的架构。慢思考的模型不跑高频,高频控制不背大模型,中间用动作生成衔接。这个分工对算力紧张的本体厂商很实用,机载算力只留最要紧的一层,重活放到外挂背包上。
第二条,仿真堆量的路线被验证了。真机采数据贵、慢、场景难复现,这是国内训练场正在砸钱解决的问题。苹果给出另一条路:先在仿真里堆量,再靠少量真实场景校准。代价是人工兜底,收益是规模。
第三条,短板清单等于方向清单。触觉缺失、遮挡失效、长序列崩,三件事写在同一篇论文里,也就是下一代要补的三件事。国内做电子皮肤、六维力传感器、触觉模型的团队,方向对得上。
END
近期活动
往期精彩

