大数跨境

好家伙!苹果用一千个假房子,教会机器人走进真房子

好家伙!苹果用一千个假房子,教会机器人走进真房子 GEIA全球具身智能观察
2026-11-08
0
导读:苹果用 1000 个程序生成的假房子训练机器人,单项成功率 91%。但两个动作串起来 70%,三个只剩 50%。不是动作做错了,是它看不见下一步该去哪。


GEIA行业群


加入GEIA具身智能行业群,请添加微信18916565701,主动出示名片,仅限具身智能及机器人产业链相关企业。



120+具身智能与人形机器人行业报告合集~ 转发本文章至朋友圈截图发给GEIA小助理即可免费领取~ 文末添加小助理微信!

ANNUAL REVIEW · 行业观察

苹果用一千个假房子,教会机器人走进真房子

91%到50%之间,隔着的不是动作,是它看不见下一步。

苹果机器学习研究院 · 论文观察 · 2026

一台机器人如何在陌生的客厅里坐下?人形机器人行业这三年最尴尬的那件事,用一句话说完:我们把敏捷做到了极致,却始终没能让机器看懂下一步走向哪里。

人形机器人会后空翻、会跳舞、会跑。但没有一台能被请进一间陌生的客厅,然后让它坐下。它们敏捷,但盲。

—— 论文开篇第一句

CHAPTER 01

苹果没让它后空翻


苹果这篇论文的第一句,是他们自己写的:

「人形机器人会后空翻、会跳舞、会跑。但没有一台能被请进一间陌生的客厅,然后让它坐下。它们敏捷,但盲。」

2026年11月4日,这句话出现在arXiv上,编号2611.06908,标题《Perceptive Humanoid Motion from Simulation》。八位作者,来自苹果机器学习研究院。

同一天,代码、模型、数据管线全部开源。

这句话之所以值得单独拎出来,是因为它把人形机器人行业这三年最尴尬的那件事,一句话说完了。

⏰️与具身智能赛道的一线创业者、投资人深度交流,扫码报名GEIA具身智能与人形机器人创新周【北京站12.9-12.11 】↓

QUOTE

我们能造出会后空翻的机器,造不出会坐下的机器。

后空翻是排练过的。坐椅子是没排练过的。

看它选了哪五个技能。

▪走到指定的物体旁边。

▪坐上椅子。

▪侧身穿过一扇半开的门。

▪蹲下、爬过桌子底下。

▪推一个箱子。

五个动作,没有一个是“搬运”。没有一个是“分拣”。没有一个是“上下料”。

全是“通过”。

通过一段距离,通过一扇门,通过一张桌子底下,通过一次坐下。

这五个动作有一个共同点:它们都是你作为一个客人,在一个陌生人家里会做的事。

这个选择本身就是信息。苹果在做的不是工业人形,是家用。而家用场景的第一道门槛,从来不是力气。

是不碰坏东西,和知道下一步该往哪走。

论文里把这件事拆成了两层:语义的一半,和物理的一半。

语义的一半是“哪把椅子”。物理的一半是“椅子实际在哪儿,坐上去重心怎么移”。

后空翻只需要第一层的一半——它不需要知道椅子在哪,它只需要跟着一段参考动作走。

而坐椅子,两层都得对。

CHAPTER 02

一小时数据换一小时人力,这个等式被改了


这一节是整篇论文最值钱的地方,也是国内大多数转述都略过的部分。

论文把行业的数据困境说得很直白:把像素和自由语言映射到关节指令,需要成对的监督——一张第一视角的图、一句指令、和满足这句指令的全身轨迹。这样的语料,在足够大的规模上,不存在。

现有的办法是遥操作,比如ALOHA、TWIST,或者可穿戴采集设备,比如UMI。这些办法有一个共同的成本结构:产生一小时数据,至少要花一小时人力。

一个人得亲自把每个动作演一遍。这个等式,行业接受了整整五年。

HALO做的是把等式的右边换掉。

它用程序化生成造了一千个房子。每一个房子都是随机拼出来的,没有人去过,没有人扫过,没有人标注过。然后它用动作扩散模型生成全身动作,把动作放进房子里,渲染出机器人会看到的第一视角画面。

一个训练样本就这么齐了:图、指令、动作,三样对上。

规模:162,698个episode,296.3小时。

1,000

程序化生成房子

162,698

训练episode数

296.3h

合成数据时长 · 零人力小时

一千个房子,三百小时数据,零个人力小时。

论文里有一句话写得很克制,但分量很重:“语料随算力扩展,而不是随人力。”

算力账是这样的:250张H100,跑约48小时,合成主要训练数据;动作生成器用64张B200做模仿学习;动作跟踪器用4张H100做强化学习和策略蒸馏。

注意这个比例。造数据花掉的算力,比训练模型花掉的算力大得多。

钱不是花在教机器人上,是花在造房子上。

这是整个行业成本结构的一次重排。它没有让事情变便宜——十二万个H100小时不便宜——但它让成本从一条每年涨的曲线上,挪到了一条每年跌的曲线上。

人力成本每年涨3%到5%。算力单位成本每年跌两位数。

两条线迟早会交叉。苹果这次做的事,是把交点往前提了一点。

CHAPTER 03

三层,和一台Mac mini


架构分三层,频率一层比一层高。

STEP 01任务编排 · 约0.5赫兹

视觉语言模型,每两秒调一次。把一句自由语言拆成子任务:哪个技能,作用在哪个物体上。

STEP 02动作生成 · 约3赫兹

输入当前第一视角画面和子任务,输出一段5秒的全身运动规划。

STEP 03动作跟踪 · 50赫兹

拿这段规划和机载深度、本体感知,换算成关节级指令。

最上面是任务编排,一个视觉语言模型,大约0.5赫兹,每两秒调一次。它把一句自由语言拆成子任务:哪个技能,作用在哪个物体上。

中间是动作生成,大约3赫兹。输入当前第一视角画面和子任务,输出一段5秒的全身运动规划——30帧每秒,每帧29个关节角加骨盆相对位姿,36个值。

最下面是动作跟踪,50赫兹。拿这段规划和机载深度、本体感知,换算成关节级指令。

上层解决“哪把椅子”,下层解决“椅子实际在哪”。

然后是最有意思的一段:它跑在什么上面。

NOTE · 硬件

宇树G1。背部加了一个3D打印的保护外壳,里面塞了一台Mac mini,M4 Pro芯片,64GB统一内存。

Mac mini负责在机载端跑两个计算开销大的模块:任务编排和动作生成。G1自带的板载芯片,专门跑那个50赫兹的跟踪器。

而那两个模型,默认用的是千问——编排层Qwen3.6-35B-A3B,生成层Qwen3.5-2B。

现在把这件事的供应链摊开看:

▪一篇苹果的论文。

▪大脑默认用阿里的模型。

▪身体是宇树的机器人。

▪机载推理用苹果自己的Mac mini。

▪训练算力是英伟达的H100和B200。

▪开源在GitHub上。

五个来源,三个是中国公司的技术。

这个组合不是巧合,是当下的产业现实。谁有现成的身体,谁有能跑得动的模型,谁有便宜又够用的推理硬件,就用谁的。

苹果没有为了“自主可控”去造一台自己的身体。它买了一台。

这件事对国内做本体的人,是机会,也是提醒。机会在于:你的机器人正在成为全球研究的标准平台。提醒在于:标准平台的意思是,它可以被替换。

CHAPTER 04

91%是怎么来的,又是怎么没的


六个真实环境。训练时一个都没见过,测试前一个都没扫描过,没建图。

六个技能,每个环境每个技能做10次。360次试验,平均成功率91%。

91%

六个技能均值 · 360次试验 · 零样本

仿真里也是91%。这个数字比91%本身更值得看——说明仿真和真实之间那道著名的墙,至少在这五个技能上,已经很薄了。

然后是组合任务。

在一个真实环境里,三种组合,各做10次,平均70%。

穿过门再走向目标100%


蹲下再坐下60%


蹲下、走向目标、推箱子50%


一半。

从单项91%,到两个技能串联70%,到三个技能串联50%。每多一步,掉一截。

论文把失败原因写得很具体:失败常常从“下一个子任务的目标在视野之外”开始。

不是动作做错了。是它看不见下一步该去哪。

QUOTE

人形机器人现在最大的瓶颈,不是会不会做,是看不看得见。

还有一个消融实验,比主结果更能说明问题。

坐椅子这个任务,在100个没见过的仿真环境里各测10次,只改一件事:怎么把长动作切块。

切块方式
成功率
训练时教它接着已定前缀往下走
84%
推理时才做实时分块
66%
完全不分块
24%

同样的策略,同样的数据,只改了“动作怎么切”,关键成功率从24%到84%。

这说明什么?说明这个系统缺的不是动作能力。它缺的是在两个动作之间,记住自己要去哪。

CHAPTER 05

翻过来看:三条不能忽略的限定


第一条。91%是六个技能的均值,不是每个技能都91%。论文表格里逐项列了,有高有低。把它读成“人形机器人已经91%可靠”,是误读。

第二条。论文没有和任何已发表的系统做横向对比。这一点被Humanoids Daily专门点出来了。它只在评测协议上做了区分:VLK也在合成成对数据,但要重建并标注目标房间,只在两个物理环境里评测;TANGO在三个房间;ZeroWBC和GRAIL没说明环境数量。HALO是六个环境、360次、不扫描、零样本。

协议更严,但协议严不等于性能强。这两件事得分开看。

CAUTION · 提醒

第三条。“仿真生成数据完全摆脱了人工”这个说法,不成立。

论文自己写了:新增物理任务仍然需要人工写提示词、设计动作关键帧,部分动作还用了人类视频或动捕素材。

所以准确的说法是:HALO把“数据采集”从人力里解放出来了,没有把“任务设计”解放出来。

前者是量的问题,后者是质的问题。量可以靠算力堆,质还得靠人。

还有一条更硬的短板。目前主要靠视觉,难以直接感知接触。物体一旦离开相机视野,或者被遮挡,涉及接触多的任务表现就往下掉。

这就是为什么论文把“加入触觉感知”列为下一步。

一台会坐椅子的机器人,还摸不出椅子在哪。它只能看见。

CHAPTER 06

再往前看:91%在家里意味着什么


91%听起来很高。放到家里算一遍,就知道不够。

一个家庭一天要用机器人多少次?做饭、收拾、递东西、开关门、找东西,保守算20次。

91%的成功率,20次里平均失败1.8次。

一天摔两次碗、卡两次门、把两次东西放错地方。这个容忍度,家庭给不了。

但商业场景能给。研究机构能给。展厅能给。酒店能给。养老院在有人看护的前提下能给。

所以家用人形机器人的第一批买家,不会是家庭。

这个判断跟直觉相反,但跟所有硬件品类的历史一致:新技术总是先在“有人兜底”的地方跑通,再进“没人兜底”的地方。

真正的路径是:先在能容忍失败的地方把使用频次堆上去,让数据从“仿真里造”变成“真实里长”,再把成功率从91%推到99%。

99%是什么概念?一天20次,20天出一次错。这个数字,家庭才勉强能接受。

从91%到99%,差八个点。但这八个点,靠造更多假房子造不出来。它得靠真房子里的真实失败。

这也解释了论文为什么要把代码开源。

开源不是慷慨。开源是承认:这个问题太大,一家公司跑不完。

它需要全世界的研究者,在各自的真房子里,把这套系统的失败模式一个一个找出来。

再往后看一年,有三个信号值得盯。

STEP 01技能库能不能从5个扩到20个

论文自己写了,新增任务还得人工写提示词、设计关键帧。如果一年后还是这个流程,“算力替代人力”就只成立了一半。

STEP 02组合任务能不能从70%到85%

单项到组合掉的那二十个点,是记忆和预规划的问题。这个问题解决了,人形机器人才算能干活,而不是能表演。

STEP 03触觉接进来之后,遮挡场景能不能补上

论文把这条列在最后,但它可能是最关键的。因为在真实环境里,物体被挡住是常态,不是例外。

这三个信号,一年之内都能看到答案。看不到,就说明这条路比想象的长。

CHAPTER 07

三句话,说给三种人


01

给做本体的

苹果选了宇树G1,不是因为它唯一,是因为它够用、能买到、接口开放。当大脑和数据管线成为差异化来源,本体的溢价会被压到三件事上:可靠性、成本、BOM。你要争的不是“最像人”,是“最容易被别人的大脑接管”。反过来,能被接管得越顺,你的出货量越大。这是个选择题,不是对错题。

02

给做大脑的

代码开源了,地址在GitHub上,数据生成、模型训练、部署全在里面。这意味着数据管线不再是秘密,是公共品。你的护城河只剩两处能建:一是别人拿不到的物理任务定义——哪些动作、什么顺序、什么验收标准,这是工艺;二是别人跑不动的真实场景数据——这是资产。工艺可以追,资产追不了。

03

给做场景的

回去数一遍你手上的任务清单,看看有几个是“通过”类的,有几个是“搬运”类的。苹果选的五个动作全是前者。通过这件事的难度不在力气,在感知和记忆——它要求机器人一边走一边记住五步之后要干什么。你如果还在比负载和节拍,方向可能反了。

CHAPTER 08

最后


这一天真正的意义,不是91%。

是那句“它们敏捷,但盲”。

过去三年,这个行业用后空翻证明能力,用跳舞证明灵活,用跑马拉松证明续航。所有这些证明,都有一个共同点:场地是排练过的,动作是编排好的,机器人不需要知道自己在哪。

苹果反过来做。它用“能不能在一间陌生的客厅里坐下”来定义一个机器人。

这个标准一旦立起来,很多看起来很厉害的演示会突然不值钱。

因为后空翻只需要一段参考动作和一个跟踪器。坐下需要知道哪把椅子、椅子在哪儿、坐上去会不会塌。

QUOTE

一个只需要跟踪,一个需要理解。

91%这个数字,其实没那么重要。重要的是它是在六个没人扫过的房间里测出来的。这个测法本身,就是一次行业标准的抬升。

而标准抬升,对认真做事的人是好消息。对只会做演示的人不是。

IN CLOSING · 结语

苹果这次做的,不是让机器人更强壮,而是让它开始看得懂下一步。91%重要,但更重要的是它在一千个假房子里学会了走进真房子,然后在六个没人扫过的房间里把标准抬了起来。剩下的八个点,要靠真实世界里的失败去补完。

既然看到这里了,如果觉得有用,随手点个赞、在看、转发三连吧。

THANKS FOR READING

GEIA全球具身智能创新周
【欧洲站2027,5.12-14】
GEIA全球具身智能创新周
  【2027规划】  

←左右滑动查看GEIA 2027年度规划→







关于GEIA全球具身智能加速器
GEIA(Global Embodied Intelligence and Humanoid Accelerator)作为全球具身智能和机器人产业加速的生态平台,核心团队成员均来自复旦、交大、同济、香港大学等知名院校校友,具备近20年行业研究、品牌传播、全球系列会展活动(中国、欧洲、亚洲、中东、北美等)、全球标杆&灯塔工厂参访、全球专家智库、创始人闭门晚宴/私董会、机器人本体及核心零部件采买租赁、机器人应用集成、IP孵化和投融资服务等产业服务经验。

复旦大学人形机器人创新协会作为GEIA在国内创始机构之一,其成员主要包括复旦机器人相关专业在读本科、研究生,博士和毕业校友等。

温馨提示:加入GEIA具身智能行业群,请添加微信18916565701,出示名片,仅限具身智能及机器人产业链相关企业。


订阅号丨GEIA全球具身智能观察
服务号丨GEIA具身智能创新周

【声明】内容源于网络
0
0
GEIA全球具身智能观察
GEIA(Global Embodied Intelligence Accelerator)旗下新媒体平台,聚焦全球具身智能和机器人最新资讯:前沿技术、场景应用、投融资等。
内容 323
粉丝 0
GEIA全球具身智能观察 GEIA(Global Embodied Intelligence Accelerator)旗下新媒体平台,聚焦全球具身智能和机器人最新资讯:前沿技术、场景应用、投融资等。
总阅读15.0k
粉丝0
内容323