左：Nathan，右：Keerthana
人形机器人跑得比博尔特还快、能下蹲拿东西、还能对着镜头比手势，但一个更基本的问题悬在头顶：这些能力离真正部署还有多远？
Keerthana 用 METR 的任务长度曲线来框这个问题：真实世界里百分之五十的成功率大概不行，除非任务对失败极其宽容。机器人掉了个东西摔坏了，那就出问题了。而她自己给今天的技术打分，答案还是 GPT-2——因为少样本学习还没在大量任务上好用，跨本体也还没解决。
Keerthana Gopalakrishnan 是 Google DeepMind 的 Staff Research Scientist，担任 Gemini Robotics 的研究负责人，个人主页标语是「Building Embodied AGI」。这是她第四次年度做客 The Cognitive Revolution，本期讨论 Gemini Robotics 2 的架构、sim-to-real、跨本体泛化与全身控制。她的主要观点包括：
机器人技术还在 GPT-2 时刻。 要到 GPT-3，第一，少样本学习得在大量不同任务上都真正好用；第二，机器人到现在还严重受制于跨本体——只在你这台特定配置上能用，那还算通用大脑吗？
运动有仿真红利，操作才是瓶颈。 地面和墙可以建模，接触面往往很平，所以双足运动走得比较远。但操作在意的是接触什么时候发生、物体怎么反应，恰恰是当前仿真撑不住的地方，叠衣服就难做，因为布料有摩擦。
泛化和精通近似正交。 做泛化就像水涨船高，把所有船都托起来。先建一个很通用的基线，就能更容易快速地把它调向精通；哪怕今天你也能造出非常窄的 AI，但做第 N 件事的成本跟做第一件一模一样。
商用场景会先落地，家庭门槛更高。 家里更复杂，没法施加控制，而且因为有小孩，安全门槛也更高。速度问题上，不会先做出慢模型再做快，而是同时做快模型和慢模型，再蒸馏成一个。
安全是一种能力，不是能力的对立面。 没人会用不安全的机器人或 agent，最有用的 agent 一定得是安全的。分好几类：运行安全（机器人笨到摔跤伤人）、目标层面不越过护栏、传感器被遮挡时该停下请人处理。
手站在灵巧操作前沿，夹爪可能已经不是了。 去年三月 Gemini Robotics 1 展示夹爪的灵巧操作，今年夏天 Gemini Robotics 2 展示多指手扎垃圾袋。以前夹爪处在前沿的任务，现在带手的都能做了，还能做夹爪做不到的事。
数据未来大概率是混合。 每种数据源放在横轴上，一个轴是规模，一个轴是精度：遥操作精度高但不经得起时间考验，UMI 类有传感器更准但扩展性差些，人类视频扩展性好但嘈杂。硬件每变一次，这些范式的处境都不一样。
从机器人奥运会说起：跑得快不等于有用
Nathan：Keerthana Gopalakrishnan，DeepMind 的资深研究科学家，Gemini Robotics 的研究负责人。欢迎回到 The Cognitive Revolution。
Keerthana：我本来没关注，是我爸先跟我聊起来的。他说：哇，你看到那些人形机器人跑步了吗？然后网上全是那些机器人跑着跑着起火的视频。后来我在印度的朋友，有些已经进政界了，他们在搞各种学生抗议，也在说：你看看人家，中国都在造跑得比最快的人类还快的机器人了。所以我觉得，这场比赛从研究角度看其实没什么好惊讶的，但它确实非常强烈地抓住了公众的想象力。而且我觉得它也算一个 benchmark，拿跑步当 benchmark，看看人类在哪、机器人在哪。你要是把那些拼在一起的视频看一遍，DARPA 挑战赛，我记得是二十年前了吧，那时候的机器人就是走两步、开个门，然后就直接摔了。现在呢，我们已经到这儿了。所以进步真的很惊人，而且这种进步是活在公众想象里的。
Nathan：是啊，机器人能跑得比博尔特还快。一方面这是疯狂的进步，非常震撼。但我想问你的一个问题是，这有用吗？这些机器人奥运会，它主要就是为了抓住公众想象力、有个酷东西可以秀吗？我们真的需要人形机器人以每小时三十多公里的速度跑吗？在你的工作里，你会想，哎呀，我希望我的机器人跑得再快点，我得去搞搞这个？还是说那只是个花边？
Keerthana：我觉得是这样，一部分人在做研究，另一部分人在推这项研究能跑多快。不管好坏，运动这一块就是这样的。机器人分运动和操作两块，运动这块进步相当大。尤其是这个领域，仿真能起很大作用，很多模型都是在仿真里训的。也正因为这样，运动走得比较远。所以那场表演展示的其实是人形机器人运动，也就是双足运动，现在的最前沿水平。看这件事有很多角度，我敢说在某些国防应用上它是有用的，但我们非常专注的是让机器人去帮人、在物理世界里做有用的事。我是个效率很高的人，我很多朋友也都很有产出，但我们跑不过博尔特。所以我觉得它有用，但前沿太宽了，不同的人在不同的方向上往前推。
Nathan：你再多讲讲，比如全速冲刺然后一头撞墙、摔成碎片这种事。显然他们不可能一直这么训，不然实体机器人很快就没得用了。所以光从这一点我就能判断，他们肯定在仿真里做了大量训练。你多说说，为什么这类任务适合在仿真里训，而哪些任务到现在还是很难在仿真里训？
Keerthana：对，这里的关键就是仿真到现实的迁移。在机器人语境里，它指的是我在仿真里训出来的东西，能不能在现实里复现，这个差距有多大。就像我们知道的，特别是在 agent 这类东西上，能在仿真里学会的，往往也是最先被解决的那批。拿运动来说，地面或者墙你通常可以建模，然后建模跟它的接触。而且这些往往都是很平的表面，所以这个任务非常适合放在仿真里做，然后你可以把整个机器人做进去。但操作就不一样了，你真正在意的是接触，接触什么时候发生、物体怎么反应，恰恰是现在的仿真开始有点撑不住的地方。叠衣服就难做，因为布料有摩擦。但就算是仿真，很多抓取和放置还是可以做得挺靠谱的，因为那里的接触动力学通常也还算可预测。
Nathan：那从 AI 这一侧看这些机器人，你会怎么推断我们看到的这些？看起来这里面并没有什么推理的部分。我不太清楚哪些架构能用哪些不能用，也不知道控制那些跑步机器人的模型都是什么。它们是跑在端上的吗，还是有些在端外？你觉得它们的工作层级有多高？显然它们在稳定控制上做了很多事，保证任何时刻都不会翻倒。但就这些吗？因为接下来我们要聊 Gemini Robotics，那套架构里有层级高得多的推理和理解场景的部分。我猜为了这些追求速度的演示，那些可能全都跳过了。
仿真能训什么，机器人现在还在GPT-2时刻
Nathan：换个角度问。你自己是研究者，如果机器人在某些任务上赢了，你会去做机器人做不了的事——前沿是不断移动的。我记得刚做 manipulation 那会儿，连在固定位置抓取都很难，那时我们也没有对的算法。现在有了基础模型，这类事情变得相当容易，研究前沿也就移到了人形机器人和灵巧手上。比如 Gemini Robotics 2 这次的发布，是全身控制、全身操作，尤其是带泛化的全身操作，这是之前没人展示过的：不只是跑得快，而是能迈步、能下蹲，同时闭环地操作物体，还能泛化、推理不同类型的物体。差不多一年前你要是跟我说能做到这个，我会有点惊讶。我确实有点自豪，因为我们两年前开始做人形机器人时它们才刚起步，想抓个苹果都特别难，现在你可以直接 prompt 它。我在 Twitter 上发过一个视频，我拿着浇水壶跟它玩，它在不同位置下蹲试着把它拿起来。
Keerthana：用 METR 任务长度曲线来框的话，那条曲线画的是随时间推移模型能完成的任务越来越长，长度用人类做这个任务要多久衡量；另一个维度是成功率，有百分之五十的版本，也有百分之八十的版本。显然 LLM 的使用和机器人的部署有个大区别：真实世界里百分之五十的成功率大概不行，除非这个任务对失败极其宽容。我在电脑上可以觉得漏了点什么无所谓，但机器人掉了个东西摔坏了，那就出问题了。如果让你用类似 METR 的曲线描述，机器人能做得足够好、好到真能部署的任务有多难？哪些事它们能做到百分之九十九以上，那百分之八十在哪，今天百分之五十又是在哪？
Nathan：我觉得很多 pick and place 已经接近可部署了。不过机器人乃至整个 AI 都需要一个平衡：你可以造非常窄的 AI，就擅长一件事，但那样你就失去了通用，也没有在做泛化。可以把泛化和精通看成两个大致正交的轴，做泛化就像水涨船高，把所有船都托起来。你可以想象任务分布在这个流形上，给出非常通用的常识和理解，会让所有任务都更容易达到精通。哪怕今天你也能造出非常窄的 AI，就擅长一两件事，但做第 N 件事的成本跟做第一件第二件一模一样；而先建一个很通用的基线，就能更容易快速地把它调向精通。我觉得这在 LLM 上已经验证了：一开始大家用专做一件事的专用模型，现在 GPT 和 Gemini 在一大类任务上都很强，有了这些通用基线你就能爬得很高。同样的逻辑对机器人也成立。
Keerthana：去年我在 The Curve 看你的演讲，记得有个有趣的点，就是拿你们当时的基础模型做任务特定的微调，展示微调带来的提升。最近也有不少演示，我自己没办法上手验证，但在网上能看到不同机器人公司的视频说做到了少样本泛化甚至单样本泛化：视频里有个人做一次任务演示给机器人看，然后它就能做了。能做到当然很好，但你觉得人们实际部署机器人会走哪条路？他们会做一百次演示吗？还是十次？我们是不是快要做到很多事情只要一次演示就能跑？如果人们想把人形机器人调好、用在他们最在意的事情上，应该准备投入多少？
Nathan：我觉得肯定会是一个谱系。能通过 ICL，也就是上下文学习，给机器人演示一个任务它就学会，这肯定能缩短部署和上手时间，而且你不需要做什么特定的发现，基本上不用训练，在上下文里就能做，这是很令人兴奋的进展。不过你也可以把它理解成视频提示。就算老一些的模型，我说把那个东西拿起来，而它是个从没见过的物体——我输入语言，得到的是一个非常通用的行为，这个行为我以前并没有演示给它看过，这就是泛化。现在除了文字提示，你还可以用图像提示，说就是这个东西，然后在你要操作的东西上画个圈；某种意义上这也是用视频提示。所以我猜现在这些 ICL 的结果，都属于怎么给基础模型做提示这个谱系。那问题就来了：你能得到什么样的泛化？这些模型在某种意义上也很容易变成记忆，如果你真的把该怎么做原样演示给它，它们会照抄，但场景一改还能适应吗？第二个问题是，你提示的任务难度到哪一级？很多 pick and place 模型有大量数据，也更好理解，但你能演示给机器人怎么扎垃圾袋吗？演示完之后它能扎垃圾袋吗？我觉得这还很早期，得看它怎么发展。
Keerthana：下面这个问题有点傻，但对校准位置可能挺有用。如果让你给今天的机器人技术打个分，从 GPT-1 到 GPT-6，我们现在在哪一档？之前几次对谈我记得咱们的结论是差不多刚摸到 GPT-2 那个时刻。我自己是把 GPT-3 等同于上下文学习，但机器人的路线明显不太一样，我们是把指令跟随直接做进去了，很多时候甚至是在上下文学习真正变好之前就有了。所以这暴露了我这个问题的毛病。但如果你一定要类比，机器人大约走到了第几个 GPT？
Nathan：我觉得还是 GPT-2。要到 GPT-3，第一，少样本学习得在大量不同任务上都真正好用；第二，机器人还有个很别扭的地方，它到现在还是严重受制于跨本体。如果它只在你这台机器人、你这套特定配置上能用，那它算通用大脑吗？我能把这个大脑装到我的机器人上、或者另一台随便搬来的机器人上吗？它本来就该能跑，可要是在那种场景里完全歇菜，那还叫通用大脑吗？GPT 从来没有这个问题，我的手机、你的手机、我的电脑，Mac 还是 Linux 都无所谓，行为表现基本一样，你可以预期它给出很接近的结果。但机器人这里我们非常受制于它跑在哪个本体上。所以要做的工作还很多，才能真正做出通用大脑，把这些因素都抹平。
Gemini Robotics 2的架构：System 2大脑怎么编排VLA
Nathan：正好可以聊到 Gemini Robotics 2。你先给我们过一遍整体架构？你们网页上发布了三个模型：Gemini Robotics ER 2，也就是具身推理模型；Gemini Robotics 2；还有一个端侧模型。讲讲它们之间是什么关系，先给我一个大概的地形图，我再拿更具体的问题往下挖。
Keerthana：Gemini Robotics ER 可以理解成一个 System 2 的大脑，能做非常通用的推理。它基于 Flash 那条模型线，但往机器人方向做了更多调优，能覆盖很多机器人任务，而且开放得很广，你也可以直接拿它做通用的图像和视频理解、语义理解。Gemini Robotics 则是那个 VLA，也就是视觉-语言-动作模型，负责控制动作：收到用户或另一个系统工具模型给出的意图之后，机器人该怎么动、该做什么。而端侧模型是它小得多的版本，能塞进机器人自己的电脑里，不用跑在云端，做的事情本质上和 Gemini Robotics 一样，只是模型更小、能跑在端上。
Nathan：这东西是怎么做出来的？它基于 Gemini 3.5 Flash，也就带来一堆现成的好处，比如思维链推理、多模态输入。这是不是你觉得机器人长期会围绕的那套架构？一个明显的挑战是，带推理过程的语言模型响应要花不少时间。我做了个小实验：这个模型在 API 里，我就让一个 coding agent 接进去用，还给它暴露了一些工具。我做了几个特别简单的二维 demo，其实是浏览器里的一个小画布，往里喂一张场景的小图。挺惊人的，几个 prompt 就能搞清楚这个模型能干什么、用起来有多顺手。但我也拿到了耗时记录：有时候从提示说把香蕉移到盘子上，到真正发出工具调用，要六秒左右。放到真实世界里，这个时间挺长的。所以我就好奇，这是你们为了方便先搭的一个底座，还是这就是你们最终认为会成立的范式，只是会提速或以别的方式改一改，最后让机器人在我们的环境里做到响应及时？
Keerthana：我觉得这完全取决于具体应用。有些场景，比如你在流水线上，你没法磨蹭，就得做得特别快。但如果我在家，我说机器人你去帮我叠一下衣服，我其实不太在乎叠得多快，我在乎的是叠得好不好，我可以等。另外，scaling 在 LLM 和机器人里都是很重要的因素。我猜很多最前沿的能力会先出现在那些超大的模型里，而这些模型天然会比小模型慢。所以这里肯定存在取舍，是一个谱系。我猜 Flash 和 Pro 这种范式在机器人里也会存在。甚至在机器人里，你可能还会看到一个端侧的范式，因为即使是 Flash 模型也仍然跑在云上，你得有很好的网络才能跟它对话，而机器人的部署可能非常分散，你可能想让密歇根某处的机器人也能跑。所以范式还会演进，但我想各个规模都会有它的用处，适合不同类型的应用。
Nathan：你这个对比挺有意思。一般来说我总觉得机器人会先进仓库、工厂、商业空间，那些地方可控性强，任务高度一致，还有专业人员能同时维护一大批机器。按这些条件，我一直觉得它们不会先进我家，得先在商用场景里铺得挺好才会轮到家庭。但你刚才说的有点把我推向另一边：它们对工厂来说可能不够快，但完全可以在你睡觉的时候把家务全干完，这有可能是个倒置。我记得上次我们聊的时候，你说过预计商用场景会是最先落地的地方。现在还是这个判断吗？这和响应速度的问题又怎么联系起来？
Keerthana：我确实还是认为，商用场景更可控，所以更适合去试验新的智能。相比之下人的家里更复杂，你也没法施加控制，而且因为有小孩这些东西，安全门槛也更高。这一点我依然相信。但速度这个问题，我不觉得会是我们先做出慢的模型，然后再把它们做快。我觉得我们会同时做快模型和慢模型，然后再蒸馏成一个。当然也很有可能，有些能力就是会先在更大的模型里冒出来，然后我们得想办法把它带到更小规模的模型上去。
Nathan：说说 Gemini Robotics 的具身推理模型 ER2，和它训练所基于的基础模型 Gemini 3.5 Flash 的区别。有件事我都没让它做，我的编码 agent 自己就把两个模型比了一遍：给它们同样的输入——这是场景，这是你能用的工具。我这个小测试里给的工具还比较高层，就一个 grab_at 抓起来，然后 place_at 放下去。它甚至还做了一个借鉴热门视频的测试：东西在快要抓到的前一刻被挪走了，模型抓空了，然后它拿到一张新图，但东西已经换地方了。不过这些都是比较简单的东西，我跑的那些测试里，Flash 和 GR2 表现基本一样，两个都做得挺好。具体到具身推理这类任务，你会怎么描述那条前沿边界，也就是 GR2 能做、Flash 做不了的事情？
Keerthana：我们跟踪的很多基准测试都是仪表读数这类。我们的思路是，ER 跟基础模型配合得更紧密，尤其是机器人场景，比如巡检、读仪表、大量的指向操作。但这是个协作关系，不是 ER 和 Gemini 在竞争，有很多数据是往上反哺的，所以怎么让 Gemini 模型在机器人上整体表现好，是很协作的一件事。而且就算 Gemini 模型是更通用的智能，你依然可以去做专用模型：比如说某个具体的机器人场景需要更专门的工程或者微调，那就有一个专用模型，在那个场景里稍微更强一点。所以关键是想清楚你要什么，以及你想投入工程去做什么。
Nathan：这个模型有十二万八千的上下文窗口，放在机器人语境里是什么概念？我做过足够多的事，对多少页文本有直觉，但对一集的历史记录是怎么编码的、每秒多少张图，我其实没什么感觉。从时间上该怎么理解？128K 对应一个 GR2 驱动机器人，一集最长能有多长？
Keerthana：差不多是三分钟的记忆，具体取决于你怎么做 tokenize、一个东西用多少 token，还有你额外给了哪些信息。说到记忆，你会看到 pro 模型的上下文长度大得多，而且它们在装下更大体量的东西上进步很快。现在 ER 还装不下机器人做很多事的很长一集，然后还想从里面拿到输出。但上下文长度是个一直在攻的问题，所以我觉得特别是那种离线分析的场景，pro 模型会更有用。三分钟是指你把上下文塞得非常密的情况。
Keerthana：我觉得记忆要非常密。Daniel Kahneman 有本讲快思考和慢思考的书，其实放到记忆上也一样。尤其是很久以前做过的事，值不值得用图片这种高密度的模态留着？还是说我边做边用文字大量总结我在干什么？比如我在做饭，在我脑子里，我想的话确实能回到我当时翻鸡蛋的那一刻。但很多时候，我做事的过程和叙述，哪怕只是文字总结，对我做过什么也相当有用、相当有信息量。所以上下文的关键是信息跟任务的相关性，看你想要保留什么。如果你能记住一切那最好，但实际做起来，你得管理内存更高效，把最重要的信息表达出来。有时候这也可以是文字形式的信息，因为文字更好压缩。这也关联到 ER 和 VLA 之间的交接和边界：ER 负责从人那里解析意图，然后用文字和其他模态去跟 VLA 沟通，在那个界面上走的都是可解释性强得多的模态。
机器人需要的到底是速度还是记忆
Keerthana：对，我觉得 ER 在能力上确实更接近 Gemini 本身，所以它更成熟。Actions 那条线更靠前沿，还有很多研究要做，比如怎么让它真正好用、怎么更广泛地服务出去。而且大家用它的方式挺让我意外的，我看到它的吸引力真的很广，团队这块做得很好。要说学到的东西，第一，我们之前跟可信测试伙伴做了大量测试，但一旦放到 AI Studio 上更广泛地开放，用量跟我们从那些深度合作里得到的信息完全不是一个量级，一放到更开放的平台上，规模就爆了。第二，肯定有机器人公司在用，但作为研究者，我挺意外的是学术界用得也很多，比如拿它做 benchmark，有人用 VLA，甚至有人试着做低层控制。现在大家都在讨论 agent 会怎么影响机器人，ER 在这个语境里被怎么用，看着挺有意思。第三，ER 现在开放度高了，也就特别容易被拿来评测，这对我们是免费的信息，告诉我们模型哪里做得好、哪里不行、下一步该往哪推。
Nathan：有没有哪个消费级产品，或者哪个用户，是你特别想拿出来讲一讲的，在用 Gemini Robotics 2 的？
Keerthana：demo 挺多的。我看到 Boston Dynamics 的 Spot 机器狗四处跑来读仪表、发零食，我觉得这个挺有意思，我喜欢。
Nathan：是吧？我知道可以这么做，因为我自己试过，或者说我的编程 agent 替我试过，你可以给 Gemini Robotics 2 定义任意工具，就跟给普通 Gemini 模型定义任意工具是一样的。在它能用好哪些工具这件事上，你会给什么额外的指引？也许你可以讲讲 Gemini Robotics 2 这个 VLA 模型都暴露了什么接口，然后大家怎么往上走到更抽象、或者往下走到更低层，哪些行得通、哪些不太行。
Keerthana：你是说，这个问题问的是 ER 怎么控制 VLA 吗？
Nathan：对，而且按我的理解，用 Gemini Robotics 2 的时候我可以只写一点工具描述，就给它自定义工具，对吧？然后它靠通用推理能力自己决定调哪个工具。但我猜有些工具它用得比别的工具好。所以我想知道，你以什么形式给它暴露工具，也就是它跟这个 VLA 模型交互的方式都有哪些？我猜你们大概知道它的能力甜点区在哪，但用户也可能往更高层的概念走，或者往低得多的概念走。我想知道，一旦偏离 Gemini Robotics 2 这个它显然训练时最直接对应的标准 VLA，它什么做得好、什么做不好？
Keerthana：有一点是肯定的，Gemini Robotics ER 是建立在 Gemini 的工具调用等能力之上的。我们也在很努力地改进它跟 VLA 之间的关系、怎么更好地下达指令。不过我想，机器人差别太大了，每家的 API 都很不一样，它对那些我们常用、更广为人知的机器人的 API 应该更友好。但如果你把它放到别的地方，这里我就是猜了，得实测才知道。而且机器人 API 这块也没有像模型协议那样的统一标准，所以我想，真要大范围用起来，可能会遇到一些挑战。
它肯定是个很好的模型，很适合用语言去指挥 VLA。你可以把 VLA 本身理解成一个映射，从关节空间、语言到关节空间，从语言图像空间到关节空间。但现在有很多 demo 在试，这些更高层的模型能不能直接控制关节空间，所以还有很多工作要做。目前的结果还是专用的机器人基础模型更强，虽然更大的大脑在编排这些机器人上表现出了很惊艳的能力。所以这块我估计未来会有很多推进。
Nathan：我做那个小 demo 的时候，我的编程 agent 选择暴露给 Gemini Robotics 2 的工具是 grab_at 和 place_at，它得直接看图像，挑出具体抓取和放置位置的 XY 坐标。显然这方面它训得挺好，因为它做得不错，当然也是在二维层面。那……
Nathan：用 Gemini Robotics 2 的时候，你们让 GR2 给 VLA 下的是什么样的指令？听起来不像把手移到某个 XYZ 坐标那么低层，那更像你说的实验性的。你们实际用的接口更像是拿起这个东西，或者拿起黄色的那个。比如我的 demo 里有柠檬有香蕉，你说拿起黄色的东西，那到底是香蕉还是柠檬就有歧义了。GR2 模型会怎么帮 VLA 消歧？是给坐标？还是说用香蕉这个词？还是描述形状，比如椭圆的还是月牙的？VLA 到底能接住多少个概念？反过来说，ER 下指令需要多具体？
Keerthana：我可以给你一个答案，但只在当下成立，这块一直在变。这个研究方向叫可引导性，大家在看各种引导方式，也就是 VLA 的可引导性，而 ER 本质上就是用它来引导 VLA 的各种模态。现在的 VLA 是可以用语言引导的，你也可以指物体。所以这里不是我给一个 API 说把像素位置放这，我就是直接在指着，指一个物体，看 VLA 能不能做到。而上下文学习的结果则是，我能不能用视频之类的东西去提示它。所以这是个谱系。最终你会希望跟机器人交互的方式非常宽，如果 ER 和 VLA 之间的模态只有文本，很多东西在路上就丢了。所以我们希望这个接触面随着时间推移也尽可能丰富。
Nathan：对。所以 VLA 本身是多模态的，它能接收所有这些不同域、不同模态的输入。
Keerthana：对。你可以把 ER 看成是在编排 VLA，或者给它反馈去完成任务。指令的范围也挺宽，虽然我们一般不会专门训它做很多低层的事，但它会说转个身、看看你那边、把头放那儿，或者看你左边，这些信息都能传下去，VLA 会响应。而且基础模型有个特点，就是有时候它的表现会让你挺意外，连你都不知道它能做这个。有时候你就看它从这套框架里自己冒出来了。
Nathan：这个公开过吗，还是你能说？听起来 Gemini Robotics 2 这个模型也是从一个 VLM 基座做出来的，对吧？但那就……你前面提到它有全身控制。具体说说全身控制到底指什么？是不是也包括，因为稳定控制通常需要很高的循环频率，对吧，频率得挺高。而如果这是一个后训练过的 VLM，尤其是带你说的高层概念，很难想象它能在那个频率上做低层稳定控制。所以也许机器人自己带了这套东西，不算在全身控制里。那全身控制里到底包含什么？还有什么留给更低层的系统？
Keerthana：对。你可以拿中国的人形机器人比赛当例子，肯定是有控制器能把身体控制住的。但到最后你要保证的是，我到底能不能完成这个人让我做的任务。而那些特别低层的控制器，往往没有一个懂语义的大脑在那儿。而且我还得去控制，我怀疑很多东西是没法抽象掉的，不是说这个系统负责这个、那个系统负责那个。所以这里 VLA 控制着整个类人身体，从指尖到脚。只有当你把身体是什么状态、环境的所有感知信息全都推理一遍，你才做得到。我觉得这个设计才是对的，才能干很多不同的任务。所以 VLA 控制全身，但具体怎么稳定、怎么达成 VLA 定的目标，后面还有更多决策在做。
双好手与奇怪的本体：硬件进展与消费级市场
Nathan：那就一团糟了，还可能滑一跤。如果我没理解错，Gemini Robotics 2 的一个价值主张就是它能适配任何本体。通过可信测试者计划，你见过最奇葩的本体是什么？
Keerthana：意外的是，奇葩本体并不多。最怪的可能是有人在无人机上装机械臂之类的。我觉得道理就是，只要有数据，什么都能学——这是我的原则，所以我确实相信很怪的本体也能适配。但整体来说，本体的分布看起来很像正态分布：如果你去看本体空间里的特征向量，很多都是双臂、很多是手，也有很多类人形；剩下的那些奇怪的东西，就是长尾。
Nathan：有没有你见过的儿童玩具，今年假期可能会大卖？
Keerthana：玩具？你是说给机器人玩的？
对，我也不知道，就随便想象一下。说实话我挺奇怪的，我还没怎么听我孩子要过这种东西，看他们朋友有什么也没有。就是那种带 AI 的小机器人玩具，在家里走来走去，或者哪怕用轮子动，能说话。我也不确定我到底想不想让他们想要这个，因为我不确定我想让这个成为他们的生活。但我确实奇怪怎么没怎么见到。所以我就想问问，研发管线到底有没有。
我觉得可能是因为这个市场有点被烧过了。我记得我上学的时候，很多公司都在做桌面游戏机器人，我在 CMU 的时候也有很多人在聊这些。但大家可能从中学到的是：人们买这些东西是因为新鲜，买回去就不用了。那些机器人没有一个是机器学习出来的、连着大模型的，现在情况完全不一样了。我平时跟 Alexa 和 Siri 说话，有时候就想，要是它们聪明得多，那该多好玩。
Nathan：我自己也是语音模式的忠实用户。我们上次聊的时候，我问你最需要硬件厂商给你什么，你说我需要一双好手。手现在进展怎么样？硬件整体进展怎么样？相对于模型进步的速度，硬件会不会变成瓶颈？现在是什么状态？
Keerthana：有意思的是，去年三月我们推出了 Gemini Robotics 1，展示了夹爪能做到的很多灵巧操作。而今年夏天，也就过了一年零三个月左右，我们展示了 Gemini Robotics 2，它能做多指灵巧操作，能扎垃圾袋，能对多指手做很精细的控制。我自己的认知也在更新：以前夹爪机器人能做的、而且处在灵巧操作前沿的那些任务，现在带手的机器人也能做了，而且还能做夹爪机器人做不到的事。某种程度上，现在手站在灵巧操作的前沿，夹爪可能已经不是了。这一点我挺意外的，硬件进步真的很大。市面上有不少很好的手，很多人在用它们做研究，但还需要做更多工作，让它们非常可靠、可重复，还要更便宜。
Nathan：它们力气有多大？如果我老婆让我拧开一个罐子，机器人能替我去拧开吗？还是说她只能找机器人拧得开的罐子？除了灵巧度之外，真正能拧动东西的扭矩这一块，它处在什么水平？
Keerthana：我觉得这是个区间，得看你用哪只手，就算是市面上现成买得到的，差别也很大。Wuji 那只手大概相当于十岁小孩的水平，力气偏弱一些。Sharpa 那只手我觉得能提起二十公斤，扭矩具体多少我不清楚，但我见过它开罐子，所以我觉得能做到，可能特别紧的罐子不行，这我说不准。所以区间很宽，有些手就是为提重物设计的。Sharpa 的手比我的手大不少，Wuji 那只更接近人手大小。
Nathan：要是人类最后一份工作是拧开那些手腕力气不够的罐子，那可太搞笑了。随便岔一句，你回答什么都不知道，或者全是假的，都没关系：软体机器人到底是什么？你对它了解多少？我该关注什么？我最近跟这个领域的一位创始人聊过，老实说，聊完比聊之前还糊涂。他们基本什么都不肯讲，我当时就想，你什么都不能说，那干嘛还约采访？不过我还是带着一个问题出来了：软体机器人这块，如果有的话，我该关注什么？
安全即能力、涌现的手势与机器人的未来形态
Keerthana：安全是我们非常认真思考的领域，我把它当成一种能力来看。没人会用不安全的机器人或 agent：最有用的 agent 一定得是安全的——知道自己该干什么，不会无视人的指令、制造混乱、违法乱纪。所以安全必须在 AI 和机器人的设计里处于最核心的位置。
尤其在机器人里，安全分好几类。一类和 AI 安全不太相关，是运行安全，就是怎么保证机器人不伤人。这种伤人不是因为它有恶意，而是因为它笨：人形机器人光是站得稳就不容易，它不是在密谋占领你家，但只要摔一跤就可能很危险。这类研究可能非常针对机器人，目前在 AI 领域我还看不到它成为大问题。
还有一类是更高层的目标层面问题：怎么保证你完成人要求的任务，同时不越过护栏。再有一类可能是机器人特有的：某些传感器出问题时会发生什么。我们演示过一个搞笑例子：机器人正在干活，有人往它头上扣了个篮子，正确做法是意识到有东西挡住了视线，请人把它拿开，而不是遮着眼睛继续做任务。所以安全是个全系统的事，从系统设计、机械设计一直到 ER 和高层大脑都要考虑。随着 AI 能力变强，我们得花更多算力去想安全。
Nathan：你说的有人去捣乱机器人的例子挺有意思。Waymo 那边我们也见过，有人专门跑去给 AI 系统制造麻烦。
Keerthana：这点挺让我意外的。可能因为你脑子里有两个大脑，这很难：一个是研究者的大脑，知道它们是机器，就不会真把它们当人看；但另一个大脑因为它们长得太像人了，这就有点自我矛盾——它们说话的时候，你在旁边待着会觉得很像人。所以作为研究者我会格外小心一点。
但我发现新人跟机器人互动时，真的需要更清楚地意识到这是机器，因为太像人，这条界线就模糊了。这也给人形机器人设了更高的门槛：如果是夹爪机器人出错，人们本来就不指望它聪明；但一个人形机器人乱挥、频频失败，受到的评判会严厉得多，因为哪怕你说这是操作研究目前的水平，人们依然期待人形机器人比那些长得完全不像人的机器人表现得更聪明。
Nathan：这挺有意思。我不想在意识这个问题上钻太深，不过过去这一年我觉得特别震撼的是，在大语言模型里发现了那么多类似的结构。就我个人来说，我愿意接受 AI 其实在某种程度上是有意识或有感受的这种可能性，这个意愿提高了很多——因为我们现在能指出那么多类似的结构，比如功能性情绪、功能性福祉，还有 J space 之类的东西。你要是有什么看法我很想听；不想聊的话，AI 意识这个话题先跳过也行。
Keerthana：有一点我想特别讲一下。Gemini Robotics 2 有一个上一代完全没有的东西，就是人机交互这一块。它会做出非常自然的手势，而且不是预先编程的。你看上一代发的视频，那些点头之类的动作更像是提前编排好的人机交互；现在就是很自然的人机交互了。你会看到一些特别搞笑的事，因为机器人自己在决定：我跟你说话的时候该比什么手势。
还有一件很有意思的事。我们拍 Gemini Robotics 2 的时候，视频里还有对机器人的采访。大家问机器人你觉得你那件事是怎么做的，机器人就说挺好的，不过我在任务这一步可能犯了个错。拍摄团队一开始没怎么跟机器人相处过，拍到后面直接说 action，机器人就开始干活。我确实觉得，随着我们对人形机器人越来越习惯，加上这些模型越来越聪明，这条线会越来越模糊。
我讲个好玩的：当时机器人在地下室和车库收拾打包东西，后来有个采访问它做这件事最难的地方是什么？机器人说，是那盘录像带，那是我最喜欢的物件，要把它放进筐里而不是自己留着，太难了。我们一群人在后面坐着，全被它的回答逗笑了。你说机器人会喜欢一盘录像带吗？还真有可能。
Nathan：有可能吧。至少是它自己说的，这种自述我们看着还算靠谱，虽然不总是。确实有一些特别可爱的瞬间。
Nathan：那些手势是从哪来的？如果不是预先编程的，是什么让模型倾向于对人做手势？
Keerthana：是靠提示的。有一个模型专门用人机交互来做手势。
Nathan：明白了。所以是 Gemini Robotics 2 跟 VLA 模型说：我接下来给这个回答的时候，你抬手比个手势，大概是这样？
Keerthana：不是，它更像是在跟着对话走。不是特别明确地提示它做这个或做那个，而是自己实时生成手势。就像 VLA 一样，没人会跟 VLA 说：先把手伸出去，再去抓那个东西。所以它比那个更自然。
Nathan：有意思。这算涌现吗？也不算涌现。听起来你们多少是为它做了设计，但又不是特别具体。所以算是半涌现。
Keerthana：对。而且这也是我们开始做人形机器人之后才更多去想的一个研究领域。外界有很多讨论，说为什么要用人形机器人，为什么不做只带手臂的机器人。我觉得有一些研究方向，如果你不去想我最终要瞄准的形态是什么，你根本碰不到这些问题，也就永远不会去研究。
我特别喜欢的一点是，DeepMind 可能是北美唯一一个能跨本体研究人形智能的实验室。我们不是专门为某一个身体造大脑，而是非常通用的，实验室里就有好几个人形机器人。所以要考虑的是，智能这个底座怎么设计，同时把身体抽象掉一点，智能在某种程度上是跟最终形态解耦的。
而且不同的身体会带出很多新的研究领域：一是人机交互变得重要得多，二是全身控制变得更重要，三是多指灵巧操作成了新的前沿。要接触到这三个前沿和研究问题，你就必须做人形机器人。
Nathan：关于这个领域的未来我有一个大问题。先致敬一下 NVIDIA 的 Jim Fan 博士，他有一场特别精彩的演讲，让我产生了好几个大问题。他的核心论点是，机器人模型必须往前想，需要某种前瞻模拟，这跟世界模型不完全是一回事，但肯定高度相关。
关键的一点是，回到我前面问的经典推理 LLM 主干系统的响应时间问题。在他看来，你不能让模型永远只看当下，对当下做推理、采取行动，然后一遍遍循环。你得有办法把未来投影出来，这样我才能一边动，一边衡量我的预期和实际发生的差别。这大概就是路径。至少按我对大脑工作方式的理解，我们就是这么干的。你也可以看 LLM，它们在逐 token 预测上，在没有显式世界模型的情况下已经走得非常远。也许机器人也能这样，也许是另一回事。你怎么看？这肯定是个核心争论。
Keerthana：对，我觉得现在还没有定论。说到底，做机器人研究的人不会对某一种方法有情感执念，你真正在意的是问题本身，哪种方法能解决问题你就用哪种。
确实有很多流派。世界模型对机器人来说肯定是个很有意思的方向，不只是当策略用，还有仿真等等。我说还没定论，是因为现在有 VLA，有 VAM，但同时也要看亚洲的机器人是怎么走的。我觉得我们拭目以待。
这也许就是做机器人最让人兴奋的地方：现在还很早，recipe 还没定型。不同的人对怎么解决机器人问题可以有非常不同的想法，最后看谁对，也可能全都对。在问题真正解决之前，你很难斩钉截铁地说这个就是答案，或者那个才是答案。
Nathan：对，有意思。所以你是持开放态度的，而且 Google DeepMind 在世界模型上的积累也相当扎实。真需要拿一个现成的世界模型来做前瞻模拟，你们手头的基础挺好的。
他还有几个观点我想听听你怎么看。一个是他认为第一人称视角视频会成为训练数据的主体，他觉得遥操作数据会缩到很小的规模，只占一小部分。还有那个可穿戴的机器人手，我觉得挺酷的，但他认为连那个最终也会让位给第一人称视角视频。再往后就全是仿真，他认为仿真的那些问题基本都会被解决，那才是我们拿到足够多的机器人数据、真正解决机器人问题的路。你怎么看这个数据的未来，跟你自己的想法比怎么样？
Keerthana：我觉得什么结论都得靠结果说话，光做预测没什么意义。一般是先有一个预测，做实验去验证它，然后你才知道这个预测对不对，而且这些东西还会随时间变。Jim 对某类数据有很强的观点，这挺好的。我觉得最后很可能就是一个混合。
你看 LLM 就是在各种数据上训练的，不同的数据有不同的用处。遥操作数据肯定对把模型落到机器人的控制上很有用。UMI 类数据的好处是可以没有机器人参与就大规模扩展，便宜得多。人类数据，也就是第一视角的人类视频，对获得广泛的语义理解、知道该做什么这类事也很有用。但它们也各有各的失效模式：如果你在控制一双很精细的手，你拿不到关于手在哪儿的精细信号，除非全靠视觉去估计，而视觉错误很多。所以每种数据模态有各自的强项和短板。UMI 类数据因为有传感器，动作标签是从传感器来的而不是从视觉来的，所以更准一点。
我会这么想：每种数据源可以放在横轴上，一个轴是规模，一个轴是精度。遥操作规模不大但精度很高，因为它就是机器人自己的数据；但它也不太经得起时间考验，机器人一升级，你的遥操作数据就开始没那么有用了，哪怕跨本体做得很好。然后是 UMI 类数据，因为有那些传感器，它比人类数据更精确，但也正因为有那些传感器，扩展性又差一些。再往后是人类数据，扩展性非常好，但可能非常嘈杂，因为你没有精确有效的动作，还得把它放到机器人上，误差就从这儿来；再加上每个人差别很大，有人个子小有人个子大，完成同一个末端任务的方式很不一样。
所以我觉得最后大概更接近一个混合。而且硬件每变一次，这些范式的处境都不一样，比如市面上出现了很好的 UMI 硬件，那条能扩展的上限就上去了。所以对这件事拿一个很原则性的立场并不明智，新证据、更好的硬件一出来全都会变。你大概什么类型的数据都需要。
Nathan：他演讲里还有一个点我觉得挺有意思，虽然不是重点，但让我想了一会儿，就是他用了物理 API 这个说法。这让我想，在一个我要跟很多不同机器人打交道的世界里，我到底想怎么跟机器人交互？我想让它们每一个都是独立的个体吗？
也许最后更像电影 Her 那种模式：我有一个最常打交道的实体，所有机器人都由它当成一个机群来管。那样的话机器人就不是我生活里的独立个体，而是这个单一的个人超级智能的延伸，随便你怎么叫它，由它去跑所有这些别的东西。你对你想怎么跟生活里的很多机器人交互，有直觉吗？
Keerthana：我没有那个物理 API 对话的上下文，但它跟我们前面聊的也有点关系。我觉得我们跟机器人交互的界面必须高度多模态。我作为用户，既要有高层访问，也要有底层访问。这大概是我们走向一个既安全又灵活的未来的唯一方式。
可以是语言，但如果机器人能写代码，如果一个任务需要多个机器人，那我得能把它交接出去，然后它自己去处理协作。我觉得 Gemini Robotics 2 里就有这个：duo robot 和 Apollo 一起做任务，一个在做，它停下来，另一个接手。
所以我觉得，可能吧，我也不知道，这个回答有点无聊，我前面也说过。大概会是一个谱系。有些任务需要多机器人协作、需要一堆 agent 群体，那这时候我得能交接，它们得自己想办法把事办了。也有些任务我只跟一个机器人打交道，我要么给它文字指令，因为我就是在跟它说话，要么我想给它更细、更具体的反馈，这时候我就得下到更底层。我觉得出于安全和可解释性的考虑，我们可能还是得保留对机器人相当底层的访问权限。
Nathan：你刚才说的让我想起我越来越常想的一件事，就是软件产品的通用界面。产品本身在那儿，我可以点它，改字段，拖东西。旁边还有一个 agent 或者助手，它有跟我基本一样的操作权限。大多数时候我大概只想告诉那个东西去做，不太想操心细节。但我也发现，有时候一个应用不让你下到那个细节层级真的挺烦的，因为有时候 AI 自己就是搞不定。所以我能想象这个范式会搬到机器人上。
Keerthana：对。尤其是，比如说我没法让机器人收拾我的桌子，因为我喜欢我的桌子按某种特定的方式摆。所以我希望能给它更多反馈，甚至按我自己的偏好做个性化。
Nathan：最近有什么新进展，关于……我想不出更好的说法，就叫机器人上的断路器吧。我的意思是，我看到过一个例子，那家公司给机器人的躯干做了一个充气气囊，想法是，你一戳那个东西，它马上就被断电了。气囊的压力被人很容易戳破，一破就立刻让它失效。我觉得这个想法挺有意思，算是一种思路，就是最坏情况下你怎么在本地有一个关机按钮。
但更宽泛地说，还有它遇到意料之外的阻力时会怎么样。过去一年多这方面是怎么演进的？
Keerthana：这个一戳就破的气泡，其实一直都有类似的版本，叫急停，或者切断开关。大部分机器人都有一个按钮，一按就断电。它分好几个层次。
有硬件急停，把身体的所有动力都切掉，然后它可能就直接瘫倒，这本身也可能危险。还有软件急停，只是把机器人冻结住，这个对双足和其他本身不稳定的平台通常是安全的。
最近，尤其是操作这块，冒出来很多新功能，用来控制末端执行器上的力。你想把两块芯片叠在一起，按得太狠就把东西压碎了；或者你在处理很精细的材料，就需要力控、末端的可反向驱动性、柔顺性。我觉得传感进步很大，你能读出末端执行器上的力是多少，模型有了这个信息，就能做出比没有这个信息时好得多的决策。
Nathan：最后一个问题，有点烧脑，也可能是个脑洞大到跑偏的问题。最近有一堆演示，我肯定你也看到过，就是人们拿果蝇的大脑去做各种事情，包括看起来是在控制一些小机器人。
原视频：One Brain, Any Body: Google DeepMind's Keerthana on Gemini Robotics 2, Cross-Embodiment & Humanoids
https://www.youtube.com/watch?v=CVcyli4i5g0
中文播客：在小宇宙App搜《硅谷对谈》，或直接访问下面的链接
https://www.xiaoyuzhoufm.com/episode/6ac47ebfe742e36efcbed265
编译：磊哥Thomas