人形机器人终于要出实验室了，但真正的战争才刚开始。
责编 | 王启隆
出品丨AI 科技大本营（ID：rgznai100）
黄仁勋近两年的 GTC 主题演讲，几乎每次都会强调机器人与 Physical AI。过去大家听这些内容，总还有点“未来已来但还没落地”的距离感：模型很强，仿真很热闹，视频也很惊艳，但机器人何时真正离开实验室、进入工厂、仓库、家庭等复杂现场，始终悬而未决。
到了 GTC 2026，气氛明显变了。
今年英伟达圆桌的主题直指核心：《From Concept to Production: Humanoid Robotics at Scale》，即——人形机器人已从“能不能做出来”，转向“如何规模化量产并部署到真实世界”。
这场对话嘉宾阵容务实：主持人是英伟达机器人与边缘计算生态负责人 Amit Goel；嘉宾包括特斯拉 AI 软件副总裁 Ashok Elluswamy、Hexagon Robotics CEO Arnaud Robert、Agility CTO Pras Velagapudi、Skild AI 联合创始人兼 CEO Deepak Pathak，以及斯坦福助理教授、Physical Intelligence 联合创始人 Chelsea Finn。
几家公司路线各异，却共同面对同一现实问题：机器人不缺漂亮 demo，缺的是能穿越数据稀缺、仿真误差、控制延迟、安全约束和部署成本的完整量产方法论。
因此，这场圆桌的价值，不在于谁又展示了更像人的机器人，而在于一线公司首次相对坦率地将关键分歧摆上台面：
- 真实世界数据是否是唯一解？仿真在今天到底是训练主力，还是仅用于测试验证？
- “通用大脑”控制多种机器人，是正在发生，还是仍为口号？
- 端到端模型、分层架构、世界模型、控制系统、Agent 式编排——哪条路径更可能率先实现真实生产环境落地？
特斯拉走的是自动驾驶路径：端到端、统一模型、视频输入、实时控制；Skild AI 和 Physical Intelligence 更强调“通用大脑”，通过跨具身数据、仿真、人类视频与大规模预训练，构建可迁移学习框架；Agility 与 Hexagon 则更务实：在真实部署阶段，模块化、分层控制、工程能力、环境建模与 orchestration 平台，往往比抽象的“万能大脑”更关键。
说白了，机器人行业已进入新阶段：最难的问题，早已不是“让机器人动起来”，而是“让它稳定地、可靠地、持续地干活”。
下面，回到 GTC 2026 圆桌现场，看这些站在量产前线的人，如何谈数据、仿真、模型、控制与人形机器人的未来。
从实验室到现实世界，人形机器人终于走到量产门口
Amit Goel：欢迎大家来到 GTC，感谢各位参加这场圆桌。
过去十年，GTC 谈机器人总绕不开几个老问题：如何训练具身多模态 AI 模型；如何用仿真弥合数字世界与物理世界鸿沟；如何把 AI 推理部署到边缘端，让机器人真正可行。
但现在，一切都变了。
我们已不再仅讨论问题本身，而是抵达一个临界点：机器人正离开实验室，进入混乱、复杂、充满不确定性的物理世界。
今天非常荣幸邀请到这场变革的架构师们。从实验室走向现实绝非易事，但台上各位，正在亲手推动它成为现实。
那我们就直接开始。请各位简单自我介绍。Pras，从你开始？
Pras Velagapudi：我是 Agility Robotics 的 CTO Pras Velagapudi。
我们研发的是 Digit——一款为工作而生的人形机器人。它已部署于 Amazon、GXO、Schaeffler 等客户现场，承担大宗物料搬运任务；近期也宣布与 Toyota 合作。
这意味着：人形机器人不再只是“未来可能做到什么”的想象，而是被按现实标准评估——它现在到底能做什么。
下一步，我们将推出下一代机器人，并集成完整的协作安全能力，使人与机器人能在同一空间内直接协同作业。
Amit Goel：太好了。Ashok？
Ashok Elluswamy：大家好，我是特斯拉 AI 团队负责人 Ashok Elluswamy。
我们正构建一种名为Physical AGI的系统：同一模型可驾驶汽车、驱动人形机器人、操作电脑。它是一套端到端系统——输入为视频，输出为实时控制动作。
特斯拉自动驾驶软件已正式交付多年，部分区域已运行无人监督车队。Optimus 是这套能力的自然延伸：自动驾驶要求从多路摄像头理解世界并输出高精度、可扩展的动作，其严苛的安全文化也将直接迁移到 Optimus。
Amit Goel：Chelsea。
Chelsea Finn：大家好，我是斯坦福大学助理教授、Physical Intelligence 联合创始人 Chelsea Finn。
我们认为，机器人尚未进入日常生活的最大瓶颈不是“身体”，而是“智能”。我们致力于打造一个可控制任意机器人、完成任意任务的“通用大脑”。
与其逐点突破具体应用，不如直接构建通用能力。未来不会只有一种机器人形态，而是多种具身形式共存；真正重要的是，将不同环境中积累的数据与经验汇聚，反哺所有机器人的智能进化。
Amit Goel：Arnaud。
Arnaud Robert：大家好，我是 Hexagon Robotics 的 Arnaud Robert。
我们研发的是多用途人形机器人 Aeon，具备巡检、reality capture 等能力，依赖高精度传感器系统。Aeon 于 2025 年 6 月发布，目前已与 Schaeffler、飞机制造商 Pilatus 及 BMW 展开试点合作。
Amit Goel：Deepak。
Deepak Pathak：大家好，我是 Skild AI 联合创始人兼 CEO Deepak Pathak，也是卡内基梅隆大学教授。
我们在构建机器人的通用大脑：任何机器人，任何任务，一个大脑。无论是家用机器人、工厂机械臂，还是社区四足配送机器人，都由同一底层大脑驱动。
原因很简单：机器人本质是数据问题。语言与视觉有现成大数据集，而机器人领域严重缺乏大规模、高质量、跨场景、跨具身形态的训练数据。我们必须跨平台、跨任务、跨场景构建数据飞轮，让任一具身形态在任一场景中的任一动作，都能提升通用大脑的能力。
真实数据、远程操作、人类视频，机器人究竟该靠什么喂大
Amit Goel：进入第一个核心话题：数据。
大家越来越相信：只要数据足够，模型就能学到很多。但 Physical AI 面临的根本难题是：这些数据从哪来？
各家策略迥异。Pras，你们已在客户现场部署机器人。真实世界中最有价值的数据采集策略是什么？如何权衡远程操作与自主采集？
Pras Velagapudi：进入客户现场后你会发现，你以为理所当然的数据其实极难获取，尤其在强合规环境中。
我们把机器人数据视为一个“金字塔”：
- 顶层：远程操控机器人在真实环境完成任务——最贴近目标，但成本最高、最难合规；
- 中层：代理设备模仿动作、人类第一视角视频（egocentric camera）；
- 底层：通用视频、被动采集数据——量大易得，但离任务更远。
现实中，金字塔顶层数据最难拿。因此我们克制使用，仅用于关键任务；同时大量利用已预训练模型，以其他机构积累的“下层数据”为起点，向上叠加。
从机器人采集的实际运营数据，多为部分可观测信息，且需满足 GDPR 等隐私监管要求。不能把一台会走路的监控系统随意放入客户设施。
因此，我们的策略是混合式迭代，重点建设数据湖与筛选体系。
Amit Goel：部署本身并不天然等于“获得可用数据”，对吗？
Pras Velagapudi：对，部署只是第一步。更重要的是把数据整理对、筛选对——难点不在于数量，而在于剔除大量无效数据。
Amit Goel：Chelsea，Physical Intelligence 在 Airbnb 等真实场景收数据，还搭建 leader-follower 机械臂系统。你们如何靠数据策略实现跨具身、跨任务泛化？
Chelsea Finn：真正最有效的数据，是那些最接近部署分布的真实机器人数据。只有这样，才能覆盖机器人未来真正遭遇的复杂场景。
所以我们押注方向是：在真实世界、用真实机器人，大规模收集真实数据。
研究发现一个反直觉现象：当已有来自多种具身形态的大量机器人数据时，人类视频的迁移效果反而更好。具身形态越丰富，模型越能建立“人类动作—不同身体结构”之间的映射关系，从而更好地吸收人类视频这类“离任务较远”的数据源。
因此，我们不仅用机器人真实数据，也融合网络视频、人类行为数据等，目标是训练出真正跨具身、跨环境、跨任务的泛化模型。
Amit Goel：也就是说，多样化的机器人数据，能增强模型理解人类视频的能力。
Amit Goel：Ashok，特斯拉在 FSD 上积累了数百万英里经验。这对 Optimus 的数据策略有何影响？
Ashok Elluswamy：影响巨大。数据是特斯拉自动驾驶的核心优势之一，我们每天围绕数据流运转：管理、识别价值、过滤噪声。
不是所有数据都有用。例如，我们追求“专业司机式驾驶”，而非赛车手风格。这套判断标准可直接迁移到人形机器人：我们清楚知道哪些数据真正推动系统进化，哪些只是干扰项。
虽然汽车拥有海量车队数据，但多数是“无聊数据”。关键是精准识别“高价值片段”。车队一天可产相当于500 年驾驶经验的数据，但我们只取其中极小一部分进行训练——因为整套数据筛选、抽取、标注的方法论已高度成熟，可无缝复用于人形机器人。
此外，“向人学”在人形机器人上天然成立：大量动作可通过观察人类直接模仿。特斯拉工厂数十万员工每日执行复杂工业流程，本身就是宝贵 bootstrapping 数据源。
归根结底，比原始数据量更重要的是：你如何用这些数据——监督信号是否有效？评估体系是否合理？
Amit Goel：所以你们在 FSD 上建立的不只是数据，更是整条 data pipeline 与先验判断能力。
Ashok Elluswamy：完全正确。更有价值的，是我们已建立的数据治理方法：如何过滤、如何定义“好数据”与“坏数据”。这对 Optimus 帮助极大。
Amit Goel：Arnaud，Hexagon 长期深耕现实世界数据采集，Reality Capture 与激光扫描技术能获取毫米级环境信息。这如何改变你们训练机器人 AI 的方式？
Arnaud Robert：光理解任务本身不够，必须理解任务所处的整个环境。
我们不仅将 reality capture 传感器装在机器人身上，也在外部部署 Hexagon 环境采集系统。记录一个任务时，不仅要记“机器人怎么做”，更要同步采集其周围完整的 360°上下文环境信息。
这些环境信息极为关键。例如，某设备产生的光干扰若能在环境数据中识别，即可从训练中剔除，避免误判为任务要素；Aeon 在工厂扫描检测时，人员穿行、零件位置微调等变化，若无环境建模就难以区分“任务本质”与“环境噪声”。
因此，我们正大力投入：不止采集“动作数据”，更要将任务与环境联合建模。
Amit Goel：Deepak，Skild 提出机器人最大难题是数据稀缺，也强调大量使用人类视频、远程操作与仿真。作为通用模型，你们如何平衡数据规模与多样性限制？
Deepak Pathak：回顾过去十年 AI 教训，两条至关重要：
- 你得有真正关心的数据（如语言模型需要语言数据）；
- 规模压倒性重要——GPT-3 成功的关键是跨过 30–100 万亿 token 的量级门槛。
真实数据当然重要，但机器人困在“鸡生蛋、蛋生鸡”循环：要获得大规模真实数据，需机器人先能干活；要让机器人先干活，又需足够数据练出来。
因此，我们明确拆分 pre-training 与 post-training：
- Pre-training 阶段：借用人类视频与仿真补足“规模”与“多样性”；
- Post-training 阶段：再用远程操作或真实世界数据 fine-tuning。
人类视频提供动作逻辑，但无法映射不同身体结构；仿真则可填补这一空白——两者结合预训练通用模型，再以真实数据微调，加速部署至多具身、多场景，最终由真实世界反馈持续强化通用大脑。
仿真越来越强了，但它仍然不是现实世界
Amit Goel：这也引出第二个主题：仿真在通用智能路线中扮演何种角色？
Ashok，特斯拉发布了 Digital Dreams 工作。基于神经网络的物理引擎，与 Isaac Lab、MuJoCo 等传统仿真器相比，有何本质差异？
Ashok Elluswamy：我们针对不同目的采用不同仿真器。
自动驾驶有现成车队与精确人类控制数据，但人形机器人没有外骨骼系统可无缝映射人体动作。因此，我们的思路是：以人类动作为起点，向外模拟“如果从此状态开始，接下来会发生什么”。
关键在于：仿真器必须物理上足够准确。尤其神经仿真器易陷入“乐观偏见”——只在“好结果”数据上训练，就会倾向生成一切顺利的结局。而现实世界并非如此。
因此，拥有一批真实机器人至关重要：它们在现实中的实践数据，是不断将仿真锚定回现实、缩小 sim-to-real gap 的唯一校准源。否则，仿真可能彻底失控，给出错误乐观结论。
Amit Goel：Chelsea，你们强调真实数据。仿真在 Physical Intelligence 体系中起什么作用？
Chelsea Finn：我们对仿真的使用比很多人想象中更少。它不是主要数据源，但在系统测试、策略评估、算法验证等场景极具价值。
尤其评估环节：随着策略通用性提升，在多样场景中测试的成本与难度剧增。仿真可作为高效“测试场”，提前覆盖分布外环境与复杂边界条件，无需每次都把机器人推入现实试错。
Amit Goel：也就是说，仿真是探索分布外场景与验证策略的沙盒，而非训练主战场。
Amit Goel：Deepak，在 Skild，你们如何平衡合成数据与真实数据？这个比例是否随任务变化？比如行走 vs 精细操作？
Deepak Pathak：关键要看阶段：pre-training 还是 post-training？
Post-training 中，仿真优先：如我们在英伟达展台演示的 GPU 服务器组装任务，部分场景几乎纯靠仿真完成微调。
但仿真仍有边界，尤其涉及复杂资产与高保真环境建模时。NVIDIA Isaac、Isaac Gym 等虽持续进步，但要兼顾真实感与效率仍难。一旦 fidelity 不达标，真实数据无可替代。
因此原则是：能用仿真必混合使用；但 pre-training 阶段，仿真更为关键——因为它的核心任务是拿经验、拿规模。如 locomotion（移动）任务基本由仿真主导；而 manipulation（操作）尤其是高灵巧度交互，则高度依赖真实世界数据。
随着仿真能力提升，该比例动态变化——它取决于任务类型与训练阶段，没有固定配方。
Amit Goel：当前神经仿真（如 Cosmos）能否缓解“仿真不够真实”的问题？
Deepak Pathak：要分开看：
- 感知真实感（画面、纹理、光照）：Cosmos 类模型已显著缩小 gap，帮助巨大；
- 物理真实感（物体变形、接触力学）：仍处攻坚阶段，尚需大量工作。
我们正与英伟达合作开发新 solver，以提升物理建模的速度与精度。结论是：感知层，神经仿真已非常实用；物理层，仍在路上。
Amit Goel：Arnaud，你们掌握客户环境最精确的数字孪生，如何将其纳入仿真策略？
Arnaud Robert：数字孪生主要有两方面价值：
一是量化 sim-to-real gap：它让你清晰看到“理论上应做到 A，现实中只做到 A'”，不仅包含机器人自身，更涵盖环境变量。由此建立闭环：仿真 → 现实执行 → 捕捉偏差 → 反馈仿真 → 逼近真实。gap 永不归零，但可无限缩小。
二是校正工程师思维：仿真常暴露“直觉之外”的最优解。例如 Aeon 上楼梯，工程师原设想锁住轮子再优化腿部动作；但强化学习在开放参数下发现：保持轮子低速滚动、利用惯性才是最优策略。这提醒我们，仿真能打破“理所当然”的工程惯性，发现全新解法。
Amit Goel：Pras，你们已在多地部署机器人。如何验证模型？尤其面对仓库不可预测条件，如何建模？
Pras Velagapudi：这取决于所训练的能力层级。
Digit 采用分层模型：上层 task space reasoning（任务规划），中层 skill space reasoning（技能调度），底层 control space reasoning（实时控制）。最适合仿真的，主要是控制层——时间尺度短，依赖简化但关键的环境模型（如接触物理，而非高精度视觉）。
我们曾踩坑：干净实验室地面与脏污仓库地面摩擦系数差异巨大，导致 Digit 一上现场即失效。但修复很快——只需将该变量加入仿真 domain randomization，再针对性开展 slip test，系统化训练鲁棒控制器。
因此，我们的思路是双轨并进：
- sim-to-real gap：在 Isaac 中高保真建模，力求 zero-shot transfer；
- real-to-sim gap：实地执行后分析偏差，反向补充至仿真参数与 domain randomization 中。
每到一个新场地，核心动作就是检查：该现场是否仍在原有仿真分布范围内？
一个大脑控制所有机器人，还是分层架构更靠谱
Amit Goel：带我们进入下一个主题：模型架构与“机器人大脑”。
路线日益分化：Skild 推单模型、端到端、全覆盖；Pras 提及三层推理模型。Chelsea，请讲讲你们通用基础模型的训练方式、架构设计，以及 memory 相关进展。
Chelsea Finn：分层解决两类问题：
- 长时任务规划：如“打扫厨房”需拆解为多个步骤。我们已实现最长近15 分钟连续任务，跨越多阶段；
- 高效高层监督：无需全程遥操作，可给予更高层指令：“先拿海绵”“再往右挪一点”。这种方式更易远程干预、更高效教学、更能提升抽象能力。
值得注意的是，这种 hierarchy 可折叠进单模型中，类似 chain-of-thought：模型内部先规划步骤，再以之约束动作预测。实验表明，将分层思考嵌入单模型，可反向增强底层 policy。
Amit Goel：分层是否提升安全性？
Chelsea Finn：安全性需贯穿全栈，但最硬约束仍在底层。高层干预则提供灵活介入能力——例如手术机器人中，医生可直接用语言指令介入，无须接管本体控制。
Amit Goel：Deepak，“embodied brain” 如何实现“同一模型控制不同机器人”？架构上如何支持跨具身泛化？
Deepak Pathak：分层本是自然存在：大脑控制关节频率达秒级千次，说话约一秒数词，深度思考则数秒成意。我们的模型亦含此层级结构，低频层建于高频层之上。
关键在于：每一层均输入多具身数据。我们已实现“同一模型”字面意义上控制 humanoid 与 quadruped——甚至更换肢体配置后，几秒内即可重适应。
这不是靠预设适配规则，而是模型学会了一种根本能力：如果我的身体变了，我该怎么适应。这种能力催生了机器人领域的in-context learning：模型不再绑定特定形态，而是读取短期历史、感知电机配置后，再决定动作。
这类似于语言模型在跨过 30–40 万亿 token 门槛后的涌现能力——仿真正是帮我们拉高数据规模、催生该能力的关键杠杆。
底层模型若已掌握多具身控制，上层抽象将大幅简化：操作不再是“机械臂关节怎么动”，而是更抽象的 latent space 行动指令（如“手臂移到此处”）。
Amit Goel：也就是说，你们在 pre-training 阶段先铺开“可能性空间”，让模型在各种身体中学会适应。
Deepak Pathak：身体本身也是环境的一部分。就像面前有瓶子、桌子、沙发一样，也有许多不同身体。计算机不该将其视为特殊变量，而只是环境维度之一。
Amit Goel：Ashok，您说过“神经网络加摄像头，效果特别好”。但机器人需接触世界、受力反馈，这是否改变构建“大脑”的方式？
Ashok Elluswamy：本质未变：仍是端到端模型——输入视频，输出控制。Hierarchy 有价值，但必须内生于同一决策过程，不可割裂为分离系统。
现实世界要求高频实时响应，长尾问题极多（如自动驾驶）。此时拆分高层与底层，会导致响应延迟与信息断层。因此 Optimus 架构中，所有层次在同一模型中运行，共享信息，共同建模延迟。
归根结底，所有组件统一训练。“高层”与“底层”只是开发者概念，对模型而言，是连续 token 流动的单一决策空间。
Amit Goel：所以你们继续增加感知模态，但不改底层哲学？
Ashok Elluswamy：对。核心约束不变：必须实时决策。控制信号虽有层级，但最低频层绝不能太慢——机器人安全不能依赖迟缓系统。
Amit Goel：Pras，你们的路线显然不同。
Pras Velagapudi：我们确实分层，但并非割裂。各层有清晰层级关系，且共同训练——例如上层 imitation learning 模型，需与未来协作的底层 RL 控制器同步训练，共享 latent space 与通信通道。
坚持分层主因有二：
- 时间尺度与部署位置不同：大模型延迟严苛，必须运行在边缘；部分模块可放云端，允许更高延迟；
- 混合技能来源：既有 AI 学习技能，也有工程写死技能（如 docking、AMR 交互、确定性轨迹）。底层用学习模型，上层可直接插入高度可靠的工程化 motion specification。
分层带来模块化能力：可自由混搭——上层手写技能 + 底层学习控制，或中层学习能力 + 顶层工程化流程。这对对接真实系统语义、流程语义、设备语义至关重要。
Amit Goel：也就是说，分层加快了真实部署节奏，无需等待统一模型自学全部能力。
Pras Velagapudi：正是如此。
Amit Goel：Arnaud，你们面向毫米级精度场景，这对“机器人大脑”理解有何影响？
Arnaud Robert：我们走best-of-breed路线：选用表现最优的 VLA、世界模型等，组合集成。
在此过程中，我们做了三件事：
- Prompting engineering for robots：给机器人写 prompt 比 ChatGPT 更复杂——需同时处理语音、环境变化、空间信息、任务状态、多模态感知结果；
- 实时上下文重组织：环境动态变化（如有人穿行、工位移位）要求毫秒级重评估 prompt 有效性、模型适用性，甚至切换重启；
- Agentic AI 编排：高精度任务需多模型并行——有的擅精细操作，有的擅快速移动。核心挑战已从“单模型更强”，转向“如何智能编排多个模型”，在特定任务下精准调用最合适的一个。
从短期 Demo 到长期运行的 Agent，真正的考验才刚开始
Amit Goel：最后用一个更大问题收尾：
当我们从短期 demo，迈向可在现实环境24/7 持续运行的长时 Agent 时，这是否会从根本上改写我们对模型架构、基础设施、验证方式、安全性乃至商业经济性的理解？
换句话说，Agent 真正进入物理世界，什么会被改写？
Pras Velagapudi：Digit 从来不是孤立机器人，而是生态系统一员：我们部署云平台，连接 WMS、MES，协调 AMR 等设备，早已构建 orchestration platform 实现持久编排。Agent 的到来，只是在这套成熟平台上叠一层更智能的 AI，而非推倒重来。
Ashok Elluswamy：前提仍是机器人足够聪明与安全。若基础智能与安全未达阈值，谈 persistent agents 为时过早。一旦达标，叠加 agent framework 即可自然支持长时间运行。
Chelsea Finn：最大差距在于可靠性。长时 Agent 的价值在于失败后可再试、可调整、可修正——这种持续尝试与自我修复能力，或将成为机器人跨越“有用”门槛的关键解锁点。
Arnaud Robert：下一阶段关键能力是 AI 的peer-to-peer属性。若某台 Aeon 或 Digit 在任务中失败后找到新解法，能多快将经验同步至全球 fleet？机器人间的横向经验共享，值得高度关注。
Deepak Pathak：机器人不同于 ChatGPT——后者上线一周可获百万用户，前者真正的难点在“最后一公里”，且这条路极难。
难度至少分两个维度：
- Reliability（可靠性）：如 Chelsea 所言；
- Tolerance（容错度）：应用场景是否允许犯错？自动驾驶属 safety-critical，几乎不容失败；供应链瓶颈环节失败代价极高；但若处于末端环节，系统或可容忍偶发失误。
“容错度”将直接决定落地节奏与路径。只有沿着这些现实约束选场景、选路线、定节奏，机器人方能真正进入物理世界。