Wayve首席科学家Jamie Shotton：把 Kinect 学到的，带上车，再带进机器人

首页

Wayve首席科学家Jamie Shotton：把 Kinect 学到的，带上车，再带进机器人 | ECCV 2026

AI科技评论

2026-09-17

导读：如果世界无法模拟，那就让机器人自己学会一个世界。

如果世界无法模拟，那就让机器人自己学会一个世界。

作者丨吴思梦

编辑丨岑峰

如果一个世界本身就无法被完整描述，我们凭什么认为可以先将其写成规则再教给机器？人工智能过去几十年的探索，本质上都在尝试回答“可以”。这也是 Wayve 首席科学家 Jamie Shotton 在过去二十年中不断面对的核心命题。

从 Kinect 的人体追踪到 HoloLens 的手部感知，再到 Wayve 的端到端自动驾驶，Shotton 一次次推动机器从“被工程出来”转向“被学习出来”：先用百万张合成图像教会机器看人，再在极端算力约束下实现感知，最终将方向盘交给神经网络，让其从数百万小时真实驾驶数据中学习行动。

自动驾驶将这一问题推向极限。道路上的行人、让行规则及突发物体，往往成为规则无法覆盖的例外。仿真器可以被工程化，却难以工程出一个足够接近真实的世界。Shotton 由此提出激进判断：如果世界无法被完整模拟，就不要模拟它，而是让机器自己学会一个世界。

9 月 12 日，在 ECCV 2026 主旨演讲中，Shotton 回顾了从视觉识别走向具身智能的二十年历程。贯穿其中的核心理念是：今天看似不可逾越的约束，未必是明天的边界；当工程走到尽头，学习可能才刚刚开始。

以下为 Jamie Shotton 在 ECCV 2026 发表的主旨演讲精编稿。

▎From Visual Recognition to Embodied AI

主讲人：Jamie Shotton，Wayve 首席科学家 / Wayve Labs

Kinect：一百万人体的合成数据

ECCV 对 Shotton 具有特殊意义。二十年前，他在 ECCV 2006 上首次进行口头报告，展示了基于 TextonBoost 的研究成果。尽管以今日标准看，该工作存在分辨率低、准确率不足等局限，但在当时代表了机器学习发展的一束微光。

TextonBoost 利用纹理元特征结合提升方法与条件随机场进行物体识别。受限于当时的数据与算力规模（591 张照片、单颗 CPU、训练 42 小时），其后续演进的语义纹理元森林虽提升了推理速度，但仍面临过拟合问题。然而，这一阶段让 Shotton 确立了一个核心信念：学习而非工程，才是物体识别的根本解法。

2008 年，Shotton 加入微软研究院后接到 Xbox 团队关于 Project Natal（即后来的 Kinect）的挑战。该项目旨在实现无标记、实时且适用于任何体型的人体追踪，同时只能占用 Xbox 360 仅 10% 的算力。面对几乎不可能的约束，团队决定假设其可行并重新定义问题路径。

深度相机的出现带来了转机。团队利用 PrimeSense 相机获取高质量深度图，结合决策森林分类器在每个像素上推断身体部件分布，并通过聚类与三维信息进行骨架拟合。为突破数据瓶颈，团队采用动作捕捉数据重定向技术，构建了约一百万张图像的合成数据集。这在当时是机器学习史上最大的训练集之一。

实验证明，随着数据量增加，决策森林分类器的泛化能力显著提升，并未出现过拟合。2010 年 Kinect 成功上市，不仅实现了体感交互的突破，更因其低成本推动了三维重建、医疗界面及机器人等领域的广泛应用。这一经历让 Shotton 坚信：赌注应压在数据和算力的扩展上。

HoloLens：

今天的约束，不等于明天的边界

继 Kinect 之后，Shotton 团队转向 HoloLens 的手部与面部追踪研究。通过渲染高质量 RGB 合成数据，团队实现了稠密关键点检测与眼动追踪，解决了人工标注无法覆盖的难题。然而，HoloLens 作为头戴设备，面临极端的功耗与算力限制，几乎没有运行大型深度神经网络的空间。

为满足产品需求，团队开发了结合轻量级神经网络与连续优化的方案，在深度图上进行稀疏采样。虽然成功交付产品，但 Shotton 反思道，过度关注“在小算力下塞入多少智能”，可能让人忽略了约束变化带来的新机遇。

在 HoloLens 研发期间，AI 领域经历了爆发式增长，从计算机视觉到大语言模型，前沿阵地已发生转移。Shotton 意识到：今天的约束不一定要成为明天的边界。当他思考下一步方向时，目标锁定在具身智能，而自动驾驶正是其自然起点。

AV 1.0：一套被“工程”出来的系统

自动驾驶被视为现代版的“太空竞赛”，但传统技术路线往往依赖复杂的工程堆叠：多传感器融合、高精地图预测绘、模块化感知与规划等。这类系统虽然能在特定城市小规模部署，却存在脆弱、成本高、难规模化等痛点。一旦环境变化或城市迁移，往往需要重新采集数据与训练。

2017 年，Wayve 成立并提出反向赌注：自动驾驶本质是具身智能的决策问题，应通过端到端深度学习、数据与算力扩展来解决。Wayve 的方案概念简单：传感器输入直接馈送至大神经网络，输出运动规划指令。但这意味着复杂性并未消失，而是转移到了如何从世界中学习正确策略、处理长尾场景及确保安全上。

三条学习路径，

和一个学出来的世界模型

Wayve 早期尝试了强化学习，通过随机动作与人类纠正相结合的方式，让车辆在乡间道路学会行驶。然而，公共道路不允许探索阶段，这促使团队转向模仿学习：记录专家司机的观测、意图与动作，学习映射关系。但模仿学习无法告诉机器什么是“最好”的做法，且难以应对分布外场景。

最终方案结合了两者：先用模仿学习训练初始策略，部署后收集安全员接管及长尾案例，再通过离线强化学习优化策略。此外，团队还引入了 Lingo 模型，通过视觉 - 语言 - 行动的结合，让神经网络能够解释自身行为，如“因有人横穿马路而减速”。

理解世界不仅需要知道“是什么”，还需预测“怎么变”。Shotton 曾寄希望于仿真，但发现仿真器与真实世界存在巨大鸿沟。于是，Wayve 转向构建世界模型——一种“学出来的仿真器”，能在已知当前状态与动作的前提下预测未来。

从 2018 年起，Wayve 开始探索世界模型。2023 年发布的 GAIA-1 首次展示了模型“想象”未来的能力，如红灯变绿、车辆排布等。随后迭代至 GAIA-2，引入多视角一致性与隐变量扩散架构，甚至涌现出几何一致性。GAIA-3 进一步提升了危险场景生成能力，而最新发布的 GAIA-4 则实现了闭环仿真，支持反事实测试，极大提升了验证效率。

涌现的行为，与下一次冒险

端到端系统是否真能开车？Wayve AI Driver 展示了诸多未显式编程却自然涌现的行为：窄路礼让、识别转向灯让行、避让倒下的垃圾桶等。系统还展现出强大的跨车型与跨地域泛化能力，同一策略可适配不同车型，并在未经专门训练的意大利道路或德国街道上顺畅运行。

由此，Wayve 构建了 AV 2.0 飞轮：部署获取经验，经验改进模型，更好模型推动更多部署。目前，Wayve 已与日产、Stellantis 达成合作，并在伦敦启动 Uber 自动驾驶出租车试运营。Shotton 强调，这种成功源于“倾向冒险”的精神。

为进一步拓展具身智能边界，Wayve 成立了 Wayve Labs，聚集计算机视觉、机器人及机器学习专家，将在伦敦、温哥华等地推进机器人操作等新方向。Shotton 总结道，二十年前他认为挑战是让机器理解视觉世界，如今机会在于构建能在世界中智能行动的系统。在宣布某事“不可能”时，我们应极为谨慎。

Q and A

▎问：端到端自动驾驶的规模定律出了名地差。几个月前 Mobileye 有篇博客宣称，光靠扩大端到端模型规模，是到不了完全自动驾驶的。你怎么看？

Shotton 承认规模定律在自动驾驶领域确实艰难，但他认为关键在于保持创造力，“掰弯”曲线并找到更好的配方。随着部署规模扩大，他观察到系统显著改善，并相信其能达到产品级水平，尽管具体配方仍在演化中。

▎问：你提到过，不要假设今天的约束明天还在。放到自动驾驶上，现在有哪些约束未来可能会消失？

推理算力仍是主要约束，可能决定驾驶能力上限。传感方面，虽然摄像头已能支撑长距离行驶，但激光雷达与雷达的创新仍可能改变未来可能性。Wayve 对不同传感器组合持开放态度，取决于合作车厂的偏好。

▎问：你们的系统里有显式的人行为建模吗，还是这些能力都是涌现出来的？

Wayve 不做任何显式的人行为或其他建模，所有能力均为涌现结果。例如在伦敦市中心，系统需自动推断行人是否过马路，涉及姿态甚至表情理解，这些均在行为中自然涌现。

▎问：昨天 Yann 提到，人类的学习速度要快几个数量级。走向机器人后，它们的行动方式比汽车多得多。你怎么看样本效率的问题？

Shotton 认同样本效率是关键挑战。目前需要百万小时数据才能学会开车，但他希望通过类似地域泛化的方式，让后续任务所需数据呈指数级下降（从百万小时降至百小时甚至更少），从而摊薄初始成本，实现通用具身智能。

【声明】内容源于网络

AI科技评论

聚焦AI前沿研究，关注AI工程落地。

内容 8963

粉丝 0

AI科技评论聚焦AI前沿研究，关注AI工程落地。

总阅读248.6k

粉丝0

内容9.0k