大数跨境

李飞飞最新 CoRL2026 演讲实录:从「橱柜模型」到世界模型,机器人需要什么样的 AI ?

李飞飞最新 CoRL2026 演讲实录:从「橱柜模型」到世界模型,机器人需要什么样的 AI ? AI科技评论
2026-11-12
6
导读:时隔两年,World Labs 的工作已经完全不同了。
时隔两年,World Labs 的工作已经完全不同了。

    作者丨齐铖湧

    编辑丨岑   峰

                                                                                                       

2026年11月,机器人学习顶会CoRL在奥斯汀开幕。斯坦福教授、World Labs创始人李飞飞作为演讲嘉宾出席。此前,World Labs被AMD收购的消息引发关注,李飞飞即将出任AMD首席科学家。此次CoRL不仅是她全面介绍World Labs最新成果与行业观点的场合,更邀请了AMD CEO苏姿丰参与圆桌对话,成为其“AMD首秀”。

本场演讲的核心主角是World Labs与斯坦福团队研发的新模型Atlas:一个统一的生成与重建世界模型。以下为现场实录精编。

Atlas:统一生成与重建的世界模型

非常荣幸受邀来到CoRL,尤其是有好几位我的前学生都是组织者。你们干得真棒,我知道,因为我很多论文和工作坊提案都被你们拒了。(全场笑)向CoRL致敬。

今天我想分享我们实验室最近开发的一个模型,叫Atlas:一个统一的生成与重建世界模型。

机器人学的三大核心挑战与世界模型的对应解法

既然在CoRL,就先从机器人学的动机讲起。机器人领域变化巨大,但根本问题始终是:给定世界状态、目标和机器人本体,每一时刻下一步该做什么?

大体上,机器人需解决三个问题:一是理解并表示世界状态;二是预测动作后果并进行规划;三是数据难题。机器人是典型的长尾问题,真实部署受限,必须通过模拟补充数据用于训练评估。

这三个问题恰好对应世界模型的三大维度:理解环境对应渲染,预测动作后果对应规划,模拟世界状态对应仿真。Atlas主要聚焦于渲染和仿真,尤其是模拟世界的几何及3D/4D动态。

渲染、规划与仿真,世界模型的三大维度

简而言之,Atlas是一个从零训练的自回归基础模型。它接收文本、图像、视频、深度信号、灰度框或3D结构等多模态输入,输出像素帧。不仅能生成时空一致的精美帧,还能合成新视角,实现高精度、高保真的3D重建。

Atlas:聚焦于渲染和仿真

从稠密重建到纯生成的无缝切换

回顾历史,计算机视觉长期面临两大挑战。一是3D重建,经典方法依赖大量带位姿图像,覆盖不足时重建结果充满不确定性。

经典三维重建的问题所在

二是生成式AI。扩散架构虽适合多视角生成探索,但难以维持空间一致性,且计算昂贵、无法实时。

经典三维重建很难维持空间一致性

改变视角或实时运行,计算成本太高

Atlas试图用单一模型架构将生成与重建统一。它能在三个极端间自由切换:给定多张图像做稠密重建;零像素条件仅凭文本提示做纯生成;仅给极少量视角(甚至单图)做稀疏重建,估计相机位姿并补全完整世界。

以斯坦福主广场为例:仅给2张图,模型能“幻觉”出神似但非真实的广场;给8张稀疏图,可还原广场全貌但缺失未见过的纪念教堂;给33张包含教堂的地面拍摄图,则能重建出完整漂亮的广场,并能生成航拍等新视角。

技术内核:视角即一切

Atlas的技术洞见是“下一token预测”,核心理念是“视角即一切”(Viewpoint is all you need)。其架构为多视角自回归扩散Transformer,目标函数是在强相机条件下预测下一个视角。

具体能力包括:输入文本生成带位姿图像;输入图像估计位姿并生成新视角;接收多视角输入进行插值外推恢复3D场景;接收深度图或灰度框输出RGB像素。

Atlas 的生成、重建能力非常强

SOTA性能与实时化突破

量化结果显示,在第三方机构Rapidata约50万次人工盲测中,Atlas在相机控制生成任务上位居榜首,明显领先第二名,且能生成超60秒视角一致的视频。

相比一年半前的上一代模型,Atlas已从有限的“橱柜模型”走向广阔世界。它能融合两张不相关图像创造奇幻场景,也能根据灰度框生成完整大世界。在重建方面,Atlas在7个数据集的深度预测测试中超越了专用SOTA模型;结合高斯泼溅后,在6个数据集上的重建误差同样达到SOTA水平,且能平滑过渡稀疏与稠密重建。

应用层面,Atlas支持精确相机控制和物体交互。例如,仅用3台iPhone即可重建“子弹时间”时空动态场景;模型已蒸馏至15fps实时运行,保真度与视角一致性优异。此外,Atlas正被测试用于机器人仿真,支持导航训练及Sim-to-Real零样本部署。

Atlas可以给机器人重建空间,提供仿真环境

Atlas即将向全球开放。创作者可利用其实现精确相机控制、物体交互和实时导航。同时,斯坦福BEHAVIOR挑战赛第二年获奖者将于明日公布,今年涌现了包括生成式AI在内的多种新方法。World Labs团队与斯坦福学生在本次CoRL共有6篇论文入选,感谢大家的努力与支持。

后记:算力协同与时代思考

演讲结束后,李飞飞与AMD CEO苏姿丰进行了炉边对话,深入探讨了算力、机器人与“这个时代最大的失误”。这是AMD收购World Labs后两人的首次同台,关于底层算力与世界模型协同的更多细节,将在后续报道中呈现。

【声明】内容源于网络
0
0
AI科技评论
聚焦AI前沿研究,关注AI工程落地。
内容 9057
粉丝 0
AI科技评论 聚焦AI前沿研究,关注AI工程落地。
总阅读319.8k
粉丝0
内容9.1k