作者丨齐铖湧
编辑丨岑 峰

本场演讲的核心主角是World Labs与斯坦福团队研发的新模型Atlas:一个统一的生成与重建世界模型。以下为现场实录精编。
Atlas:统一生成与重建的世界模型
非常荣幸受邀来到CoRL,尤其是有好几位我的前学生都是组织者。你们干得真棒,我知道,因为我很多论文和工作坊提案都被你们拒了。(全场笑)向CoRL致敬。
今天我想分享我们实验室最近开发的一个模型,叫Atlas:一个统一的生成与重建世界模型。
机器人学的三大核心挑战与世界模型的对应解法
既然在CoRL,就先从机器人学的动机讲起。机器人领域变化巨大,但根本问题始终是:给定世界状态、目标和机器人本体,每一时刻下一步该做什么?
大体上,机器人需解决三个问题:一是理解并表示世界状态;二是预测动作后果并进行规划;三是数据难题。机器人是典型的长尾问题,真实部署受限,必须通过模拟补充数据用于训练评估。
这三个问题恰好对应世界模型的三大维度:理解环境对应渲染,预测动作后果对应规划,模拟世界状态对应仿真。Atlas主要聚焦于渲染和仿真,尤其是模拟世界的几何及3D/4D动态。
渲染、规划与仿真,世界模型的三大维度
简而言之,Atlas是一个从零训练的自回归基础模型。它接收文本、图像、视频、深度信号、灰度框或3D结构等多模态输入,输出像素帧。不仅能生成时空一致的精美帧,还能合成新视角,实现高精度、高保真的3D重建。
Atlas:聚焦于渲染和仿真
从稠密重建到纯生成的无缝切换
回顾历史,计算机视觉长期面临两大挑战。一是3D重建,经典方法依赖大量带位姿图像,覆盖不足时重建结果充满不确定性。
经典三维重建的问题所在
二是生成式AI。扩散架构虽适合多视角生成探索,但难以维持空间一致性,且计算昂贵、无法实时。
经典三维重建很难维持空间一致性
改变视角或实时运行,计算成本太高
Atlas试图用单一模型架构将生成与重建统一。它能在三个极端间自由切换:给定多张图像做稠密重建;零像素条件仅凭文本提示做纯生成;仅给极少量视角(甚至单图)做稀疏重建,估计相机位姿并补全完整世界。
以斯坦福主广场为例:仅给2张图,模型能“幻觉”出神似但非真实的广场;给8张稀疏图,可还原广场全貌但缺失未见过的纪念教堂;给33张包含教堂的地面拍摄图,则能重建出完整漂亮的广场,并能生成航拍等新视角。
技术内核:视角即一切
Atlas的技术洞见是“下一token预测”,核心理念是“视角即一切”(Viewpoint is all you need)。其架构为多视角自回归扩散Transformer,目标函数是在强相机条件下预测下一个视角。
具体能力包括:输入文本生成带位姿图像;输入图像估计位姿并生成新视角;接收多视角输入进行插值外推恢复3D场景;接收深度图或灰度框输出RGB像素。
Atlas 的生成、重建能力非常强
SOTA性能与实时化突破
量化结果显示,在第三方机构Rapidata约50万次人工盲测中,Atlas在相机控制生成任务上位居榜首,明显领先第二名,且能生成超60秒视角一致的视频。
相比一年半前的上一代模型,Atlas已从有限的“橱柜模型”走向广阔世界。它能融合两张不相关图像创造奇幻场景,也能根据灰度框生成完整大世界。在重建方面,Atlas在7个数据集的深度预测测试中超越了专用SOTA模型;结合高斯泼溅后,在6个数据集上的重建误差同样达到SOTA水平,且能平滑过渡稀疏与稠密重建。
应用层面,Atlas支持精确相机控制和物体交互。例如,仅用3台iPhone即可重建“子弹时间”时空动态场景;模型已蒸馏至15fps实时运行,保真度与视角一致性优异。此外,Atlas正被测试用于机器人仿真,支持导航训练及Sim-to-Real零样本部署。
Atlas可以给机器人重建空间,提供仿真环境
Atlas即将向全球开放。创作者可利用其实现精确相机控制、物体交互和实时导航。同时,斯坦福BEHAVIOR挑战赛第二年获奖者将于明日公布,今年涌现了包括生成式AI在内的多种新方法。World Labs团队与斯坦福学生在本次CoRL共有6篇论文入选,感谢大家的努力与支持。
后记:算力协同与时代思考
演讲结束后,李飞飞与AMD CEO苏姿丰进行了炉边对话,深入探讨了算力、机器人与“这个时代最大的失误”。这是AMD收购World Labs后两人的首次同台,关于底层算力与世界模型协同的更多细节,将在后续报道中呈现。

