世界模型，又称世界模拟器，被业界视为人工智能领域的下一个重大突破。
AI先驱李飞飞的World Labs已筹集2.3亿美元用于构建“大型世界模型”；DeepMind也聘请了OpenAI视频生成器Sora的创作者之一，投身“世界模拟器”研发。（Sora于周一发布，以下为早期体验印象。）
但世界模型究竟是什么？
世界模型灵感源于人类对世界的心理表征。大脑整合感官抽象信息，形成对周围环境的具体理解——早在AI借用“模型”一词前，人类便已如此称呼。基于这些内部模型，大脑做出的预测深刻影响着我们的感知方式。
AI研究人员David Ha和Jürgen Schmidhuber曾以棒球击球手为例：击球手仅有几毫秒决定挥棒时机，远短于视觉信号传至大脑的时间。他们之所以能击中时速100英里的快速球，全靠本能预测球的落点。
“对职业选手而言，这一切均在潜意识中完成，”两位研究者写道，“肌肉依据内部模型预测，在正确时空反射性挥棒。他们能迅速基于未来预测行动，无需有意识推演各种可能情景来制定计划。”
部分研究者认为，这种潜意识推理能力是实现人类级智能的前提。
构建世界模型
尽管该概念存在数十年，但近期因在视频生成领域的应用前景而备受瞩目。
目前多数AI生成视频仍陷“恐怖谷效应”：细看之下常出现肢体扭曲、融合等怪异现象。
经多年视频数据训练的生成模型虽能准确预测篮球弹起，却不知其所以然——正如语言模型并不真正理解词汇背后的概念。然而，即便仅具备对物理规律基本理解的世界模型，也能更逼真地呈现这一过程。
为此，世界模型利用照片、音频、视频及文本等多模态数据训练，旨在建立关于世界运作方式的内部表征，并具备对行为后果的推理能力。
Snap前AI负责人、Higgsfield CEO Alex Mashrabov表示：“观众期望所见世界符合现实逻辑。若羽毛如铁砧般坠落，或保龄球飞向数百英尺高空，便会令人出戏。拥有强大世界模型后，创作者无需费力定义每个物体的预期运动——这既繁琐笨拙又耗时，模型将自行理解物理规律。”
但视频生成优化仅是冰山一角。Meta首席AI科学家杨立昆（Yann LeCun）等研究者指出，此类模型未来有望应用于数字与物理领域的复杂预测及规划任务。
在今年早些时候的一次演讲中，LeCun阐述了世界模型如何通过推理达成目标：给定“脏房间”的基础表征与“干净房间”的目标，模型可提出部署吸尘器、清洗餐具、倒垃圾等一系列行动——并非因为观察到该模式，而是深层理解了从脏到净的物理因果。
“我们需要理解世界的机器：能记忆事物、具备直觉与常识，像人类一样推理规划的机器，”LeCun强调，“尽管乐观者说法不一，但当前AI系统尚不具备这些能力。”
虽LeCun估计理想中的世界模型至少还需十年，但当今模型作为基础物理模拟器已展露潜力。
OpenAI官方博客指出，Sora可模拟画家在画布留痕等动作，亦能有效模拟电子游戏，例如渲染类《Minecraft》的用户界面与游戏世界。
World Labs联合创始人Justin Johnson在a16z播客中表示，未来世界模型或可按需生成3D世界，服务于游戏、虚拟摄影等领域。
“创建虚拟互动世界通常耗资数亿美元且周期漫长，”Johnson称，“[世界模型]提供的不仅是一张图或一段视频，而是一个完全模拟、生动且可交互的3D世界。”
重重障碍
尽管愿景诱人，技术挑战依然严峻。
相比现有生成式模型，世界模型的训练与运行需巨大算力。虽部分最新语言模型可在智能手机运行，但Sora这类早期世界模型在普及场景下，训练与推理可能仍需数千GPU支持。
与其他AI模型一样，世界模型也会产生幻觉并内化数据偏见。例如，主要基于欧洲晴天城市视频训练的模型，可能在描绘韩国雪景时出现困难或错误。
Mashrabov指出，训练数据的匮乏可能加剧上述问题。
“模型在生成特定类型或种族人物时受限明显，”他表示，“世界模型的训练数据既要足够广泛以覆盖多样场景，又要高度具体以便AI深入理解细微差别。”
Runway CEO Cristóbal Valenzuela在最近一篇文章中提到，数据与工程瓶颈阻碍了模型准确捕捉人类及动物等行为。“模型需生成一致的环境地图，”他说，“以及在其中导航与交互的能力。”
若能克服主要障碍，Mashrabov认为世界模型将“更稳健”地连接AI与现实世界——不仅在虚拟内容生成上取得突破，更将推动机器人技术与AI决策进步。
它们还可能催生能力更强的机器人。
当前机器人能力有限，主因是缺乏对环境乃至自身身体的认知。Mashrabov表示，世界模型可在一定程度上赋予机器人这种认知。
“借助先进世界模型，AI可对所处情境形成个性化理解，并开始推理可行解决方案。”他说。
本文最初于2024年10月28日发布，并于2024年12月14日更新，新增了关于Sora的最新信息。