概括世界模型的发展史，似乎应该很容易。毕竟，从大卫·哈（David Ha）与施米德胡伯（Jürgen Schmidhuber）发表《World Models》算起，到今年，也才过去八年。
但换个角度看，短短八年发生的事情实在太多。这个领域已经历四轮浪潮，每一轮都意味着研究重心转向一个新的核心问题。这里，本文挑出几篇最重要的论文来讲。
图 1 来源：Not Boring 与 General Intuition
最开始的浪潮发生在 1990—1991 年，也就是深度学习成为主流之前。
研究者首次明确提出：智能体可以学习世界的内部模型，并用它来预测和规划。他们提出并回答了这样一个问题：世界模型究竟能做什么？
这就是理查德·萨顿与 Dyna，也是尤尔根·施米德胡伯与《让世界可微分》。算力、数据和架构都还没准备好，梦想却已经存在了。它停留在梦境中，等待现实追上来。
第一轮浪潮发生在 2018—2019 年。它追问的是：“这件事真的行得通吗？”
沿着大卫·哈和施米德胡伯的工作，最早形成的范式是：用变分自编码器（VAE）压缩画面，用循环神经网络（RNN）建模环境变化，再在由此生成的梦境中训练策略。也就是把看到的东西压缩下来，预测接下来会发生什么，然后训练智能体在这个模拟环境里行动。
当时要回答的问题是：在想象中，也就是在梦里学习，到底可不可行？研究者用小模型和简单环境做概念验证。下一个大方向，最初还真就像个玩具。
《基于模型的 Atari 强化学习》引入了 Atari 100k 基准：SimPLe 算法能否只用十万步真实环境交互，大约相当于两小时游戏时间，就学会玩 Atari 游戏？
答案是可以。SimPLe 学会了玩 26 款 Atari 游戏，在样本效率上超过了一个竞争模型。所谓样本效率，就是达到某个分数需要多少步交互。
但它能玩得和人类一样好吗？
这个问题推动了第二轮浪潮，也就是 2020—2022 年的研究：“世界模型能达到人类水平吗？”
Google DeepMind 的达尼贾尔·哈夫纳开发的 DreamerV2，很快给出了答案。团队采用带有离散潜在表征的循环状态空间模型（RSSM）。
这个系统维持着一份关于世界的压缩记忆，每次获得新观察就更新它。DreamerV2 成为首个在涵盖 55 款 Atari 游戏的基准上达到人类水平的世界模型智能体。它的训练完全在想象中完成，只用了一块 GPU。
同一年，DeepMind 的另一个团队在《Nature》发表《通过学习出的模型进行规划，精通 Atari、围棋、国际象棋和将棋》。论文介绍的 MuZero，同样能玩好 Atari 和围棋等游戏，但采用的理念几乎完全相反。
DreamerV2 会生成可观察的梦境环境，并在其中训练；MuZero 则从不生成任何可观察的内容。它完全在自己学出的抽象潜在表征中规划，而且效果很好。
事实上，它的表现好到超越了那些专为围棋打造的模型。2016 年，DeepMind 的 AlphaGo 以 4 比 1 战胜人类围棋冠军李世乭。它用大量人类高手棋谱和自我对弈训练，游戏规则则由人类预先写入。
第二年，AlphaGo Zero 只拿到规则，不使用任何人类棋谱，完全通过自我对弈训练，以 100 比 0 击败 AlphaGo。同一时期，AlphaZero 又把 AlphaGo Zero 的方法推广到国际象棋和将棋等游戏，并在几小时内达到压倒性的水平。
到了 2019 年公开的预印本，MuZero 把规则、游戏动态、价值函数等一切都从零学起，只依靠观察和结果。它在围棋、国际象棋和将棋上追平了事先知道规则的 AlphaZero，同时还能处理 57 款 Atari 游戏——在那里，“规则”甚至不是一个界定清楚的概念。
每出现一个新模型，人类过去预先写好的东西就少了一些：规则、策略、一个局面的价值。模型转而从零学习这些内容。
MuZero 是这条演进路线的终点：一切都由学习而来。
而且，MuZero 做到这一切，完全不需要想象未来的棋盘画面。它想象的是隐藏状态，也就是训练过程中自己形成的抽象向量。这些向量不一定对应任何人类能够观察或解释的东西。人类看着 MuZero 对“三步之后”的内部表征，根本不会知道它在想什么。然而它却超过了此前所有模型。
随着 MuZero 成功，这个领域出现了两派相对的思路：生成式世界模型产生可观察的未来，潜空间世界模型则在抽象空间里预测，尽管当时未必已经用“潜空间”来称呼后者。
从那以后，世界模型便沿着生成式与潜空间这两个方向向前发展。
在潜空间路线这边，2022 年，兼任 Meta 与纽约大学库朗研究所研究者的杨立昆（Lecun Yann），发表了一篇视野广阔的立场论文《通向自主机器智能的路径》（A Path Towards Autonomous Machine Intelligence）。
它提出一套与生成式模型根本不同的理念，更接近 MuZero 的思路。他后来创办的世界模型公司 AMI，名字就取自这篇论文。
杨立昆提出的联合嵌入预测架构（JEPA），主张彻底避开像素生成。它与 MuZero 类似，不预测世界“看起来怎样”，而是预测世界“意味着什么”。它预测未来状态的抽象表征，有意舍弃那些不可预测的视觉细节。
同一年，在生成式路线这边，Vincent Micheli 和 Eloi Alonso 开发了 IRIS（2022）。
两人后来都成了 General Intuition 的联合创始人。IRIS 把世界建模重新表述为一种语言建模，只不过它的词汇是学习得到的图像词元。
IRIS 没用循环状态空间模型，而是用类似 GPT 的自回归 Transformer，依次预测离散视觉词元。简单说，它借用了语言模型的机制，将其用来建模世界。
这样做弥补了此前的一些缺口。IRIS 世界模型实际上就是一个语言模型，只是词汇由图像和动作组成，而非文字。
这把大语言模型的规模扩展能力直接带进了世界建模：高效注意力机制、扩展定律，以及为大语言模型搭建的整套工程设施，现在都可以用来学习物理世界。
Dreamer 缺少对下一个潜在状态的联合分布进行建模的能力，例如处理多峰结果的能力。IRIS 则把下一个潜在状态表示为一串离散词元，按自回归方式逐个预测，因此能够预测多种可能的结果。
还有一个区别：Dreamer 用远超人类的数据量，才超过人类；IRIS 则是第一个在可用游戏数据量与人类相同，也就是两小时的条件下，通过想象学习超过人类的方法。
暂且把 JEPA 放在一边，到这个阶段为止，世界模型领域几乎所有工作都发生在游戏里。我们不妨在第二轮与第三轮浪潮之间停一停，看看人工智能与游戏之间的特殊关系。
游戏一直在人工智能发展中扮演重要角色。克劳德·香农 1950 年的论文《编写计算机程序下国际象棋》，是人工智能的奠基文献之一。
1959 年，阿瑟·塞缪尔的跳棋程序引入了“机器学习”这个概念。IBM 深蓝在国际象棋中战胜加里·卡斯帕罗夫时，全世界第一次真正意识到，智能机器可以在某件事上击败人类。
在 DeepMind 成为人工智能实验室之前，德米斯·哈萨比斯是一名游戏设计师。他 17 岁时设计的《主题公园》（Theme Park），在商业上取得了成功。
DeepMind 早期的关键突破，详见 2015 年发表于《Nature》的 DQN 论文：深度强化学习可以只根据原始像素学会玩 Atari 游戏。
随后，2016 年的 AlphaGo 战胜了世界围棋冠军。围棋一度被认为需要人类独有的直觉，它可能出现的棋盘局面，比宇宙中的原子还多。
从 AlphaGo 走向 AlphaFold，恰恰经过了世界模型后来明确表达的那一洞察。正如哈萨比斯所说：
“如果我们能模仿这些玩家的直觉，那不是很了不起吗？顺带一提，他们其实只是业余生物学家。”
General Intuition 的名字就来自德米斯的这句话。它指向这样的未来：模型所推动的研究，将不再局限于游戏，也不再局限于今天能够用像素描绘的动态过程，而会进一步深入我们的身体。
后来，DeepMind 教会机器如何折叠蛋白质。AlphaFold 让哈萨比斯和他的 DeepMind 同事约翰·江珀获得了 2024 年诺贝尔化学奖。
游戏当然有趣。但它在这里反复出现，原因在于：只有游戏能够同时提供海量带标签的时空数据、清楚的动作与结果对应关系、一致的物理规则、明确的奖励信号，以及可以做数百万次实验的受控环境。真实世界不具备其中任何一项条件。
早期世界模型像孩子一样，把大部分时间花在看游戏和玩游戏上。Atari 100k 成了世界模型研究的标准赛场，DreamerV3 玩起了《我的世界》。今天，很多世界模型公司仍然与游戏有着联系，不少世界模型本身就是“可玩”的。
游戏是具身人工智能的实验台，但它只占整个雄心的一小部分。
世界模型要真正有用，就需要与世界交互。
这就是 2023—2024 年的第三轮浪潮。它问：“世界模型能真正实现交互吗？”
第一个答案来自驾驶。Wayve 开发的 GAIA-1（2023），把 IRIS 开创的序列建模方法扩展到 90 亿参数，并用真实驾驶视频训练。它能根据动作，比如转动方向盘，生成驾驶场景；也能根据“雨天、高速公路”这样的文字提示生成，或者同时接受两种条件。
领导这项研究的 Anthony Hu，如今负责 General Intuition 的世界建模研究。
GAIA-1 证实，人们在大语言模型中观察到的扩展定律，也适用于视觉世界模型。对世界模型来说，更多数据和更大参数量，同样会可预测地带来更好的表现。这不是理所当然的。它意味着，前路虽然昂贵，方向却很清楚：扩大规模，模型就会变得更好。
第二年，DIAMOND（2024）打开了一条新的架构路线。它由后来成为 General Intuition 联合创始人的 Eloi Alonso、Adam Jelley 和 Vincent Micheli 开发。
自 IRIS 以来，研究者一直将观察压缩成离散词元，再用自回归方式预测；DIAMOND 则用扩散模型直接预测未来画面。
视觉细节明显丰富了，而这种丰富程度又直接转化为更好的智能体表现。那些被离散词元丢掉的细微线索——某个表面很滑、一扇门半掩着、一个人即将改变方向——原来都对决策很重要。仔细想想，这并不奇怪。
顺带一提，世界建模领域的不少开源进展，都建立在 DIAMOND 架构之上。
首款由人工智能生成的多人游戏 Multiverse 基于 DIAMOND，被称为“第一个世界模型游戏引擎”的 Alakazam 也是如此。DIAMOND 大致可以看作生成式世界模型领域的 DeepSeek 或 Llama。
DIAMOND 本身刷新了 Atari 100k 的最好成绩，还展示了一项让公众浮想联翩的能力：用大约 87 小时的《反恐精英》游戏录像训练，就能得到一个在单块 GPU 上运行、完全可交互、可玩的神经游戏引擎。
这说明，交互式三维世界模型也可以实时运行。
图 2 来源：DIAMOND 经 Not Boring 转载
DIAMOND 非常擅长玩 Atari。智能体先进入原始游戏，收集真实数据，用它们训练世界模型；然后进入世界模型生成的合成环境，在里面练习、提高，再回到原始游戏中继续交互，到外面的世界检验自己。
真实数据与合成环境之间这种来回往复的循环，就是世界模型不断改进的方式。它很像在清醒梦里把问题想明白，醒来后再到现实中检验。这就是前面说的 Dyna 范式。
这样的循环，在真实世界的条件下也能行得通吗？
结果表明，答案也是肯定的，而且效果很好。
GAIA-2（2025 年 3 月）把扩散路线推向了当时最雄心勃勃的应用：多摄像头自动驾驶仿真。它结合潜空间扩散、流匹配和时空分解 Transformer，能够以自车动态、其他智能体的轨迹、天气、时间和道路结构为条件，生成高分辨率的环视驾驶视频。
简单说，它可以重现真实驾驶的全部复杂性，还能模拟那些在真实道路上太危险、太罕见而难以采集的情境：突然加塞、紧急制动、行人走下路缘。
与 IRIS 一样，GAIA-1、GAIA-2 和 DIAMOND，都出自如今与我们一起在 General Intuition 工作的研究者之手。像 GAIA-2 这样的扩散或流匹配模型，就是我们团队当前研究的起点。
但它们并不是唯一的路线。
Google DeepMind 是这个领域的核心参与者之一。它的世界模型 Genie（2024）有 110 亿参数，用互联网上未标注的二维平台游戏视频训练。模型完全从零学出了一个动作空间，没有人告诉过它该怎样操作。给它任意一张图，它就能据此生成一个可玩的世界。
图 3 来源：Google DeepMind 经 Not Boring 转载
OpenAI 的 Sora（2024，Sora 2 于 2025 年推出）和 Google 的 Veo 3（2025），把视频生成的视觉质量推向了惊人的水平，并明确以“世界模拟器”来描述这些系统。
这个领域的术语容易混在一起，我们把它说清楚。
视频生成模型能制作漂亮的视觉序列，但还不完全是我们一直在说的那种世界模型。在这些视频里，你不能采取一个动作，再实时看到环境回应你的干预。它们预测场景随时间变化会是什么样，却不建模“因为你做了什么，接下来会发生什么”。
想一想，看一段别人开车的电影，和自己握着方向盘开车，有什么区别。视觉输出也许类似，背后的计算却根本不同。交互性，也就是采取动作并观察后果的能力，正是世界模型与精彩视频的分界线。
要对现实世界产生影响，也需要这种交互性。
这就是第四轮浪潮，也是我们正身处的这一轮的核心问题：“模型能在真实世界中行动吗？”
换句话说，在世界模型中训练的智能体，能否走出研究环境，在真实车辆、真实机器人和真实部署中发挥作用？我们已经非常接近科幻作品描绘的景象了。
这个领域的前沿正在这里向前推进。就在现在，就在你读这些文字的时候。
在驾驶领域，Comma.ai 走了一条从世界模型通向产品的最直接路线，详见《从世界模型中学会驾驶》。他们完全在学习出的世界模型里，也就是在梦中，训练了一个驾驶策略，并把它部署进 openpilot。这个开源驾驶辅助系统运行在量产车上，供真实用户使用。在世界模型中训练的策略，超过了传统模仿学习，也超过了在传统仿真器里训练的策略。这或许是第一个由世界模型训练的智能体驱动的消费产品。
在机器人领域，Meta 的 V-JEPA 2 让杨立昆的潜空间预测理念变得鲜活。它是迄今最清楚的一次大规模验证。这个 12 亿参数的模型，以超过一百万小时的视频进行自监督掩码预测预训练：没有标签，没有文字。
第二阶段，只用 DROID 数据集中的 62 小时机器人数据进行微调。事实证明，这就足以得到一个支持零样本规划、以动作为条件的世界模型。
V-JEPA 2 以零样本方式部署到新环境中的真实 Franka 机械臂上，完成抓取和放置任务。所有规划都在潜空间里完成，不生成像素，不针对具体任务训练，也不需要手工设计奖励。
它还很快：基于像素的方法要花几分钟规划一个动作，V-JEPA 2 则只要几秒。
Google DeepMind 的 SIMA 2 走了完全不同的路线。它没有专门构建一个世界模型，而是微调大型基础模型 Gemini，让它直接充当三维游戏环境中的智能体。SIMA 2 能够围绕高层目标推理，遵循复杂的多步骤指令，与用户对话，并泛化到没有见过的环境。
这代表着另一种范式：不专门构建世界模型，而是利用大型模型中已经蕴含的隐性世界知识——这些知识，来自对广泛人类知识的训练。
这也是这个领域尚未解决的问题之一：以大型基础模型或视频模型为智能体的起点，而不是在世界模型中从零训练智能体，这条路会胜出吗？
事实上，开放问题还有很多。试图回答这些问题的世界模型初创公司，也差不多一样多。