OpenAI 最新且首款视频生成模型 Sora 能够完成一些真正令人印象深刻的电影级壮举，但根据今晚发布的技术论文来看，该模型的能力甚至比 OpenAI 最初展现的还要强。
这篇题为《视频生成模型作为世界模拟器》的论文由多位 OpenAI 研究人员共同撰写，揭示了 Sora 架构的关键方面——例如，Sora 能够生成任意分辨率和宽高比的视频（最高可达 1080p）。根据该论文，Sora 能够执行一系列图像和视频编辑任务，包括创建循环视频、向前或向后扩展视频时间范围，以及更改现有视频的背景。
但令本文作者最感兴趣的是 Sora “模拟数字世界”的能力，正如 OpenAI 的共同作者所言。在一项实验中，OpenAI 向 Sora 输入包含“Minecraft”一词的提示词，让它渲染出一个令人信服的类 Minecraft HUD 和游戏——包括游戏的动态效果（如物理引擎）——同时控制玩家角色。
那么 Sora 是如何做到这一点的呢？正如高级 Nvidia 研究员 Jim Fan（经 Quartz 报道）所指出的那样，Sora 与其说是一个创意工具，不如说更像是一个“数据驱动的物理引擎”。它不仅仅是在生成单张照片或视频，而是在确定环境中每个对象的物理特性，并基于这些计算渲染照片、视频（或交互式 3D 世界，视情况而定）。
OpenAI 的共同作者在论文中写道：“这些能力表明，持续扩大视频模型的规模是开发高度强大的物理世界和数字世界模拟器的一条有前景的路径，这些模拟器能够呈现其中存在的物体、动物和人类。”
现在，Sora 在视频游戏领域通常存在的局限性依然适用。该模型无法准确模拟玻璃破碎等基本交互的物理效果。即使在它能够模拟的交互中，Sora 的表现也常常不一致——例如渲染一个人吃汉堡的场景，却未能渲染出咬痕。
尽管如此，如果我正确解读了这篇论文，Sora 似乎能够为仅凭文本描述就生成更逼真——甚至可能是照片级逼真——的程序化游戏铺平道路。这既令人兴奋又令人恐惧（仅以深度伪造的影响为例），这可能也是为什么 OpenAI 目前选择将 Sora 限制在一个非常有限的访问计划中。
希望我们能早日了解更多详情。