谷歌旗下人工智能研究机构 DeepMind 发布了一款模型,能够生成“无限”多种可玩的 3D 世界。
该模型名为 Genie 2,是今年早些时候发布的 DeepMind Genie 的继任者。它可以根据单张图像和文字描述(例如“树林里有一个可爱的人形机器人”)生成交互式实时场景。在这方面,它与 Fei-Fei Li 的公司 World Labs 以及以色列初创公司 Decart 正在开发的模型类似。
DeepMind 声称,Genie 2 能够生成“极其丰富的多样化 3D 世界”,包括用户可以通过鼠标或键盘执行跳跃和游泳等动作的世界。该模型在视频数据上训练,能够模拟物体交互、动画、光照、物理效果、反射以及“NPC”的行为。
Genie 2 的许多模拟画面看起来像 AAA 级电子游戏——其原因很可能是该模型的训练数据包含了热门游戏的通关录像。但由于竞争等原因,DeepMind 与许多其他 AI 实验室一样,并未透露其数据获取方法的许多细节。
人们不禁对知识产权问题产生疑问。作为谷歌的子公司,DeepMind 可以不受限制地访问 YouTube,而谷歌此前曾暗示其服务条款(ToS)赋予它使用 YouTube 视频进行模型训练的权限。但 Genie 2 是否基本上是在为其“观看”过的电子游戏创建未经授权的副本?这有待法院裁决。
DeepMind 表示,Genie 2 能够生成具有不同视角(如第一人称和等轴测视图)的一致世界,持续时间长达一分钟,其中大部分场景持续时间为 10 到 20 秒。
DeepMind 在博客文章中写道:“Genie 2 能够对通过键盘按键采取的操作做出智能响应,正确识别角色并进行移动。”例如,“我们的模型[可以]弄清楚方向键应该移动机器人,而不是树木或云朵。”
大多数像 Genie 2 这样的世界模型可以模拟游戏和 3D 环境,但存在伪影、一致性和幻觉相关问题。例如,Decart 的《我的世界》模拟器 Oasis 分辨率较低,并且很快会“忘记”关卡布局。
然而,Genie 2 能够记住模拟场景中未显示的部分,并在它们再次可见时准确渲染。(World Labs 的模型也能做到这一点。)
目前,用 Genie 2 创建的游戏实际上并不会太有趣,因为它们大约每分钟就会擦除进度。这就是为什么 DeepMind 将该模型定位为更多的研究和创意工具——一种用于原型制作“交互式体验”和评估 AI 智能体的手段。
DeepMind 写道:“得益于 Genie 2 的分布外泛化能力,概念艺术和草图可以转化为完全互动的环境。”“通过使用 Genie 2 快速为 AI 智能体创建丰富且多样的环境,我们的研究人员可以生成智能体在训练过程中未曾见过的评估任务。”
创意人员可能会心情复杂——尤其是那些在游戏行业工作的人。一篇《连线》杂志的调查发现,包括动视暴雪(Activision Blizzard)在内的主要玩家正在利用人工智能来走捷径、提高生产力并弥补人员流失。该公司已裁员数十人。
尽管如此,谷歌仍不断增加对其世界模型研究的资源投入,这有望成为人工智能领域的下一个重大突破。10月,DeepMind 聘请了蒂姆·布鲁克斯(Tim Brooks),他此前负责领导 OpenAI 的 Sora 视频生成器的开发工作,以从事视频生成技术和世界模拟器的研究。而在两年前,该实验室从 Meta 挖走了蒂姆·罗克塔施埃尔(Tim Rocktäschel),他因在《NetHack》等电子游戏中进行的“开放性”研究而闻名。

