Google DeepMind 发布了新一代世界模型 Genie 4。
用户可以边探索边改主意:让天气变冷,让角色开口,或者临时加一场爆炸。Gemini 会结合当前场景调整计划,Genie 4 则把变化实时呈现出来。
下面这个官方演示里,一位男子正在湖上的浮台吹萨克斯。操作者没有重开场景,只是在输入框里加了一个要求:持续下大雪。
镜头继续往前走,雪落上他的头发和肩膀,萨克斯还握在手里。
实时生成的画面
平时看一段生成好的视频,后面发生什么已经定了。Genie 这一类交互式世界模型,把下一步留给用户:按下方向键、转动视角,或者临时加一个要求,模型再根据眼前的场景继续生成。
世界模型要模拟的,是环境怎样变化,以及行动会带来什么结果。 难处也在这里:镜头移开再回来,原先的物体应该还在;刚刚改变的天气,也应该继续影响这个场景。画面好看只是其中一部分,还得接得住前面发生过的事。
上一代 Genie 3 已经能让用户在生成的环境里实时探索。Genie 4 在这个基础上加入原生声音和交互式对话,再让 Gemini 持续观察、规划接下来的动作与事件。
骑龙的演示更像一段游戏:坐在黑龙背上,手里攥着缰绳,迎面是山谷和城堡,旁边还有其他骑龙者。
画面左下角的 WASD、右下角的方向键都在响应操作。视角转向城墙,龙翼从眼前掠过,Genie 4 根据移动和转向继续生成眼前的景象。
文字指令还能连续往下接。
一只冠鹤在雪地里走。操作者先让天空划过流星,再让它走向一架白色键盘琴,用喙按键。最后,又要求它张开翅膀飞起来。
Genie 4 这次还加入了原生音频,环境声、音乐性的声音和角色对话都能随场景生成。
官方演示demo 中,一男一女骑着摩托车驶过桥面,路灯还亮着,画面带着胶片颗粒。输入框里出现新要求:让男子回头,女子问他是否觉得他们能成功。
接着,操作者又输入“爆炸”。城市里出现火光和巨大的触手,两人回头看向身后。
Gemini 一边看一边规划
具体负责引导的是 Gemini 3.8 Flash。它持续读取 Genie 4 的新画面,把目标拆成步骤,查看上一步是否完成。用户中途插入新指令,它就根据当前进展调整计划。
冠鹤演示右上角的规划面板,就能看到这层工作:让它走近键盘,再安排用喙按键,查看动作进展,接着处理新的展翅要求。每一步都要接着已经生成的画面往下走。
即使用户暂时没有继续输入,Gemini 也会观察和引导场景,让事件接着发展。
这套组合也被用来探索机器人任务模拟。团队把 Gemini 4 Argon 与 Genie 4 放在一起,模拟 Apptronik 的 Apollo 人形机器人下西洋跳棋。
左边是 Argon 给出的动作步骤,具体到哪只手伸向哪颗棋子、用哪些手指接触、另一只手停在哪里。这些步骤以文字指令交给 Genie 4,和右侧棋局画面的生成交错进行。
最后
目前参与测试的电影创作者,可以用 Genie 4 预演场景,试机位、光线、对白和动作。游戏开发者则可以先搭一个能探索的概念原型,试视觉风格和交互,再进入正式制作。
它还不能让人无限玩下去。Genie 4 目前连续交互时长为几分钟;运行时间变长、频繁修改或四处移动后,物体细节和空间关系仍可能漂移,声音、文字和复杂物理交互也有待改进。
开放从受邀测试者开始,随后将进入 Project Genie,面向 Google AI Ultra 订阅用户;Gemini API 和 Google AI Studio 的早期合作伙伴也在计划中。
参考链接
-
Genie 4 发布介绍与演示:https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation/ -
Genie 4 模型页面:https://deepmind.google/models/genie/

