谷歌正式推出Genie 4,这是迄今为止逼真度与交互性最强的世界模型。该模型旨在构建安全的虚拟环境,用于观察AI Agent和机器人在复杂场景中的导航与互动能力。
目前,Genie 4仅面向少数测试人员开放,后续将逐步向Google AI Ultra订阅用户、Gemini API及Google AI Studio的部分开发者提供。
Genie 4核心功能亮点
Genie 4基于Gemini Omni构建,具备以下关键特性:
- 照片级真实感:在空间结构和主题细节上呈现极高的逼真度。
- 高级物理效果:支持空气动力学模拟、碰撞检测以及人物的自然运动。
- 实时交互控制:用户可通过文本提示更改场景、添加元素或与角色进行即时互动。
- 原生音频生成:同步生成环境音、背景音乐及互动对话。
- Gemini推理能力:规划多步骤事件,确保场景演变过程中的逻辑连贯性。
沉浸式交互体验
Genie 4实现了从静态生成到动态交互的跨越。用户不仅可以通过键盘在生成的三维环境中自由移动视角,还能通过文本指令实时修改场景内容。例如,用户可要求将晴天切换为阴天,或在路边增加行人,模型会在保持原有画面稳定性的基础上,无缝融合新元素。
音视频同步生成
该模型在生成视觉画面的同时计算音频输出。无论是水流声、风吹草动还是乐器演奏,均与画面实时同步。以展示案例为例:当镜头围绕湖中央吹奏萨克斯的人物旋转时,用户不仅能看到逼真的光影变化,还能听到水浪拍打声、乐曲声及人物的呼吸换气声。
场景中的NPC(非玩家角色)并非简单的动画模型,他们具备基本的物理避障能力,并能通过语音与用户进行实时对话交流。
Gemini大模型驱动逻辑一致性
为解决交互式生成中常见的逻辑混乱问题(如物体消失、穿模等),谷歌在Genie 4后端接入了Gemini大模型体系:
- Gemini Omni:负责提升画面的真实度,优化光影与材质渲染。
- Gemini 3.8 Flash:充当“监工”角色,逐帧监控画面逻辑。它将用户需求拆解为具体步骤,校验每一步的执行准确性,并决定下一帧的演变方向。若用户中途修改指令,模型会迅速重写后续逻辑以维持场景稳定。
此外,谷歌还展示了Gemini 4 Argon模型的应用:该模型将下跳棋的任务分解为文字指令传递给Genie 4,成功驱动Apollo人形机器人在虚拟棋盘上完成整局对弈。
技术局限与未来展望
Genie 4项目负责人Raia Hadsell、Diego Rivas和Hang Qi指出,未来的目标是开发“混合世界模型”,即结合代码/语言模型的逻辑推导能力与像素生成模型的渲染能力,实现规则制定与视听呈现的分离协作。
尽管表现优异,Genie 4仍存在一定局限性:
- 长期稳定性不足:短时间体验画面稳定,但长时间运行或频繁修改指令后,场景中仍可能出现物体错位或变形。
- 复杂能力待提升:团队正在深入研究更复杂的物理对抗、文字清晰渲染以及超长时间的空间记忆能力。
为防止深度伪造滥用,Genie 4输出的所有画面和音频均已嵌入不可见的SynthID水印。

