大数跨境

刚刚,谷歌发布Genie 4:输入一句话生成可玩的世界,能用键盘逛,NPC还能说话

刚刚,谷歌发布Genie 4:输入一句话生成可玩的世界,能用键盘逛,NPC还能说话 AI寒武纪
2026-10-28
4

谷歌正式推出Genie 4,这是迄今为止逼真度与交互性最强的世界模型。该模型旨在构建安全的虚拟环境,用于观察AI Agent和机器人在复杂场景中的导航与互动能力。

目前,Genie 4仅面向少数测试人员开放,后续将逐步向Google AI Ultra订阅用户、Gemini API及Google AI Studio的部分开发者提供。

Genie 4核心功能亮点

Genie 4基于Gemini Omni构建,具备以下关键特性:

  • 照片级真实感:在空间结构和主题细节上呈现极高的逼真度。
  • 高级物理效果:支持空气动力学模拟、碰撞检测以及人物的自然运动。
  • 实时交互控制:用户可通过文本提示更改场景、添加元素或与角色进行即时互动。
  • 原生音频生成:同步生成环境音、背景音乐及互动对话。
  • Gemini推理能力:规划多步骤事件,确保场景演变过程中的逻辑连贯性。

沉浸式交互体验

Genie 4实现了从静态生成到动态交互的跨越。用户不仅可以通过键盘在生成的三维环境中自由移动视角,还能通过文本指令实时修改场景内容。例如,用户可要求将晴天切换为阴天,或在路边增加行人,模型会在保持原有画面稳定性的基础上,无缝融合新元素。

音视频同步生成

该模型在生成视觉画面的同时计算音频输出。无论是水流声、风吹草动还是乐器演奏,均与画面实时同步。以展示案例为例:当镜头围绕湖中央吹奏萨克斯的人物旋转时,用户不仅能看到逼真的光影变化,还能听到水浪拍打声、乐曲声及人物的呼吸换气声。

场景中的NPC(非玩家角色)并非简单的动画模型,他们具备基本的物理避障能力,并能通过语音与用户进行实时对话交流。

Gemini大模型驱动逻辑一致性

为解决交互式生成中常见的逻辑混乱问题(如物体消失、穿模等),谷歌在Genie 4后端接入了Gemini大模型体系:

  • Gemini Omni:负责提升画面的真实度,优化光影与材质渲染。
  • Gemini 3.8 Flash:充当“监工”角色,逐帧监控画面逻辑。它将用户需求拆解为具体步骤,校验每一步的执行准确性,并决定下一帧的演变方向。若用户中途修改指令,模型会迅速重写后续逻辑以维持场景稳定。

此外,谷歌还展示了Gemini 4 Argon模型的应用:该模型将下跳棋的任务分解为文字指令传递给Genie 4,成功驱动Apollo人形机器人在虚拟棋盘上完成整局对弈。

技术局限与未来展望

Genie 4项目负责人Raia Hadsell、Diego Rivas和Hang Qi指出,未来的目标是开发“混合世界模型”,即结合代码/语言模型的逻辑推导能力与像素生成模型的渲染能力,实现规则制定与视听呈现的分离协作。

尽管表现优异,Genie 4仍存在一定局限性:

  • 长期稳定性不足:短时间体验画面稳定,但长时间运行或频繁修改指令后,场景中仍可能出现物体错位或变形。
  • 复杂能力待提升:团队正在深入研究更复杂的物理对抗、文字清晰渲染以及超长时间的空间记忆能力。

为防止深度伪造滥用,Genie 4输出的所有画面和音频均已嵌入不可见的SynthID水印。

【声明】内容源于网络
0
0
AI寒武纪
1234
内容 785
粉丝 0
AI寒武纪 1234
总阅读19.7k
粉丝0
内容785