大数跨境

2分钟、会出声、随口改天气:Genie 4把世界模型卷进实时时代

2分钟、会出声、随口改天气:Genie 4把世界模型卷进实时时代 AI绘界Studio
2026-10-30
2
导读:改天气、加角色、让画里的人开口接话——谷歌DeepMind新发布的Genie 4,把这些变成了实时操作:原生音频、物理级人物动作、Gemini在环当导演,单次体验据媒体报道约2分钟。本文拆解四大能力、
2026年10月27日 · 阅读约 6 分钟
改天气、加角色、让画里的人开口接话——谷歌DeepMind新发布的Genie 4,把这些变成了实时操作:原生音频、物理级人物动作、Gemini在环当导演,单次体验据媒体报道约2分钟。本文拆解四大能力、导演分工与行业格局。
官方头图:Genie 4实时世界模拟画面

官方头图:Genie 4实时世界模拟画面

改天气、加角色、让画里的人开口接话——这些事,如今都能在一个边运行边生成的世界里完成。

2026年10月27日,谷歌DeepMind正式推出新一代世界模型——Genie 4,以研究预览版身份亮相。官方定性给得很满:可实时交互的世界模拟,真实感被拉到前所未有的水平;模型原生多模态,音乐、环境音和交互式对话都能与世界同步生成。

按官方的表述逻辑:你设定一个事件,模型推演接下来的一切——世界如何回应,听起来是什么样,里面的人如何移动、反应、开口。

这不是纸面参数。随发布放出的实时演示里,有一段第一视角热气球之旅:镜头贴着南极冰盖前推,气球群在风里摇晃,全程可操控、可改写。在官方的叙事里,理解并模拟世界是通往AGI路上关键的一环,Genie 4就是这一判断的落地。

01能力全景:先记四条

1. 边跑边改:自然语言实时改天气、挪镜头、添人物;

2. 物理在线:从空气动力学到碰撞都能算,动作更像真人;

3. 世界有声:原生音频,实时世界模型第一次自己出声;

4. Gemini在环:大模型当导演,拆步骤、盯帧、验进度。

02一、边跑边改:给世界下指令
Genie 4生成的可交互世界截图

Genie 4生成的可交互世界截图

这一代最直观的变化,是模拟进行中也能被随时改写。官方把这组能力称作mid-simulation steering:不用暂停或重跑,敲一行字,天气就变、镜头就移,新人物新物体随时进场。指令也不是硬贴在画面上:Gemini先把你的话翻译成场景接得住的上下文再执行;两次输入的间隙,它还持续观察画面,把世界往连贯的方向轻推。

操作方式也直白:键盘管走位和镜头,文字管世界里发生什么。官方演示中有一座整体由彩色玻璃构成的世界,一路穿行而不崩风格——「改完还是同一个世界」的连贯感,正是实时编辑最难的门槛。

03二、物理与人物:这次「像真的」了
官方演示视频中的实时模拟画面

官方演示视频中的实时模拟画面

物理较真与人物自然度,是官方自认跃升最大的两处。基于对世界运行规律的建模,Genie 4能处理从空气动力学到碰撞的一整类场景:一段枫树种子落地的微距演示里,旋转、减速、触地每一步都经得起推敲;另一段逆光下的西瓜被砸出慢镜头水花,飞溅轨迹逐帧可查。

人物一侧被官方称作最戏剧性的进步:角色动作不再僵硬,会对环境做出有机反应,还能被实时交互牵着走。1995年港式爱情片质感的演示里,摩托车手黎明过桥,光影和情绪都贴着电影的逻辑走。

04三、世界自带音轨:从风声到对话
骑龙竞速演示:声音随飞行实时变化

骑龙竞速演示:声音随飞行实时变化

声音是这一代从零到一的部分:Genie 4成了DeepMind头一个原生出声的实时世界模型。每个世界出厂自带环境音,风吹树叶、浪打堤岸都不必后期补录;更难的语音也被啃下一块——角色能当场跟你搭上话,还会对着世界里正发生的事即时调整回应。

最能「听」出差距的演示是骑龙竞速:第一视角以约140公里的时速掠过高空,振翅闷响、高空风噪、远处火山轰鸣三层叠加,声音跟着飞行状态实时变化。

05四、Gemini在环:导演与摄影师的分工
官方演示视频另一画面:实时生成的世界

官方演示视频另一画面:实时生成的世界

Genie 4负责逐帧画出世界,Gemini家族负责让它演得下去。分工分三层:Gemini Omni负责锚定模拟世界的外观与行为,让它贴住真实;其余Gemini模型供给维持连贯所需的复杂推理;落到执行层,Gemini 3.8 Flash扮演「在环引导代理」:世界生成的同时持续观察画面、把目标拆成步骤序列、逐帧核对进度、验证每步是否达成,世界生变或用户插手就立即改计划。换来的是更稳的因果表现、程序化行为与多步推理能力。

机器人方向走得更远:Gemini 4 Argon把指令任务拆解成步骤,以字幕形式边渲染边注入,再叠加Gemini Robotics联测;演示里这套组合让Apptronik旗下的人形机器人Apollo在模拟中下了一盘跳棋。官方也给这条路起了名字:混合世界模型。思路是让Gemini在后台搭结构与叙事骨架,Genie逐像素渲染外观、声音与响应。谷歌研究总监的预期与此一致:写代码、出文本的与实时模拟现实的组合,会越来越多见。

 
06对比Genie 3:时长翻倍,音轨从无到有
Genie 4发布主题官方头图

Genie 4发布主题官方头图

维度
Genie 3
Genie 4
单次一致体验
约1分钟
约2分钟
实时音频
无
音乐、环境音、对话
运行中编辑
不支持
改天气、挪镜头、添人物物体
物理与人物
基础模拟
空气动力学、碰撞、真人级动作
画面真实感
上一代水准
明显提升

上一代Genie 3是一年多前的研究预览;表中时长为媒体报道口径,官方产品页只说连续交互能撑几分钟、长会话另说。用媒体的概括讲,这代最大的结构性变化是:Gemini更像导演,负责拆步骤、盯进度;Genie专心把画面生成出来。赛道同样在提速:Runway两个月前推出GWM Worlds 2——可玩、动态响应输入、自带音频;整合同步发生——World Labs进入AMD收购流程,Amazon正在洽购Decart,Rivian收下Third Dimension,把模拟能力转进内部测自动驾驶。

获取节奏分三级:先交给受信任测试者收集反馈,再推向Google AI Ultra的订阅用户(挂在Project Genie名下),然后是Gemini API与Google AI Studio一侧的早期合作方;等待名单已挂出,媒体称推开就在「未来几周」。

测试者摸出了四类用法:电影人把它当草稿模式,走进场景实时跑多条take,机位、灯光与台词随说随改;新闻摄影师让一张2D老照片几秒变成可走进的历史场景,或预演山洪、野火如何展开;游戏开发者在写下引擎代码前,先秒级做出可探索原型验证视觉与交互;企业用户则评估它当「从零到一」的场景生成器。商业方向官方点了个名单:游戏、机器人,加上交互式学习——畅想版本是走进一幅历史画作,和画中人聊聊画中事。工程师Diego Rivas则把实时性的价值落在创作心流上:构思、分镜这类需要快速出想法的阶段最受益;至于用多模态大模型把原型转成创作资产,他坦承距离还相当远。

07官方也没回避的短板
官方宣传视觉:照片级实时世界

官方宣传视觉:照片级实时世界

局限也写在明面上:官方坦承这仍是早期研究,短会话内环境连贯,但画面细节和物体恒存性会随运行时间漂移——跑得越久、编辑越多、导航越远,问题越明显;复杂物理交互的保真度、实时出声的准确性、画面内文字的清晰度、空间精度与长期一致性,都还在待研究清单上。两分钟不是终点,而是当前一致性约束下的现实刻度。

安全侧是三道闸:沿用与其他模型相同的安全护栏和政策,发布预览前过内部严格评估,先小范围再扩大;所有生成内容都打上SynthID隐形水印,画面与声音两种模态都盖到。

08结语

三个问题留给下一版回答:物体漂移何时撑得起长会话?可玩原型到可用资产的距离还有多远?实时世界模拟与自家的片段式视频生成路线(Veo),最终是分工还是互相渗透?

这场发布把信号说得很清楚:世界模型的比拼,正从把一帧画得更真,转向让一个世界持续地跑下去。

关注「AI绘界Studio」,每天两分钟,掌握一手前沿资讯

【声明】内容源于网络
0
0
AI绘界Studio
用科技与创意编织未来的画卷!
内容 106
粉丝 0
AI绘界Studio 用科技与创意编织未来的画卷!
总阅读4.2k
粉丝0
内容106