谷歌发布了新的视频生成模型 Gemini Omni 1.2 Flash。
Arena 最新公布的结果里,Gemini Omni 1.2 Flash 在文生视频、图生视频两项都排第一。
图生视频榜上,它超过了 MiniMax H3 和 Seedance 2.5。
▲ 图:Arena 文生视频榜,来源 Arena
▲ 图:Arena 图生视频榜,来源 Arena
Arena 的排名来自用户盲选:两段视频放在一起,不看模型名字,选更喜欢的一段。它反映的是参与者的偏好,不是每个任务都能赢。
还有一项容易漏掉:视频编辑榜上,Omni 1.2 Flash 排第三,前面是 Wan 3.0 和 Seedance 2.5。
这个模型有哪些新特点?
Omni 1.2 Flash 一次可以生成最长 15 秒的视频,普通生成和编辑可按秒指定时长。
它可以参考图片、短动作片段和声音,生成后还能通过多轮对话继续修改。
Google 也展示了多人对白、角色配音和口型匹配。
一个人,穿三套衣服
Google 在发布页展示了一个试穿案例。输入是一张模特照片,加三套衣服的正反面产品图。
模型生成了 15 秒视频:人物转身、换衣服,还用了匹配剪辑。
Google 想展示的重点是,换角度时,人物和衣服的剪裁、背面细节仍能跟住参考图。
▲ 视频:Google 官方三套衣服试穿演示
这类参考不只有图片。官方说,还可以组合不超过 3 秒的动作片段和声音线索,指定人物、产品、风格和动作。
同一段视频,继续改
另一个例子里,两个骑士的人物和镜头保持不变,背景一轮轮从帐篷换到树林、马厩、集市和城堡。
▲ 视频:Google 官方多轮换背景演示
Google 把这个过程叫作多轮对话编辑:在上一版的基础上继续提要求,改背景、光线、天气或者产品,不必每次重新描述整段视频。
官方也展示了动作迁移:先生成一只摆动的章鱼,再换成舞者,让裙子的运动延续章鱼的动作。
▲ 视频:Google 官方动作迁移演示
每轮修改仍需要生成结果。方便继续改,不代表多轮编辑免费。
声音、镜头和画面细节
Google 用一张温室场景图、四个角色及各自的短语音参考,生成了一段多人动画对话。
演示重点是把不同声音分给对应角色,同时对上口型。
▲ 视频:Google 官方多人对白演示
镜头运动也是这次的重点。万神殿演示以两张建筑照片为参考,让镜头从广场穿过大门,再向上飞到穹顶。
▲ 视频:Google 官方连续穿越镜头
另一段画面从海边近景一路拉到海岛俯瞰。Google 在这两段演示中强调连续运镜和减少跳切。
▲ 视频:Google 官方海岛拉远演示
还有一个更适合观察画面细节的案例:相同的海报参考和提示词,1.1 和 1.2 分别制作灯光展览的动态画面。
官方用它展示新版对参考图和文字细节的跟随。
▲ 视频:Google 官方动态海报对比
Google 也用一张风格参考图生成蜂巢科普短片,展示多镜头和随画面移动的文字标注。
▲ 视频:Google 官方蜂巢科普短片
首尾帧案例则从拉面馆外推到店内。官方同时展示了 1.1 和 1.2 的结果,也指出屋顶的猫、汤勺变筷子等细节仍有变化。
▲ 视频:Google 官方拉面馆首尾帧对比
以上都是 Google 挑选的演示,不等于每次生成都能复现。官方也承认,快速体育动作、快速脚本变化和复杂物理仍需改进。
15 秒能做什么,又有哪些限制?
Omni 1.1 的原生片段上限是 10 秒,1.2 提高到 15 秒。普通生成和编辑可以在 3 到 15 秒之间,按整秒指定时长。
▲ 图:生成时长与限制
但首尾帧插值,也就是给开头和结尾让模型补中间过程,仍是 3 到 10 秒。单次延长也是 3 到 10 秒,延长后总长最高 30 秒。
参考视频的数量也有区别:生成 11 到 15 秒片段,最多使用一条不超过 3 秒的参考视频;生成 3 到 10 秒片段,最多使用三条。图片最多六张。
价格降了,谁能用?
Google 说,1.2 的 API 价格比 1.1 降低约 30%。720p 视频输出的对外标价约每秒 0.07 美元。
接口实际按 token 计费。按官网的每秒用量算,一条 15 秒、720p 视频的输出费用约 1.04 美元;输入、其他输出和多轮修改另算。
▲ 图:720p 视频输出费用比较
1080p 和 4K 是超分输出,不等于原生 4K。在相同分辨率和时长下,新版视频输出比 1.1 便宜,生成榜位置也更高;但现有数据不足以证明它比所有竞品更划算。
开发者可以通过 Google AI Studio 和 Gemini API 使用,模型名是 gemini-omni-1.2-flash。Google Cloud 也提供服务。
普通用户的入口包括 Flow、Google Vids 和 Gemini app。
Gemini app 的 15 秒视频正在面向 Google AI Ultra 订阅者推出;Vids 的 Google 账号或 Workspace 用户,官方称可以不额外付费生成 15 秒片段。
1.1 用户有四周过渡期。按 Google 文档,12 月 3 日起,旧模型 ID 的请求会自动转到 1.2,并按新价格收费。
它和 Veo 是什么关系?
Veo 是 Google 之前的视频模型。
Google 现在的产品介绍写明,Gemini app 里将由 Gemini Omni 取代 Veo。
开发者这边,Gemini API 的 Veo 3.1 预览模型已经在 10 月 22 日关闭。官方建议迁移到 Gemini Omni Flash,或 Gemini Enterprise Agent Platform 上的正式模型。
参考资料
01|Google:Gemini Omni 1.2 Flash 发布说明
https://blog.google/innovation-and-ai/technology/developers-tools/introducing-gemini-omni-1-2-flash/
02|Google:Omni API 文档与价格
https://aistudio.google.com/docs/omni
03|Google:Gemini 视频生成与 Veo 迁移
https://aistudio.google.com/docs/video
04|Google:Gemini app 视频生成
https://gemini.google/bf/overview/video-generation/?hl=en-GB
05|Arena:视频生成与编辑排名
https://x.com/arena/status/2118420238756921648

