大数跨境

谷歌Gemini Omni能将图像、音频和文本转化为视频,而这仅仅是开始

谷歌Gemini Omni能将图像、音频和文本转化为视频,而这仅仅是开始 海外洞察
2026-05-19
4
导读:Google 的 Gemini Omni 是一款全新的多模态模型,能够跨文本、图像、音频和视频进行推理,并通过简单的对话生成和编辑视频——首先推出的是 Omni Flash。

三年前,谷歌推出 Gemini 时,旨在构建一个多模态大语言模型——即在文本、图像、音频和视频上训练的单一神经网络,能够生成上述任意格式的内容。

在今年的 Google I/O 开发者大会上,该公司朝着这一目标迈出了坚实一步,正式推出 Gemini Omni 系列多模态模型。谷歌首席执行官 Sundar Pichai 表示,这些模型将能够“从任何输入中创造任何东西”。

Gemini Omni:原生多模态推理与高质量视频生成

Omni 将以视频生成为切入点。用户可组合图像、音频、视频和文本作为输入,Omni 并非简单拼接素材,而是对所有输入进行深度推理以生成一致结果。其生成的视频质量较高,且体现出对物理规律、文化背景、历史及科学知识的理解。

此外,Omni 支持通过纯文本命令编辑照片,无需依赖复杂编辑软件,体验类似谷歌 Nano Banana。

尽管谷歌此前已拥有可将图文转视频并定制头像的 Veo 模型,但 DeepMind 产品管理总监 Nicole Brichtova 强调,此次发布不仅是 Veo 的更新,更是“将 Gemini 智能与媒体模型渲染能力相结合”的关键一步。

图片来源:Google

在周一的媒体简报会上,DeepMind 首席技术官 Koray Kavukcuoglu 演示了 Omni 的能力:面对“蛋白质折叠的黏土动画解释”这一提示,模型迅速生成了定格动画视频,旁白准确解释了氨基酸链如何折叠成 α 螺旋和 β 折叠等三维结构。

Omni 的长期愿景更为广泛,未来将涵盖从音频生成图像、从视频生成音频等跨模态任务。Pichai 指出:“随着世界模型的发展,AI 正从预测文本转向模拟现实。Gemini Omni 是迈向这一方向的重要一步。”

数字分身与安全机制

作为发布内容之一,用户可使用个人数字分身创建视频(类似 OpenAI Sora 曾推出的 Cameos 功能)。为防止深度伪造,Brichtova 说明用户需经过专门引导流程,包括录制本人朗读数字序列,验证后数字分身方可存储使用。

同时,所有由 Omni 生成的视频均嵌入 Google SynthID 数字水印,以便验证内容是否源自 Gemini 产品。

Gemini Omni Flash:面向消费者的易用工具

系列首款模型 Gemini Omni Flash 今日上线 Gemini 应用、YouTube Shorts 及 AI 创意工作室 Flow。该版本目前支持渲染 10 秒视频。Brichtova 解释,这并非模型性能瓶颈,而是基于让更多用户尽早体验及当前市场需求考量,更长时长已在规划中。

Google 将 Omni Flash 定位为消费级工具。研究工程师 Gabe Barth-Maron 将其比作“个性化表情包”,典型场景包括制作获奖/登月趣味视频或移除度假照中的路人。Brichtova 表示:“我们专注于降低消费者使用门槛,这是视频模型跨越消费鸿沟的关键尝试。”

不过,易用性有前提条件:提示词需足够具体,否则 Omni 可能过度编辑或误改保留元素,这与 Nano Banana 用户曾遇到的问题类似。

企业应用与专业版展望

尽管短期侧重消费市场,Omni 在企业与创意领域潜力显著。Google 将在数周内通过 API 开放服务。除 Shorts 上的数字分身工具外,端到端多模态工作流有望变革广告与影视制作行业。例如初创公司 Luma AI 已利用类似“统一”模型实现根据简报和图片自动生成广告活动。

Brichtova 特别提到模型的文字渲染能力:“在广告场景中,若需精准呈现产品位置或标语,必须准确无误。我们也预期电影制作人等创作者将采用此模型。”

针对更专业的需求,Google 计划推出表现更优的 Omni Pro 模型。Brichtova 表示,当 Pro 版本相比 Flash 实现显著飞跃时,将会正式发布。

回顾 Google IO 2026 其他重大新闻

你所熟知的 Google 搜索已成过去

Google 更新 Gemini 应用以应对 ChatGPT 和 Claude

Google 推出 Gemini Spark,一款与 Gmail 集成的全天候代理助手

如何使用 Google 的新信息代理

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k