大数跨境

Meta的Movie Gen模型能够生成带有声音的真实视频,这样我们终于可以拥有无限的“Moo Deng”了

Meta的Movie Gen模型能够生成带有声音的真实视频,这样我们终于可以拥有无限的“Moo Deng”了 海外洞察
2024-10-04
1
导读:目前,人们还不太清楚生成式视频模型究竟有哪些实际用途,但这并未阻止Runway、OpenAI和Meta等公司持续投入

目前生成式视频模型的具体应用场景尚不明朗,但这并未阻碍 Runway、OpenAI 和 Meta 等巨头投入巨资研发。Meta 最新推出的 Movie Gen 能将文本提示转化为带音效的逼真视频,但暂不支持语音生成,且未向公众开放。

Movie Gen 实为一组基础模型的集合,核心为文生视频模块。Meta 宣称其性能优于 Runway Gen3、Luma Labs 及 Kling 1.5,但这更多是表明入局姿态而非绝对领先。具体技术细节详见 Meta 发布的组件论文。

智能音频与便捷编辑

系统可根据画面自动生成匹配音效(如引擎声、瀑布声)或背景音乐。针对视频生成器普遍存在的编辑难题,Meta 引入了基于文本的局部编辑功能。用户可通过指令(如“将背景改为繁忙十字路口”)精准修改特定元素,而无需重新生成整个画面。

图片来源:Meta

此外,模型还能理解“跟踪镜头”、“向左平移”等运镜指令,虽不及专业摄像机控制精准,但已具备基础实用性。

分辨率与帧率规格

Movie Gen 原生生成宽度为 768 像素的视频,经超分放大至 1080p,效果出色。在时长与帧率方面,支持 16 秒/16fps 或 10 秒/24fps 两种模式,建议优先选择后者以获得更流畅体验。

暂缓语音功能的考量

暂不支持语音主要出于技术与安全双重考量:

  • 技术层面:实现语音、口型与面部动作的完美同步难度极高,贸然上线易导致生成内容失控。
  • 安全层面:在大选前夕发布类深度伪造工具风险巨大。限制语音功能可有效提高恶意使用门槛,防止直接生成虚假政治言论。

Meta 回应称:“Movie Gen 目前纯属 AI 研究概念,安全始终是重中之重。”与 Llama 不同,该模型代码不会开源,仅公开底层评估提示数据集供研究参考。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14239
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读46.0k
粉丝0
内容14.2k