谷歌旗下AI研究实验室DeepMind表示，正在开发用于为视频生成配乐的人工智能技术。
在其官方博客的一篇文章中，DeepMind称该技术（V2A，即“视频转音频”的缩写）是AI生成媒体拼图中不可或缺的一部分。尽管包括DeepMind在内的许多机构已经开发了视频生成AI模型，但这些模型无法创建与所生成视频同步的音效。
DeepMind写道：“视频生成模型的进步速度令人难以置信，但许多当前系统只能生成无声输出。”“V2A技术[可能]成为让生成电影栩栩如生的有前景的方法。”
DeepMind的V2A技术将音轨描述（例如“水下脉动的水母、海洋生物、海洋”）与视频相结合，以创作与视频角色和基调相匹配的音乐、音效甚至对话，并带有DeepMind用于对抗深度伪造的SynthID技术水印。驱动V2A的AI模型是一种扩散模型，在声音、对话转录本及视频片段的组合上训练而成。
据DeepMind称，“通过在视频、音频以及额外标注数据上进行训练，我们的技术学会了将特定的音频事件与各种视觉场景关联起来，同时响应标注或转录本中提供的信息。”
关于是否使用了受版权保护的训练数据，以及数据创作者是否知晓DeepMind的工作，DeepMind对此保持沉默。
基于AI的声音生成工具并非新鲜事物。初创公司Stability AI上周刚刚发布了一款，ElevenLabs也在五月推出了一款。用于创建视频音效的模型同样如此：微软的一个项目能够从静态图像生成说话和唱歌的视频；而Pika和GenreX等平台则训练了模型，使其能够根据给定场景推测最合适的音乐或音效。
但DeepMind声称其V2A技术是独一无二的，因为它能够理解视频的原始像素，并自动将生成的声音与视频同步，甚至无需文字描述。
V2A并不完美，DeepMind也承认这一点。由于底层模型并未针对带有瑕疵或失真的大量视频进行训练，因此它无法为这类视频生成特别高质量的音频。总体而言，生成的音频并不非常令人信服；我的同事Natasha Lomas将其形容为“刻板印象声音的大杂烩”，我对此不敢苟同。
出于这些原因，以及为了防止滥用，DeepMind表示不会在近期（甚至可能永远不会）向公众发布该技术。
“为了确保我们的V2A技术能够对创意社区产生积极影响，我们正在收集来自顶级创作者和电影制作人的多样化观点和见解，并利用这些宝贵的反馈来指导我们正在进行的研究和开发，”DeepMind写道，“在我们考虑向更广泛的公众开放访问之前，我们的V2A技术将经过严格的安全评估和测试。”
DeepMind将其V2A技术定位为对档案管理员和处理历史影像资料人员特别有用的工具。但此类生成式AI也可能颠覆影视行业。需要强有力的劳动保护措施，以确保生成式媒体工具不会消除工作岗位——或者更确切地说，整个职业。