生成式人工智能不仅将能够以令人信服的拟人风格撰写和创作图像，还将创作出足以乱真的专业级音乐和声音的日子已指日可待。
Meta推出AudioCraft框架
今天早上，Meta宣布推出AudioCraft，这是一个可根据简短文字描述（即提示词）生成“高质量”、“逼真”音频和音乐的框架。这并非Meta首次涉足音频生成领域——该科技巨头早在六月就开源了一款名为MusicGen的AI驱动音乐生成器——但Meta声称，其在提升AI生成声音质量方面取得了巨大进步，例如狗吠、汽车鸣笛以及踩在木地板上的脚步声等。
Meta在与TechCrunch分享的博文中解释，与之前的研究工作相比，AudioCraft框架旨在简化音频生成模型的使用（例如Riffusion、Dance Diffusion以及OpenAI的Jukebox）。AudioCraft的代码已开源，它提供了一系列声音和音乐生成器以及压缩算法，用户无需在不同代码库之间切换即可创建和编码歌曲及音频。
三大核心模型解析
AudioCraft包含三个生成式AI模型：MusicGen、AudioGen和EnCodec。
1. MusicGen：开放训练与伦理争议
MusicGen并非全新产品，但Meta发布了其训练代码，使用户能够在自己的音乐数据集上训练该模型。考虑到MusicGen通过“学习”现有音乐来产生类似效果，这一事实可能引发重大的伦理和法律问题。
越来越多使用生成式AI唤起的自制曲目正迅速走红，这些作品足以被当作真实作品或足够接近的真实声音。唱片公司很快向流媒体合作伙伴指出这些问题，理由是涉及知识产权关切，且通常都取得了胜利。但关于“深度伪造”音乐是否侵犯艺术家、唱片公司和其他权利持有人的版权，目前仍缺乏明确界定。
Meta明确表示，MusicGen的预训练开箱即用版本是使用“Meta拥有并专门获得许可的音乐”进行训练的，具体包括20,000小时的音频（40万个录音以及文本描述和元数据），这些数据来自该公司自己的Meta Music Initiative Sound Collection、Shutterstock的音乐库以及大型库存媒体库Pond5。此外，Meta从训练数据中移除了人声，以防止模型复制艺术家的声音。在使用条款方面，Meta不鼓励将模型用于研究之外的“超出范围”用例，但并未明确禁止任何商业应用。
2. AudioGen：专注环境音效生成
AudioGen是AudioCraft中包含的另一个音频生成模型，专注于生成环境音效和声音效果，而非音乐和旋律。它是一个基于扩散的模型，与大多数现代图像生成器类似（参见OpenAI的DALL-E 2、Google的Imagen和Stable Diffusion）。在扩散模型中，模型学习如何从完全由噪声构成的起始数据中逐步去除噪声，一步步使其更接近目标提示词。
给定对声学场景的文字描述，AudioGen能够生成具有“真实录音条件”和“复杂场景内容”的环境声音。根据今天早上随AudioGen发布的白皮书，除了音乐之外，AudioGen还能根据提示词生成语音，这反映了其多样化训练数据的构成。需要注意的是，在模型发布之前，外界并没有机会测试AudioGen或聆听其样本。
在白皮书中，Meta承认AudioCraft可能被滥用于伪造某人的声音。鉴于AudioCraft的生成音乐能力，该模型引发了与MusicGen相同的伦理问题。但正如MusicGen一样，无论好坏，Meta都没有对AudioCraft及其训练代码的使用方式施加太多限制。
3. EnCodec：高效音频编解码器
AudioCraft的第三个模型EnCodec是对Meta此前用于生成更少伪影的音乐模型的改进。Meta声称它能更高效地对音频序列进行建模，捕捉训练数据音频波形中的不同层次信息，从而帮助创作新颖的音频。
Meta在博客文章中解释道：“EnCodec是一种有损神经编解码器，专门针对压缩任何类型的音频并以高保真度重建原始信号而训练。”“不同的流捕获音频波形的不同层次信息，使我们能够从所有流中高保真地重建音频。”
未来展望与挑战
那么，该如何看待AudioCraft呢？Meta强调了其潜在的积极影响，比如为音乐家提供灵感，并帮助人们以“新方式”对其作品进行迭代。但随着图像和文本生成器的出现向我们展示的那样，也存在缺点以及可能潜伏在阴影中的诉讼风险。
Meta表示，不管后果如何，它计划继续研究更好的可控性，以及如何提高生成式音频模型的性能，同时寻找减轻此类模型局限性和偏见的方法。关于偏见问题，Meta指出，MusicGen在非英语语言描述以及非西方音乐风格和文化方面的表现不佳，这是由于训练数据中存在非常明显的偏见。
Meta在博客文章中写道：“与其将这些工作作为不可穿透的黑盒，公开我们开发这些模型的方式，并确保它们易于使用——无论是研究人员还是整个音乐社区——都有助于人们了解这些模型能做什么、不能做什么，并赋予他们实际使用它们的能力。”“通过开发更先进的控制功能，我们希望这类模型能够为音乐业余爱好者和专业人士所用。”