不甘被谷歌比下去,Meta 发布了其自家的 AI 音乐生成器——而且与谷歌不同,它将其开源了。
名为 MusicGen 的 Meta 音乐生成工具(演示版可在此处找到)能将文本描述(例如“一首带有沉重鼓点和背景合成器的 80 年代流行摇滚歌曲”)转化为大约 12 秒的音频,上下浮动。MusicGen 还可以选择使用参考音频(如现有歌曲)进行“引导”,在这种情况下,它会尝试同时遵循描述和旋律。
我们介绍了 MusicGen:一个简单且可控的音乐生成模型。MusicGen 可以通过文本和旋律进行提示。
我们发布了代码(MIT 许可)和模型(CC-BY NC 许可),以支持开放研究、可复现性并为音乐社区服务
Meta 表示,MusicGen 是在 20,000 小时的音乐数据上训练的,其中包括 10,000 首“高质量”授权音乐曲目以及来自 Shutterstock 和 Pond5(一个大型库存媒体库)的 390,000 首纯乐器曲目。该公司尚未提供用于训练模型的代码,但它确实提供了预训练模型,任何拥有适当硬件(主要是内存约为 16GB 的 GPU)的人都可以运行这些模型。
那么 MusicGen 的表现如何呢?我认为——虽然还远不足以让人类音乐家失业。它的歌曲具有一定的旋律性,至少对于“环境芯片音乐”这类基础提示词而言,而且——以我的耳朵听来——与 Google 的 AI 音乐生成器 MusicLM 的结果相当(甚至略胜一筹)。但它们还拿不到任何奖项。
以下是 MusicGen 生成的“爵士电梯音乐”:
而这是 MusicLM 的版本:
接下来,我给出了一个更复杂的提示,试图让 MusicGen 陷入混乱:“低保真慢速 BPM 电子 Chill 风格,带有有机采样。”令人惊讶的是,在音乐连贯性方面,MusicGen 的表现优于 MusicLM,生成的作品很容易在 Lofi Girl 上找到一席之地。
这是 MusicGen 的样本:
而这是 MusicLM 的:
为了换个花样,我尝试使用这两种工具生成一首乔治·格什温风格的钢琴小品。我说“尝试”,是因为为了避免围绕生成式音乐工具的版权问题,Google 在公开版的 MusicLM 中实施了一个过滤器,屏蔽提及特定艺术家的提示词。
MusicGen 没有这样的过滤器。但必须说,“格什温风格的背景钢琴音乐”这一提示词产生的结果差强人意:
生成式音乐显然正在进步(参见 Riffusion、Dance Diffusion 和 OpenAI 的 Jukebox)。但主要的伦理和法律问题尚未解决。像 MusicGen 这样的 AI “学习”现有音乐以产生类似效果,这一事实让一些艺术家或生成式 AI 用户感到不安。
越来越多地使用生成式 AI 来召唤听起来真实或至少足够接近的真实感的自制曲目正在走红。音乐厂牌已迅速向流媒体合作伙伴标记这些曲目,理由是知识产权问题——并且它们通常都取得了胜利。但对于“深度伪造”音乐是否侵犯艺术家、厂牌和其他权利持有人的版权,目前仍缺乏明确界定。
不久之后可能会有相关指导方针。几起正在法院审理中的诉讼可能会影响音乐生成 AI,包括一起涉及艺术家在其不知情的情况下作品被用于训练 AI 系统的权利的诉讼。
Meta 方面表示,它对 MusicGen 的使用方式没有限制,并声称 MusicGen 训练所用的所有音乐都“已与版权持有者达成合法协议”,其中包括与 Shutterstock 的合作协议。

