人工智能赋能音乐创作：Meta开源MusicGen技术解析
人工智能技术已在各领域得到广泛应用，其最引人注目的特点之一便是在数分钟内创作出媲美艺术品的作品。在音乐、视觉及内容创作领域，此类案例层出不穷。继Google推出MusicLM后，Meta也发布了开源AI音乐生成技术MusicGen，能够将文本和旋律转化为全新歌曲。
事实上，文本转旋律的内容生成并非新鲜事物。此前我们在《人工智能如何影响音乐产业？》一文中已分享过相关工具。尽管曾有说法称Google因潜在风险暂未发布MusicLM，但该产品实际上已在Google I/O 2023上正式亮相。Meta此次推出的MusicGen与Google的MusicLM技术在实现路径上高度相似。
基于Transformer模型的技术原理
与主流语言模型一致，MusicGen同样基于Transformer架构构建。正如语言模型预测句子中的下一个字符，MusicGen能够预测音乐片段中的后续部分。据悉，开发团队在训练过程中使用了2万小时的授权音乐数据，主要来源包括Shutterstock、Pond5以及一个包含1万首高质量曲目的内部数据集。
生成流程与功能亮点
平台上的音乐生成逻辑如下：用户选取一段现有作品（如巴赫《D小调托卡塔与赋格 BWV 565》），并添加文本描述（例如“背景带有鼓点和合成器铺底的80年代迷人流行歌曲”），系统即可融合生成新旋律。目前单次采样时长限制为30秒，未来有望进一步延长。
Meta刚刚发布了MusicGen，这是一个简单且可控的音乐生成模型。
MusicGen是一个单阶段自回归Transformer模型，使用32kHz EnCodec分词器进行训练，该分词器具有4个码本，采样率为50Hz。与MusicLM等现有方法不同，MusicGen并非……
此外，MusicGen支持添加音频参考作为提示，文本描述将用于设定与参考音频相匹配的基础风格。其用户友好界面旨在降低门槛，帮助无论是否有音乐专业背景的用户都能轻松生成内容。
开源发布与商业应用
Meta已在GitHub上以开源形式发布了MusicGen的代码和模型，并明确允许商业使用。同时，Huggingface平台上也已上线演示版本，供开发者及用户体验测试。