大数跨境
0
0

MusicGen: Meta 开源音乐生成AI,对抗谷歌,可根据旋律生成音乐

MusicGen: Meta 开源音乐生成AI,对抗谷歌,可根据旋律生成音乐 数翼
2023-07-03
0
导读:为了不被谷歌超越,Meta 发布了自己的人工智能音乐生成器, 并且与谷歌不同的是,它是开源的。Meta 的音

为了不被谷歌超越,Meta 发布了自己的人工智能音乐生成器, 并且与谷歌不同的是,它是开源的。

Meta 的音乐生成工具 MusicGen 可以将文本描述 (例如『一首 90 年代流行歌曲,背景是沉重的鼓声』)转换为大约 12 秒的音频。

MusicGen 可以选择使用参考音频『引导』,例如现有歌曲,在这种情况下,它将尝试遵循描述和旋律。

训练

Meta 表示,MusicGen 接受了 20,000 小时的音乐训练, 其中包括来自 ShutterStock 和大型媒体库 Pond5 的 10,000 首高质量授权音乐曲目和 390,000 首纯乐器曲目。

Meta 还尚未提供用于训练模型的代码,但它已经提供了预训练模型, 任何拥有合适硬件(主要是具有约 16GB 内存的 GPU)的人都可以运行这些模型。

表现

那么 MusicGen 的表现如何呢?

我想说肯定还没有好到让人类音乐家失业,但是它的歌曲旋律还是很不错。与谷歌人工智能音乐生成器 MusicLM 的结果差不多,可能还稍微好一点。

当然,值得一提的是:MusicGen 支持输入引导旋律。

以下是 MusicGen 的“爵士电梯音乐”的输出:

古筝

输入古筝独奏:

二胡

输入二胡独奏:(二胡是认识的)

唢呐

输入唢呐独奏:(MusicGen 也不认识唢呐,哈哈)

钢琴

输入钢琴独奏:(钢琴果然是原汁原味的)

《海阔天空》 旋律

同样是古筝独奏,输入海阔天空的MP3作为引导旋律看看怎么样:

有一丝《海阔天空》的味道哦。

关于版权

为了防止生成音乐工具的版权问题,谷歌在 MusicLM 的公共版本中实施了一个过滤器,阻止提及特定艺术家的提示。

MusicGen 没有这样的过滤器。也就是理论上你可以指定艺术家,去生成对应风格的音乐。

国际上活着的音乐大师我是一个都不认识,这个就不给大家测试了,有兴趣自己试试看看。




--- END ---

【声明】内容源于网络
0
0
数翼
专注 AIGC 人工智能知识传播和实践
内容 228
粉丝 0
数翼 专注 AIGC 人工智能知识传播和实践
总阅读61
粉丝0
内容228