近一年前，开发者Seth Forsgren和Hayk Martiros发布了业余项目Riffusion，该项目通过音频图像而非音频本身生成音乐。这听起来有些反直觉（无意双关），但确实奏效——我的同事Devin Coldewey在此提供了详细介绍。
尽管方法存在局限性，Riffusion仍为Forsgren和Martiros赢得了大量关注。鉴于围绕AI生成音乐技术的好奇心与争议，这并不令人意外。据Forsgren称，数百万人尝试过Riffusion，该平台还被Meta、Google及TikTok母公司字节跳动等科技巨头的研究论文引用。
此外，该项目也吸引了投资者的关注。
今年，Forsgren和Martiros决定将Riffusion商业化。该应用目前由音乐组合The Chainsmokers提供顾问服务，并完成了400万美元种子轮融资，由Greycroft领投，South Park Commons和Sky9参与。
Riffusion推出了一款全新的免费应用程序，作为去年版本的改进版，允许用户描述歌词和音乐风格，生成可公开或与朋友分享的“riff”片段。
Forsgren在邮件采访中表示：“新版Riffusion赋予任何人通过简短、可分享音频片段创作原创音乐的能力。用户只需描述歌词和风格，模型便会在几秒内生成包含演唱和定制艺术品的完整riff。从激励音乐家到向家人问候，riff成为一种新的表达形式，极大降低了音乐创作门槛。”
Martiros和Forsgren相识于普林斯顿大学，过去十年一直在同一支业余乐队演奏。Forsgren此前创立了两家风投支持的科技公司Hardline和Yodel；Martiros则是无人机初创公司Skydio的首批员工之一。
Forsgren表示，两人受生成式AI工具连接人们创造力的潜力启发，决定扩大Riffusion规模。
“疫情让我们有了更多居家时间，也促使我学习弹钢琴，”Forsgren说，“音乐在隔离期具有强大的连接力。生成式AI是新兴且快速变化的领域，Riffusion旨在利用该技术提供一种有趣的新乐器，让每个人都能在一生中积极创作音乐。”
升级版Riffusion由一个音频模型驱动，该模型由包括创始人在内的六人团队从头训练而成。与原版类似，新模型经过频谱图微调，即显示不同频率随时间振幅变化的音频可视化表示。
Forsgren和Martiros制作了音乐频谱图，并用“蓝调吉他”、“爵士钢琴”等相关术语对图像进行标记。将这些数据输入模型，“教会”了它某些声音的视觉特征，以及如何在给定文本提示（如“节日低保真节拍”、“肯尼亚曼波舞”、“密西西比三角洲民谣蓝调”等）下重组或创建这些声音。
Forsgren解释道：“用户可通过自然语言描述音乐特质，甚至录制自己的声音作为提示，以生成独特输出。我们认为该产品将赋能音乐制作人和音频工程师，以全新方式探索灵感。”
以下是使用Riffusion功能，以提示词“朋克摇滚颂歌，男声，充满活力的吉他和鼓”生成的示例：
越来越多使用生成式AI唤起熟悉声音的自制曲目正在病毒式传播，这些作品常被误认为真实作品或高度相似。上个月，某生成式音频Discord社区发布了一张使用Travis Scott AI声音副本的完整专辑，招致其唱片公司的愤怒。
音乐厂牌已迅速向Spotify和SoundCloud等流媒体平台标记AI生成曲目，理由多为知识产权问题，且通常胜诉。但对于“深度伪造”音乐是否侵犯艺术家及权利持有者版权，目前仍缺乏明确界定。
Forsgren指出，新版Riffusion并未被训练识别知名艺术家姓名或歌曲，也无法复制相关内容。
他表示：“该产品不用于生成深度伪造内容，也不会在提示词中识别知名艺术家名字。相反，它让用户创作个性化信息和朗朗上口的旋律片段。你创作的riff让人忍不住反复回响甚至整天哼唱，这种情况并不罕见。”
目前尚无明确变现策略。现阶段，Forsgren和Martiros正专注于扩大团队规模，并开发互补性新型生成式AI产品。
Forsgren还暗示，未来将更紧密地与The Chainsmokers等艺术家合作，探索该技术融入创作流程的方式。
Forsgren说：“生成式音乐仍处于早期阶段。Google MusicLM、Facebook MusicGen及Stability Stable Audio等都是令人兴奋的工具。但Riffusion脱颖而出，成为首批通过有趣易用网站让用户在音乐中生成歌词的产品之一。”