一年前，位于伦敦的初创公司 Stability AI 推出了开源图像生成模型 Stable Diffusion，并悄然发布了 Dance Diffusion。这是一个能够根据文字描述生成相应歌曲和音效的模型。
Dance Diffusion 是 Stability AI 在生成式音频领域的首次尝试，表明该公司对新兴 AI 音乐创作工具进行了实质性投资。但在宣布后的近一年里，该领域似乎一片沉寂——至少就 Stability 的努力而言如此。
由 Stability 资助创建该模型的研究机构 Harmonai 在去年停止了更新 Dance Diffusion。（历史上，Stability 一直向外部团体提供资源和算力，而非完全内部构建模型。）且 Dance Diffusion 从未获得更完善的发布版本；即使到今天，安装仍需直接操作源代码，几乎没有用户界面。
如今，在投资者压力下，为将超1亿美元资本转化为营收产品，Stability 正大规模重新致力于音频领域。
Stable Audio 正式发布
今天标志着 Stable Audio 的发布。据 Stability 声称，这是首个能通过潜在扩散（latent diffusion）技术为商业用途创建“高质量”、44.1 kHz 音乐的工具。该模型在音频元数据及文件持续时间上进行了训练。Stability 表示，Audio Diffusion 底层约12亿参数的模型，相比此前发布的生成式音乐工具，提供了对合成音频内容和长度的更大控制力。
Stability AI 音频副总裁 Ed Newton-Rex 表示：“Stability AI 的使命是通过构建跨多种内容类型或‘模态’的基础 AI 模型来释放人类潜力。我们从 Stable Diffusion 起步，现已扩展至语言、代码和音乐，相信生成式 AI 的未来是多模态的。”
Stable Audio 并非仅由 Harmonai 开发。Stability 的音频团队于四月正式成立，受 Dance Diffusion 启发创建了新模型作为基础，随后由 Harmonai 进行训练。Harmonai 目前担任 Stability 的 AI 音乐研究部门。
Newton-Rex 指出：“Dance Diffusion 从有限的声音调色板中生成简短、随机的音频片段，若用户想要控制权必须自行微调。Stable Audio 可生成更长音频，用户可通过文本提示并设置时长引导生成过程。”他表示，电子舞曲、氛围音乐等节奏驱动型提示效果极佳，而旋律性更强的古典乐和爵士乐则更具“前卫”色彩。
模型表现与试听体验
Stability 拒绝了多次试用请求。目前 Stable Audio 仅通过网页应用使用，且尚未宣布开源计划，这可能令开放研究使命的支持者不满。
但 Stability 愿意发送样本展示模型能力。虽然样本经过挑选，但听起来比许多已发布音频生成模型的“歌曲”更加连贯、富有旋律性，远胜于 Meta 的 AudioGen/MusicGen、Riffusion、OpenAI 的 Jukebox 及 Google 的 MusicLM 等。它们虽不完美且缺乏创意，但若在酒店休息区听到生成的氛围科技曲，可能不会察觉是 AI 创作。
与生成图像、语音和视频工具类似，要获得最佳输出需精心设计提示词，捕捉流派、节奏、乐器乃至情感情绪等细微差别。
示例提示词：
- 科技曲目：“氛围科技，冥想，斯堪的纳维亚森林，808鼓机，808底鼓，拍手，沙锤，合成器，合成贝斯，合成器长音，优美，宁静，空灵，自然，122 BPM，纯器乐”
- 迷幻舞曲：“迷幻舞曲，伊比萨岛，海滩，阳光，凌晨4点，渐进式，合成器，909，戏剧性和弦，合唱，狂喜，怀旧，动态，流畅”
- Disco 曲目：“Disco, Driving, Drum, Machine, Synthesizer, Bass, Piano, Guitars, Instrumental, Clubby, Euphoric, Chicago, New York, 115 BPM”
作为对比，将上述提示输入 Google MusicLM，结果虽不差，但以非常明显的重复和简化方式解读了提示词。
Stable Audio 最引人注目的特点是约 90 秒的连贯长度。其他 AI 模型虽能生成长歌，但通常在几秒后退化为随机噪音。秘诀在于潜在扩散技术：模型学习从全噪起始歌曲中逐步去噪，缓慢坚定地推向文本描述。
此外，Stable Audio 还能复制汽车驶过或鼓独奏等音效。
训练数据与版权争议
Stable Audio 并非首个利用潜在扩散技术的音乐生成模型，但在音乐性和保真度上较为成熟。训练时，Stability AI 与商业音乐库 AudioSparx 合作，使用了约 80 万首主要由独立艺术家创作的歌曲。据 Newton-Rex 称，已过滤人声曲目以规避“深度伪造”伦理和版权困境。
令人惊讶的是，Stability 未过滤可能导致法律纠纷的提示词。当用户键入“类似于 Barry Manilow 风格”时，Google MusicLM 会报错，而 Stable Audio 不会。Newton-Rex 表示工具受限于训练数据（不含大型唱片公司音乐），但 AudioSparx 库中存在数千首模仿 The Beatles、AC/DC 等风格的音乐，这似乎是个漏洞。
Newton-Rex 强调：“Stable Audio 主要设计用于生成器乐，误报和人声深度伪造可能不是问题。我们正通过实施内容真实性标准和水印积极应对风险，计划在未来音频模型中也实施此类标注。”
近期，使用生成式 AI 制作逼真音轨走红。上月有社区发布完全使用 Travis Scott AI 声音的专辑，招致唱片公司愤怒。流媒体平台通常因知识产权问题标记并下架此类音轨，但“深度伪造”音乐是否侵权尚无定论。联邦法官裁定 AI 艺术无法获版权保护，美国版权局也正就此征求意见。
商业化条款与创作者权益
Stability 认为用户可商用 Stable Audio 作品，但不一定拥有版权。相比之下，微软已宣布为商用客户提供赔偿保障。
定价方案：
- Pro 版（$11.99/月）：每月最多生成 500 首 ≤90 秒的可商用曲目。
- 免费版：每月限生成 20 首 ≤20 秒的非商用曲目。
- 企业版：适用于月活超 10 万的应用/网站。
服务条款明确，Stability 保留使用客户提示词、歌曲及活动数据开发未来模型的权利。若发生 IP 索赔，客户同意赔偿 Stability。
关于创作者分成，Stable Audio 设有退出机制，责任主要在 AudioSparx。其执行副总裁 Lee Johnson 表示，初始发布时约 10% 艺术家选择移除作品。双方协议涵盖收入分成，允许参与训练的艺术家分享利润，类似 Adobe/Shutterstock 模式，但具体报酬细节未披露。
公司前景与挑战
鉴于 CEO Emad Mostaque 的管理风格，艺术家们有理由保持警惕。今年四月报道称 Stability AI 大量消耗现金，多次延迟支付薪资税，导致 AWS 威胁撤销 GPU 访问权限。
最近，Stability AI 筹集了 2500 万美元可转换票据，总融资额超 1.25 亿美元，但未以更高估值完成新一轮融资（上次估值 10 亿美元）。尽管收入低迷且烧钱率高，公司仍寻求在未来几个月将估值提高四倍。
Stable Audio 能否扭转公司命运？也许能。但考虑到必须克服的障碍，希望渺茫。