AI初创公司Stability AI已发布Stable Audio Open Small,这是一款“立体声”音频生成AI模型。该公司声称其为市场上速度最快的同类模型,且足够高效,可在智能手机上运行。
Stable Audio Open Small是Stability AI与芯片制造商Arm合作的成果。尽管Suno和Udio等AI音频应用众多,但大多依赖云端处理,无法离线使用;而该模型专为移动端优化,填补了这一空白。
在训练数据方面,Stable Audio Open Small完全由免版税音频库Free Music Archive和Freesound的歌曲组成。这与包含受版权保护内容、存在知识产权风险的Suno和Udio形成鲜明对比。
该模型拥有3.41亿个参数,并针对Arm CPU进行了深度优化。它专为快速生成短音频片段和音效(如鼓点、乐器riff)设计,据称能在不到8秒的时间内于智能手机上生成长达11秒的音频。
以下是由Stable Audio Open Small生成的示例:
这是另一个示例:
该模型仍存在局限性:仅支持英语提示词,且无法生成逼真的歌声或高质量歌曲。此外,由于训练数据偏向西方音乐,其在不同音乐风格上的表现并不均衡。
在使用条款上,研究人员、爱好者及年收入低于100万美元的企业可免费使用;但年收入超过100万美元的开发者和组织必须购买企业许可证。
作为热门图像生成模型Stable Diffusion背后的公司,Stability AI去年筹集了新资金,Eric Schmidt和Napster创始人Sean Parker等投资者试图扭转局面。此前因前CEO Emad Mostaque的管理问题,公司曾陷入财务困境,导致员工离职、与Canva合作破裂及投资者担忧。
近几个月来,Stability AI已聘请新CEO,任命电影导演James Cameron加入董事会,并发布了多款新的图像生成模型。

