谷歌推出了一款令人印象深刻的新AI系统，只需提供文字描述即可生成任何风格的音乐。但出于对潜在风险的担忧，该公司目前暂无发布该系统的计划。
这款名为MusicLM的系统并非首个用于歌曲生成的生成式人工智能工具。此前已有Riffusion、Dance Diffusion、谷歌AudioML及OpenAI Jukebox等尝试，但受限于技术和训练数据，均未能创作出结构复杂或高保真度的歌曲。而MusicLM或许是第一个能做到这一点的系统。
哇，在我看来这比ChatGPT更厉害。
谷歌几乎解决了音乐生成问题，我这么说。— Keunwoo Choi (@keunwoochoi) 2023年1月27日
技术突破：从文本到连贯音乐的跨越
根据学术论文阐述，MusicLM在包含28万小时音乐的数据集上训练，旨在学习根据具有“显著复杂性”的描述生成连贯歌曲（例如“迷人的爵士乐配小号独奏”或“90年代柏林Techno舞曲”）。其生成的作品听起来 remarkably 像人类艺术家的创作，尽管在创意和音乐凝聚力上仍有差距。
很难过分强调这些样本的听感之好，毕竟其中并无真实乐器演奏。即使面对冗长复杂的描述，MusicLM也能精准捕捉乐器riff、旋律和情绪等细微差别。
例如，当输入“让人产生迷失在太空中的体验”时，它确实营造出了相应的氛围；而在“街机游戏主要配乐”的描述下，生成的音乐也高度契合主题。
功能拓展：叙事性音乐与多模态交互
MusicLM的能力不仅限于生成短片段。研究人员展示了其基于现有旋律（哼唱、吹口哨或乐器演奏）进行构建的能力。此外，系统可接受顺序描述（如“冥想时间”→“起床时间”→“跑步时间”），创建长达数分钟的旋律“故事”，非常适合电影配乐场景。
该系统还支持图片与说明的组合指令，能生成特定流派中由指定乐器“演奏”的音频，甚至可设定AI“音乐家”的经验水平，并根据地点、时代或需求（如健身激励音乐）进行灵感创作。
局限与挑战：失真与人声短板
MusicLM并非完美无缺。部分样本带有训练过程不可避免的失真感。虽然技术上可生成人声（包括合唱），但表现欠佳：大多数“歌词”介于勉强可辨与胡言乱语之间，合成音色听起来像是多位艺术家的混合体。
昨天，谷歌发表了一篇关于名为 MusicLM 的新人工智能模型的论文。
该模型根据丰富的说明生成 24 kHz 的音乐，例如“雷鬼顿与电子舞曲的融合，带有太空般、超凡脱俗的声音。让人产生迷失在太空中的体验。”— Product Hunt 😸 (@ProductHunt) 2023年1月27日
伦理困境：版权风险导致暂缓发布
谷歌研究人员指出，此类系统面临严峻伦理挑战，尤其是将受版权保护的训练材料融入生成内容的风险。实验发现，约1%的生成音乐直接复制自训练歌曲，这一比例足以让谷歌决定暂不发布当前版本。
论文合著者坦言：“我们承认存在创意内容被不当占用的风险，强烈强调需更多工作来解决相关隐患。”
法律前景：衍生作品与合理使用的博弈
若MusicLM未来投入使用，法律问题将不可避免。即便定位为辅助工具，深度伪造音乐仍处于法律模糊地带。2020年Jay-Z唱片公司曾针对AI翻唱视频发起版权投诉，虽因请求不完整被YouTube恢复，但争议并未平息。
"MusicLM: Generating Music from Text"
令人印象深刻的是，自动生成的声乐质量有了显著提升！听起来很真实，但用的是外语。— Jay Hack (@mathemagic1an) 2023年1月27日
音乐出版商协会法律实习生Eric Sunray撰写的白皮书认为，AI通过摄入训练作品创建“连贯音频织锦”侵犯了复制权。批评人士亦质疑使用受版权保护素材训练模型是否构成合理使用，这与图像、代码生成AI面临的训练数据抓取争议类似。
从用户角度看，Waxy的Andy Baio推测AI生成音乐可能被视为衍生作品，仅原始元素受版权保护，商业用途则进入未知领域。除戏仿和评论等合理使用情形外，法院大概率需逐案裁决。
随着多起涉及艺术家权利及未经授权训练数据的诉讼推进，这一问题或将很快明晰。但答案仍需时间给出。