10.1K+ Star！ YuE2：开源的音乐生成模型

YuE简介

AI/ML

YuE2 是一个开源的音乐生成模型，能够根据用户提供的歌词和风格描述，自动生成包含旋律、和弦、人声与伴奏的完整歌曲。它解决了传统 AI 音乐生成中“黑盒”不可控的问题，通过在生成音频前先生成可编辑的符号化乐谱（ABC 格式），让创作者或 AI Agent 能够在渲染音频前对旋律和和声进行审查与修改。

它在 WildSongBench 基准测试中达到了与 Suno v5/v6 等顶尖商业产品相当的质量水平，同时支持零样本翻唱（将已有录音转录为乐谱后以新风格重新演绎）以及基于对话的交互式音乐编辑，为专业音乐制作和 AI 辅助创作提供了高度可控的开源方案。

亮点特性

使用场景

使用环境

快速上手

环境要求

• Linux 系统，Python 3.12
• NVIDIA GPU（需支持 BF16，至少 24GB 显存）

安装步骤

git clone https://github.com/multimodal-art-projection/YuE.git
cd YuE
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install .

命令行快速生成

python examples/generate.py --output outputs/first-song
# 生成完成后查看 outputs/first-song/audio.flac

Python API 核心用法

import json
from pathlib import Path
from yue2 import YuE2Pipeline

request = json.loads(Path("examples/song.json").read_text(encoding="utf-8"))
with YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B", device="cuda") as pipe:
    song = pipe(**request)
    song.save_artifacts("outputs/my-song")

核心参数说明

• cot="full"
  ：默认模式，生成可编辑的旋律与和弦计划后再合成音频
• cot="melody"
  ：仅使用旋律计划，伴奏自由发挥，推荐用于翻唱
• cot="off"
  ：跳过乐谱规划，直接从歌词和风格生成音频
• abc=...
  ：传入自定义的 ABC 格式乐谱文件进行条件生成

替代方案

相关资源