想让老歌换个曲风翻唱？港科大开源 YuE2，3.58B参数先写谱再唱歌，RTX 4090上71秒出一首3.6分钟的歌。

想改和弦却只能重新生成一整首？想让老歌换个曲风却找不到翻唱模型？港科大联合M·A·P提出YuE2，一份AR–NAR Mixture-of-Transformers先把可读乐谱写出来，再展开成语义token和acoustic latent，最后48kHz立体声成曲——RTX 4090上71秒生成3.6分钟整曲，峰值显存11.18GiB。

歌曲生成模型现在基本是两种做法。Suno这一类直接从文本到音频，出的是成品录音，但composition是黑盒，你不知道它为什么这样写旋律，也就没法精确改；符号生成模型（比如基于MIDI/lead sheet的路线）能给出可读的旋律与和弦，却往往停在乐谱，走不到成品录音这一步。

港科大联合M·A·P、Tokenwave.AI、NYU、Stanford、MBZUAI、ACE Studio推出的YuE2，把这两条路线缝在了一个模型里：先用文本条件生成一份可读的ABC乐谱（指定旋律、和弦、调号、拍号、速度、段落结构），再把乐谱展开成25Hz的semantic music token，最后用flow matching生成25Hz连续acoustic latent，交给单独训练的48kHz立体声VAE解码成整曲。整个流程由一个3.58B参数、28层的AR–NAR Mixture-of-Transformers完成，训练数据约346000小时音乐，上下文24576位置、整首歌不切分。

在WildSongBench（192条提示）上，YuE2单次采样SongBench Avg 6.7316，超过所有已评测的公开模型；best-of-8达到6.9632，是所有已评测系统中最高的观测均值。专家盲听中，YuE2（best-of-8）对Suno v4.5的整体偏好为57.3%对30.5%，对Suno v5接近持平（40.4%对39.9%）。项目代码Apache-2.0开源（12779 star），权重开放下载，单张24GB显卡、不用量化即可本地跑48kHz立体声。

unsetunset相关链接unsetunset

• 论文：https://arxiv.org/abs/2609.33757
• 代码：https://github.com/multimodal-art-projection/YuE
• 主页：https://map-yue2.github.io/
• 模型权重：https://huggingface.co/m-a-p/YuE2-3B
• 伴奏/声学解码：https://huggingface.co/m-a-p/YuE2-Vae
• 转录模型SheetSage2：https://huggingface.co/m-a-p/SheetSage2
• 表征模型MERT2：https://huggingface.co/m-a-p/MERT-v2-30s · https://huggingface.co/m-a-p/MERT-v2-FullSong
• 基准数据集：https://huggingface.co/datasets/m-a-p/WildSongBench
• 试用：https://yue.noizai.net

unsetunset内容介绍unsetunset

YuE2是一个把「写谱」和「唱歌」放进同一个checkpoint的歌曲生成模型：输入风格描述和歌词，输出带人声与伴奏的48kHz立体声完整歌曲，同时输出一份能直接读、直接改的ABC乐谱。

与常规端到端音频生成不同，核心特点是：

1. 符号规划——先出乐谱再出音频，composition过程可检查、可修改；
2. 一份checkpoint三种用法——创作（从文本生成乐谱）、编辑（给定改过的乐谱重新渲染）、翻唱（SheetSage2从参考录音提取乐谱后换风格重唱），三者共享同一个推理接口；
3. agentic编辑——乐谱是文本，外部LLM可以把「副歌再加一段萨克斯solo」这类反馈翻译成对乐谱的具体修改，YuE2再渲染成新版本。官方demo里一首《The Last Train》经过9轮对话、14个版本，从华语流行改到了英语爵士。

适用场景：词曲创作辅助与demo快速迭代、已有曲目的风格化翻唱、以及需要精确控制旋律与和弦的内容生产流程。

unsetunset方法概述unsetunset

一句话概括：一套机制管「写谱」，一套机制管「出声」，两层共享同一个注意力计算。

左侧AR专家因果地生成ABC乐谱与语义token，右侧NAR专家用双向flow matching生成acoustic latent，48kHz立体声VAE负责最终解码；下方三条离线路径分别由SheetSage2、MERT2+CVQ和VAE encoder构造训练目标。

1. 把乐谱当作生成状态（Symbolic Composition Planning）

YuE2用ABC记谱法表示composition——这是文本记谱，直接与普通文本共享同一个BPE tokenizer：header写速度、拍号、调号，小节线和段落标签组织时间与曲式，chord symbol定和声，人声与器乐声部写旋律。生成时autoregressive流在文本和歌词条件之后先产出乐谱序列，acoustic流再以完整的乐谱序列和语义序列为条件。两类token占用互不重叠的码位范围，并用type-specific output mask防止互相串写。乐谱采样不做语法约束。

2. AR–NAR Mixture-of-Transformers（MoT）

写谱和出声需要的信息流不一样：乐谱与语义token是有序离散序列，必须因果地逐token预测；而乐谱定下来之后，每一个acoustic帧都能看到完整规划和双向声学上下文。YuE2在一个28层backbone里同时实现两种计算——每层内AR与NAR专家各有一套normalization、QKV/输出投影和MLP，但共享同一套位置方案并参与一次注意力计算。hybrid mask保证离散预测读不到acoustic目标，acoustic状态则能attend到全部文本、乐谱与语义token。NAR流对acoustic latent做条件flow matching，线性头预测flow velocity，同一轮速度评估内所有帧并行更新。训练目标是next-token cross-entropy与conditional flow matching的加权和；训练时混采四种任务配置（有谱/无谱、有语义/无语义），因此同一个checkpoint既能带谱生成，也能直接跳过乐谱生成，这正好支撑了后面的消融对照。

3. 从录音里造出监督信号（MERT2 + SheetSage2）

要有谱可学，光有录音不够——普通音乐语料没有对齐的音符、和弦、节拍和段落标注。团队为此造了两条离线分析路径。MERT2是632M参数的音乐表征模型（ConvNeXt前端+24层Conformer），用MuQ第7层与Qwen2-Audio第32层等多视角目标做基础预训练，再按30s截断与全曲两种时间尺度分别适配；其中一个分支改成causal self-attention并接CVQ，输出25Hz紧凑语义token。SheetSage2-AR（论文arXiv:2610.05336，Yann LeCun参与署名）用冻结的MERT2-FS加LoRA，叠6层带masked self-attention与cross-attention的自回归解码器，以事件流方式逐个预测时间、节拍、段落、调号、和弦、旋律音符与时值，一次性输出整曲lead sheet。三条路径都离线跑，给每条训练录音对齐出乐谱、语义token和acoustic latent。

MERT2先用多视角目标做基础预训练，再分别适配出30s与全曲两个版本；causal分支接CVQ产出25Hz语义token。

SheetSage2-AR以自回归方式逐事件输出时间、节拍、段落、调号、和弦、旋律与时值，得到一份完整的ABC lead sheet。

unsetunset实验结果unsetunset

WildSongBench整曲生成（192条提示）

对比前代YuE1的4.9165，YuE2单次采样直接抬升约1.82，且3.58B参数比八个公开基线里的六个都小。两项不用来选candidate的指标更能说明问题：AudioBox PQ上YuE2的8.2598与8.2714超过全部已评测专有系统；文本对齐Q3O同样最高。

横轴为歌曲质量指数、纵轴为文本对齐指数，气泡面积为制作质量；YuE2与YuE2（Bo8）落在观测Pareto前沿上。

专家盲听

• 对Suno v4.5：YuE2（best-of-8）整体偏好**57.3%对30.5%**；
• 对Suno v5：**40.4%对39.9%**，接近持平；
• 对Suno v6：**31.6%对59.3%**，Suno v6占优；
• 音频质量是明显长板：对六个专有系统的平均tie-adjusted偏好**58.9%**（CR1 95% CI 55.6–62.2%）。

符号规划到底有没有用（同一checkpoint消融）

同一个checkpoint、同一批提示、同样的采样预算和解码器，只切换是否带谱。乐谱与音频的一致性也验证了「谱真的被执行」：旋律序列相关性0.9464、tempo准确率0.9869；换成错配乐谱后旋律相关性掉到0.2160。

下游能力

• 乐谱编辑（改完后重渲染）：旋律音高准确率84.17、和弦一致率79.54、tempo 95.68；未编辑内容的保持度在90–94%区间；
• 零样本翻唱（SHS100K，948首×2风格×2种子）：YuE2全谱条件下CLEWS mAP 0.647、Hit@1 71.3%，高于SongEcho（0.419/48.4%）与ACE-Step 1.5（0.024/2.4%），且没有用任何原唱–翻唱配对数据训练；
• MERT2在MARBLE基准15项指标中14项刷新SOTA，GTZAN流派准确率91.72（此前最佳86.9）；
• SheetSage2-AR在15组基准–指标配对中12组领先，osu2017下拍F1 92.90、和弦大小调准确率90.08。

unsetunset局限与未来方向unsetunset

首先，单次采样还不是第一。YuE2单次的6.7316低于Suno v5的6.8721和Mureka 9的6.9377，best-of-8才反超——而best-of-8意味着8倍推理开销，实际部署要么接受这个成本，要么接受单次水平的质量。

其次，专家盲听对Suno v6是明显劣势（31.6%对59.3%），尽管YuE2（best-of-8）在SongBench Avg上更高。自动指标与人类偏好在这组对比上方向相反，说明SongBench这类自动评测并不能完全替代真实听感。

此外，人声咬字仍有差距：YuE2的PER为8.44%，高于MiniMax Music 3的6.27%和Suno v4.5的5.80%；SongEval维度上YuE2（best-of-8）也排在HeartMuLa之后。歌词准确性如果要做中文歌曲，值得单独验证。

还有一点工程上的细节：官方明确说明YuE2-Vae-legacy在benchmark的音乐性分数更高，YuE2-Vae的感知音质更好，复现论文数字必须换legacy VAE，日常使用推荐默认VAE——同一个模型两套解码器口径不同，引用数字时要注明用的是哪一套。

unsetunset结论unsetunset

YuE2验证了一件事：把composition从黑盒里拿出来做成显式的、可编辑的乐谱，不只换来可控性，也带来了可测量的质量收益——同一checkpoint下有规划比无规划在整体质量上多拿到约15个百分点的专家偏好。

对于做音乐创作的个人用户，权重可以直接下载，单张24GB卡就能本地出48kHz立体声，建议从默认的cot="full"模式起步，翻唱场景再切到cot="melody"；对于算法研究者，MERT2与SheetSage2这两条「从录音造监督信号」的路径可能比主模型本身更有参考价值，14/15与12/15的SOTA成绩是独立可用的；对于打算接入产品的开发者，vLLM方案在H800上能跑到约340首/小时，但得先算清best-of-8的8倍推理成本。

音乐生成的下一阶段，可能不再是把音频做得更像成品，而是把「这首歌是怎么写的」重新交回到创作者手里。