四位感知专家分别提供指导，一个学生模型完成生成。MosaicAudio 通过多教师在策略蒸馏，整合语义、同步、审美与空间四个维度的反馈，推理时无需调用教师模型。
画面里，一只杯子落在桌上。配音模型可能已经选对了玻璃碰撞声，但声音比接触动作晚了一拍；把声音修得更平滑，又可能削弱落桌瞬间的清脆感。如果杯子位于画面左侧，声音还需要有相应的立体声位置。
这些要求最终落在同一段波形上。视频配音的难点，不只是生成与画面相关的声音，还要让声音的内容、发生时刻、听感和空间位置同时贴合画面。
针对这一问题，我们提出 MosaicAudio，相关成果已被 EMNLP 2026 主会录用。该方法将四个感知维度分别交给专门的教师模型，再通过多教师在策略蒸馏（Multi-Teacher On-Policy Distillation），把不同专家的能力整合到一个学生生成器中。在 VGGSound 与域外 AudioCanvas 测试集上，MosaicAudio 在所比较的 V2A 系统中取得领先的四维感知表现，并获得更高的人工音视频一致性评分。
▎视频配音为什么需要更细的训练反馈
视频到音频生成（Video-to-Audio，V2A）要回答四类问题。语义决定“发出什么声音”，时序决定“什么时候响”，审美关注“听起来是否自然”，空间则关注“声音从哪里来”。这些维度相互关联，有时也会产生局部冲突。例如，增强瞬态有助于突出碰撞时刻，但过度强调又可能破坏听感；调整左右声道以改善定位，也可能影响音色。
已有工作不断增强模型的理解与控制能力。ThinkSound 引入思维链规划，让模型先推理画面中的声音事件，再进行生成；PrismAudio 进一步采用四维规划和多维奖励，通过强化学习优化生成结果。MosaicAudio 沿用 PrismAudio 的四维规划接口，把研究重点放在后训练阶段：如何让不同目标的反馈更准确地指导生成过程。
在聚合标量奖励的训练方式中，模型先生成完整音频，再将多个维度的评价压缩成一个总分。这个分数可以反映整体评价的变化，却难以说明问题来自哪个感知维度，以及应当修改哪个中间生成状态。同一个总分背后，可能是语义进步、同步退步，也可能恰好相反。
MosaicAudio 的核心思路，是让反馈保留感知维度，并深入学生自身的生成轨迹。教师提供的是当前状态下的局部生成方向，而不只是对最终成品的一次打分。
▎四位专家如何教会同一个生成器
整个方法分为专家培养与学生整合两个阶段。四维思维链仍作为生成条件；规划器在后训练期间保持冻结，核心更新发生在音频生成器上。
先让教师在各自维度上形成专长
我们从同一个冷启动生成器出发，训练语义、时序、审美和空间四位专家。它们分别使用MS-CLAP、Synchformer、Audiobox-Aesthetics与StereoCRW 提供的奖励，沿单一维度进行对齐。教师训练基于 flow-GRPO，并通过随机去噪窗口，将随机探索与策略更新集中在部分采样步骤。
教师模型与奖励模型承担不同角色：奖励模型负责评价；教师模型经过单维奖励对齐，能够在音频潜变量空间中给出生成方向。四位教师共享生成器结构、潜空间和完整四维规划接口，各自专长来自对齐目标，而非换用不同的输入任务。
（图 1：MosaicAudio 的后训练与部署流程。学生在自身轨迹上接受单轴专家指导，同时由冻结的感知锚点约束。路由按 mini-batch 均衡轮换，不是按视频内容将样本分配给不同任务）
在学生真正走到的状态上提供指导
如果只让学生模仿教师预先生成的音频，可能遗漏学生自己的错误：学生一旦在中途走偏，后续状态就不一定出现在离线教师数据中。在策略蒸馏（on-policy distillation）的做法，是让学生先沿自己的当前策略生成轨迹，再请教师评价它实际访问的状态。
对于流匹配生成器，速度场描述的是潜变量在当前时刻应如何变化，并不是声音的播放速度。MosaicAudio 在采样窗口内，将学生速度场与当前专家的速度场进行比较。在共享采样参数的条件下，二者转移分布的 KL 差异可以写成带时间权重的速度场距离，进而构成密集的局部反馈。学生更新仍采用分组中心化和裁剪的在策略目标，并非直接对一批离线教师音频做回归。
每个小批次只接受一位专家的轴向指导
一段视频通常同时需要满足四种感知要求，因此不能简单地把不同视频分给不同专家。MosaicAudio 采用均衡循环路由：每个 mini-batch 激活一个感知维度，再依次轮换语义、时序、审美和空间专家。
这样，学生在当前更新中接受清晰的单轴目标，避免直接平均彼此可能冲突的教师速度场；经过持续轮换，同一个学生逐步整合所有维度的能力。推理时，学生使用与训练一致的、不带专家轴标签的完整规划，不需要再选择或调用教师。
用感知锚点守住音频质量
某个自动评分变高，不一定意味着声音整体更自然。为防止学生过度追逐代理指标， MosaicAudio 额外保留一个冻结的感知锚点：它来自高质量的冷启动生成器，并在采样状态上约束学生的速度场偏移。
专家负责推动各维度改进，锚点负责限制偏离原有音频先验的程度。两者共同参与学生训练；四位专家、锚点与奖励模型都不参与最终学生生成器的推理。
（图 1：MosaicAudio 的后训练与部署流程。学生在自身轨迹上接受单轴专家指导，同时由冻结的感知锚点约束。路由按 mini-batch 均衡轮换，不是按视频内容将样本分配给不同任务）
在学生真正走到的状态上提供指导
如果只让学生模仿教师预先生成的音频，可能遗漏学生自己的错误：学生一旦在中途走偏，后续状态就不一定出现在离线教师数据中。在策略蒸馏（on-policy distillation）的做法，是让学生先沿自己的当前策略生成轨迹，再请教师评价它实际访问的状态。
对于流匹配生成器，速度场描述的是潜变量在当前时刻应如何变化，并不是声音的播放速度。MosaicAudio 在采样窗口内，将学生速度场与当前专家的速度场进行比较。在共享采样参数的条件下，二者转移分布的 KL 差异可以写成带时间权重的速度场距离，进而构成密集的局部反馈。学生更新仍采用分组中心化和裁剪的在策略目标，并非直接对一批离线教师音频做回归。
每个小批次只接受一位专家的轴向指导
一段视频通常同时需要满足四种感知要求，因此不能简单地把不同视频分给不同专家。MosaicAudio 采用均衡循环路由：每个 mini-batch 激活一个感知维度，再依次轮换语义、时序、审美和空间专家。
这样，学生在当前更新中接受清晰的单轴目标，避免直接平均彼此可能冲突的教师速度场；经过持续轮换，同一个学生逐步整合所有维度的能力。推理时，学生使用与训练一致的、不带专家轴标签的完整规划，不需要再选择或调用教师。
用感知锚点守住音频质量
某个自动评分变高，不一定意味着声音整体更自然。为防止学生过度追逐代理指标， MosaicAudio 额外保留一个冻结的感知锚点：它来自高质量的冷启动生成器，并在采样状态上约束学生的速度场偏移。
专家负责推动各维度改进，锚点负责限制偏离原有音频先验的程度。两者共同参与学生训练；四位专家、锚点与奖励模型都不参与最终学生生成器的推理。
▎两套测试集上的四维提升
我们在域内 VGGSound 和域外 AudioCanvas 上进行评估。AudioCanvas 由 PrismAudio 引入，我们仅将其用于测试，其视频及源视频均不进入训练或标注数据。测试覆盖自动感知指标与人工评分，以同时考察生成质量和跨分布表现。
相对相同的冷启动生成器，MosaicAudio 在 AudioCanvas 上的语义 CLAP 提高 31.0%，同步误差 DeSync 降低 20.5%，审美 CE 提高 14.4%，空间误差 CRW 降低 20.3%。这些百分比对应后训练前后的比较，而非相对 PrismAudio 的提升。
（图 2：AudioCanvas 上相对冷启动生成器的变化。CLAP 与 CE 为相对增长；DeSync 与 CRW 为相对误差下降，四个方向均表示改善。百分比均相对同一冷启动生成器计算）
（图 2：AudioCanvas 上相对冷启动生成器的变化。CLAP 与 CE 为相对增长；DeSync 与 CRW 为相对误差下降，四个方向均表示改善。百分比均相对同一冷启动生成器计算）
与已经经过多奖励强化学习对齐的 PrismAudio 相比，MosaicAudio 也在两套测试集的四维主指标与人工音视频一致性评分上进一步提升。两者使用相同的四维规划接口，表 1 展示了直接对比。
（表 1：PrismAudio 与 MosaicAudio 的评测结果对比）
（表 1：PrismAudio 与 MosaicAudio 的评测结果对比）
复杂多事件场景更能体现这种局部指导的价值。在 AudioCanvas 多事件子集上，相比 PrismAudio，CLAP 从 0.50 升至 0.53，DeSync 从 0.39 降至 0.37，CRW 从 13.50 降至 12.60。当多个事件的身份、发生时刻与空间关系同时需要对齐时，模型需要处理的纠正需求也更加复杂，单一总分难以充分表达这些差异。
人工评价也支持这一趋势。AudioCanvas 上的音视频一致性评分 MOS-C 从 PrismAudio 的 4.01 升至 4.13。我们采用 5 分制进行人工评价，每套测试集抽取 80 段视频，每段由多位评价者在隐藏系统身份的条件下评分。评价者结合画面聆听音频，对语义、同步与立体声位置的一致性进行判断。
▎消融实验解释了提升从何而来
为检验提升是否来自训练方式，我们从相同冷启动出发，对标量多奖励 RL 与 MosaicAudio 进行控制比较，使用相同的四类奖励、rollout 预算和更新步数等设置。完整方法取得更好的综合表现；改为离线蒸馏，或直接平均四位教师的速度场，都会落后于在策略的单轴路由整合。
锚点的作用尤其直观。移除锚点后，自动生产质量评分 PQ 从完整模型的 6.75 升至 7.00，但分布距离 FD 从 1.85 恶化至 3.50。一个代理分数更高，并不代表整体生成质量更好。保留锚点可以缓解这种过度优化。
逐个移除教师的实验则显示，缺少哪一维的监督，对应指标就受到最明显的影响。四位教师因此提供了互补的信息，而学生需要通过合适的路由与质量约束来吸收这些信息。
▎训练时汇集专家能力，推理时保留单个学生
MosaicAudio 的学生音频生成器仍为 518M 参数，采用 25 步采样。在我们的测试设置下，单张 A800 生成一段 9 秒立体声音频约需 0.6 秒，与冷启动生成器使用相同的架构和采样步数。这里的参数量和耗时口径针对音频生成器，不应理解为包含视频理解与规划等环节的完整系统成本。
MosaicAudio 表明，视频配音的后训练可以把多个感知目标转化为学生自身生成轨迹上的局部监督，再将专家能力保留在一个生成器中。在我们的评估中，这种方式同时改善了四个感知维度，推理时无需额外调用教师模型。其效果仍依赖教师与代理评价的可靠性；对于重叠事件、弱视觉起始线索或模糊运动，模型仍可能出现错误。
相关文献参考：
[1] Huadai Liu, Peiwen Sun, Qian Chen, Wen Wang, Bin Ma, Xiangang Li, Wei Xue. MosaicAudio: Multi-Teacher On-Policy Distillation for Controllable Video-to-Audio Generation. EMNLP, 2026.
[2] Huadai Liu, Kaicheng Luo, Jialei Wang, Wen Wang, Qian Chen, Zhou Zhao, Wei Xue. ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models for Audio Generation and Editing. NeurIPS, 2025. arXiv:2506.21448.
[3] Huadai Liu, Kaicheng Luo, Wen Wang, Qian Chen, Peiwen Sun, Rongjie Huang, Xiangang Li, Jieping Ye, Wei Xue. PrismAudio: Decomposed Chain-of-Thoughts and Multi-dimensional Rewards for Video-to-Audio Generation. ICLR, 2026. arXiv:2511.18833.
[4] Benjamin Elizalde, Soham Deshmukh, Huaming Wang. Natural Language Supervision for General-Purpose Audio Representations. ICASSP, 2024. arXiv:2309.05767.
[5] Vladimir Iashin, Weidi Xie, Esa Rahtu, Andrew Zisserman. Synchformer: Efficient Synchronization from Sparse Cues. ICASSP, 2024. arXiv:2401.16423.
[6] Andros Tjandra, Yi-Chiao Wu, Baishan Guo, et al. Meta Audiobox Aesthetics: Unified Automatic Quality Assessment for Speech, Music, and Sound. arXiv:2502.05139, 2025.
[7] Ziyang Chen, David F. Fouhey, Andrew Owens. Sound Localization by Self-Supervised Time Delay Estimation. ECCV, 2022. arXiv:2204.12489.
[8] Jie Liu, Gongye Liu, Jiajun Liang, et al. Flow-GRPO: Training Flow Matching Models via Online RL. arXiv:2505.05470, 2025.
[9] Kevin Lu, in collaboration with Thinking Machines Lab. On-Policy Distillation. Thinking Machines Lab, 2025.
[10] Zhen Fang, Wenxuan Huang, Yu Zeng, et al. Flow-OPD: On-Policy Distillation for Flow Matching Models. arXiv:2605.08063, 2026.
往期推荐
Recommend
▎训练时汇集专家能力，推理时保留单个学生
MosaicAudio 的学生音频生成器仍为 518M 参数，采用 25 步采样。在我们的测试设置下，单张 A800 生成一段 9 秒立体声音频约需 0.6 秒，与冷启动生成器使用相同的架构和采样步数。这里的参数量和耗时口径针对音频生成器，不应理解为包含视频理解与规划等环节的完整系统成本。
MosaicAudio 表明，视频配音的后训练可以把多个感知目标转化为学生自身生成轨迹上的局部监督，再将专家能力保留在一个生成器中。在我们的评估中，这种方式同时改善了四个感知维度，推理时无需额外调用教师模型。其效果仍依赖教师与代理评价的可靠性；对于重叠事件、弱视觉起始线索或模糊运动，模型仍可能出现错误。
相关文献参考：
[1] Huadai Liu, Peiwen Sun, Qian Chen, Wen Wang, Bin Ma, Xiangang Li, Wei Xue. MosaicAudio: Multi-Teacher On-Policy Distillation for Controllable Video-to-Audio Generation. EMNLP, 2026.
[2] Huadai Liu, Kaicheng Luo, Jialei Wang, Wen Wang, Qian Chen, Zhou Zhao, Wei Xue. ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models for Audio Generation and Editing. NeurIPS, 2025. arXiv:2506.21448.
[3] Huadai Liu, Kaicheng Luo, Wen Wang, Qian Chen, Peiwen Sun, Rongjie Huang, Xiangang Li, Jieping Ye, Wei Xue. PrismAudio: Decomposed Chain-of-Thoughts and Multi-dimensional Rewards for Video-to-Audio Generation. ICLR, 2026. arXiv:2511.18833.
[4] Benjamin Elizalde, Soham Deshmukh, Huaming Wang. Natural Language Supervision for General-Purpose Audio Representations. ICASSP, 2024. arXiv:2309.05767.
[5] Vladimir Iashin, Weidi Xie, Esa Rahtu, Andrew Zisserman. Synchformer: Efficient Synchronization from Sparse Cues. ICASSP, 2024. arXiv:2401.16423.
[6] Andros Tjandra, Yi-Chiao Wu, Baishan Guo, et al. Meta Audiobox Aesthetics: Unified Automatic Quality Assessment for Speech, Music, and Sound. arXiv:2502.05139, 2025.
[7] Ziyang Chen, David F. Fouhey, Andrew Owens. Sound Localization by Self-Supervised Time Delay Estimation. ECCV, 2022. arXiv:2204.12489.
[8] Jie Liu, Gongye Liu, Jiajun Liang, et al. Flow-GRPO: Training Flow Matching Models via Online RL. arXiv:2505.05470, 2025.
[9] Kevin Lu, in collaboration with Thinking Machines Lab. On-Policy Distillation. Thinking Machines Lab, 2025.
[10] Zhen Fang, Wenxuan Huang, Yu Zeng, et al. Flow-OPD: On-Policy Distillation for Flow Matching Models. arXiv:2605.08063, 2026.
