随着内容创作需求的持续升级，正推动多模态模型向音视频一体化生成演进，也催生了通过音视频联合后训练定制模型的需求。目前实际落地仍面临两方面挑战：一是视频与音频协同生成带来较高的计算压力。二是画面与声音等评价维度各有侧重，难以用单一指标确表达不同模态的优化需求。针对上述问题，昇腾以LTX-2.3为基座，引入OmniNFT方法，其音视频生成质量得以提升31%。相关方案已在互联网客户线上模型中落地，并合入verl-omni开源仓库，欢迎各开发者试用。
多模态内容生成正在从分别生成视频和音频，走向在同一模型中协同生成画面与声音。对于内容生产业务，衡量生成效果的标准因此扩展到完整的视听体验，包括画面是否自然、声音是否贴合场景，以及动作与声响能否对应。
将通用生成能力用于具体业务，还需要进一步对齐用户对画面、声音和内容表达的要求。预训练让模型学习大规模数据中的生成规律，后训练则利用质量、偏好与同步评价，继续优化已有模型。行业开展音视频联合后训练，正是为了在提升画面和声音各自质量的同时，兼顾文本意图与声画配合，缩小通用模型与实际创作需求之间的差距。
原生音视频联合建模便于同时优化画面、声音及其联系。要实现这一目标，需要进一步解决多目标耦合、评价反馈分配和在线训练资源开销等技术挑战。画面质量、音频听感和声画同步相互影响，单项指标改善并不意味着整体视听体验同步提升。同时，每轮在线训练都要生成多个候选、完成多维评分并更新模型，多类模型与训练状态带来的计算和内存压力，也增加了方案落地的难度。
OmniNFT是面向音视频联合生成的在线强化学习后训练方法，通过生成候选、评价结果和更新模型的循环，持续改进模型的生成表现。本实践选择它，主要考虑其对多模态评价差异的处理能力，以及训练更新方式对资源开销的改善。
音视频候选的表现往往并不一致。OmniNFT的模态优势路由能够保留这种差异，将视频质量与视觉偏好反馈用于视频目标，将音频听感反馈用于音频目标。这样，同一候选可以根据画面和声音各自的表现获得不同反馈。本次实践使用五类奖励，覆盖视频质量、视觉偏好、音频听感、音频与文本的一致性，以及声画同步。各项评价及其反馈对象见表1。
在训练效率方面，OmniNFT沿用DiffusionNFT的前向过程优化框架，对已评分的生成结果重新加噪并构建训练目标，无需为更新保存完整生成轨迹，有助于减少训练中的轨迹存储与传递负担。基于这些特点，本实践采用OmniNFT中的模态优势路由，结合前向过程更新，在开源模型LTX-2.3上开展音视频联合后训练。
表1 奖励模型
当两种视频和音频的评价方向不一致时，聚合后的反馈可能相互抵消。OmniNFT引入奖励到模态的路由映射，为视频和音频分别构建优化信号。对每个候选，设Aₖ为第k项奖励归一化后的优势，视频与音频优势分别为：
其中，上标v、a分别对应视频与音频，w表示奖励到模态的路由权重。
OmniNFT沿用DiffusionNFT的前向过程优化框架，从已评分的生成末态潜变量重新加噪并构造回归目标，损失计算无需保留完整生成轨迹。图1（a）展示了DiffusionNFT的核心更新机制。对同一加噪样本，当前模型与旧策略分别给出预测，再通过线性组合构造隐式正、负分支。
图1（a）：DiffusionNFT
OmniNFT将这一机制应用到视频与音频两路。如图1（b）所示，视频优势与音频优势分别映射为 rᵥ、rₐ，各自控制对应模态的正、负误差混合，再合并为联合训练目标。
图1（b）：OmniNFT
表2 训练配方
详细操作指导见开源链接：
https://github.com/verl-project/verl-omni/blob/main/examples/omninft_trainer/ltx2/README.md
多模型驻留带来的内存压力。生成模型、五类奖励模型与训练状态会在不同阶段占用设备内存。配方分别配置奖励模型放置与卸载，将生成结果转移至CPU，并及时释放临时捕获状态。训练直接复用生成末态潜变量，减少重复 VAE 编码，整体流程见图2。
图2： OmniNFT 在线训练流程
在训练中，五项训练奖励的平滑趋势整体向上，说明模型能够利用多维反馈改善对应的训练目标。
图3：训练奖励
图4：验证奖励
验证集上，VideoAlign、HPSv3和AudioBox总体提升，分别体现为视频质量与文本一致性的组合评分、视觉偏好评分和音频美学评分的改善。从第0步到第150步，五项奖励指标的相对增幅平均为31%。
本次实践将OmniNFT模态优势路由应用于LTX-2.3，完成了音视频联合RL训练。方法上的关键是保留不同评价维度的反馈，并将其分配到对应的模态目标，使模型能够针对音视频表现的差异进行优化。
verl-omni开源仓库相关代码：https://github.com/verl-project/verl-omni/pull/750，欢迎各开发者关注并共建。
