大数跨境

实时字幕如何做到只追加、不回改?网易有道 R2T2 论文解读

实时字幕如何做到只追加、不回改?网易有道 R2T2 论文解读 AI TIME 论道
2026-11-09
28
导读:让语音识别学会何时输出 何时等待


本文作者|网易有道AI团队

本文编辑|马菁宜


R2T2 技术报告

  • 报告题目:Confucius4-R2T2: A Stable-Prefix Streaming ASR Model for Real Real-Time Transcription

  • 研究团队:网易有道

  • 模型权重:https://huggingface.co/netease-youdao/Confucius4-R2T2

  • 报告链接:https://arxiv.org/abs/2611.06043

让语音识别学会何时输出、何时等待

在实时字幕、同声传译和语音智能体应用中,语音识别系统的输出时机直接影响用户体验。输出过早可能导致信息不足产生误判,等待过久则降低响应速度;若频繁修正已输出内容,会导致字幕跳动及下游任务重算。

网易有道提出的 Confucius4-R2T2(Real Real-Time Transcription)将“提交时机”纳入模型学习范畴。该模型根据已接收音频输出可提交的文本前缀,并在需要更多上下文时选择等待。其核心特性是对外提交的文字仅做追加,不再修改或删除,从而保证输出的稳定性。

该技术以 Qwen3-ASR-1.7B 为基础,通过冻结预训练音频编码器和投影层,利用最长稳定前缀监督、显式等待行为及两阶段后训练,实现了识别质量与输出及时性的平衡。

在13个中英文测试集上,R2T2的质量优先配置将综合平均错误率从基础模型的21.01%降至5.76%,接近完整音频识别的5.1水平。该方案的核心在于保留完整音频模型能力的同时,使其学会在声音持续输入过程中逐步提交可靠文本。

一 实时识别中的输出稳定性

离线ASR可利用完整上下文确定转写内容,而流式ASR仅能依据当前接收的声音进行判断。以“I have two cats”为例,随着音频输入,中间结果可能在“to”和“too”之间波动,直到后续上下文确认“two”。对于下游系统而言,不稳定的中间输出可能触发错误的翻译或工具调用。

R2T2对稳定输出提出明确要求:任意时刻对外发布的文本必须以此前发布文本为前缀。即已提交文本只能延长,不可回改。这种稳定性是识别器与解码策略共同满足的行为约束。

稳定性需与准确率、延迟区分。单纯等待整句结束虽稳定但不及时,过早提交错误内容虽不回改但损害准确率。R2T2旨在稳定输出约束下,同步提升识别质量并减少等待时间。

二 用 LSP 构造提交边界监督

常规ASR数据缺乏“听到何时可提交何处”的直接标注。R2T2提出最长稳定前缀(Longest Stable Prefix, LSP)定义用于训练。通过让基础模型识别完整音频得到整句输出,再逐步输入不同长度音频前缀,记录每次识别结果。LSP定义为此前所有识别结果中,与完整音频输出开头一致且长度最长的一条。

关键点在于:比较基准是同一模型听完整段音频后的输出,而非人工答案;候选必须是模型实际生成过的完整结果。LSP标签具有随时间推进不缩短、最终收敛至完整输出等性质。

实际标注以80ms为间隔,记录模型输出与LSP相等且保持不变的连续区间。训练中,落在区间内的样本学习稳定前缀转写,落在间隙的样本则在LSP后附加显式WAIT标记,表示结束当前轮次生成,等待新音频。由此,模型同时学习“输出什么”和“何时停止”。

图2:稳定前缀区间的构造。蓝色表示与稳定前缀一致的结果,橙色表示需等待更多上下文的不确定续写。

此外,引入流式适配潜力(streamability)指标,通过归一化曲线下面积概括LSP长度随音频输入的增长特征。Qwen3-ASR-1.7B在该指标上表现最佳,证实了其作为基础模型的适宜性。

图1:不同模型的流式适配潜力比较。

三 两阶段后训练

R2T2使用约1,500小时自有中英文语音进行后训练,共60万条样本。两个阶段均冻结音频编码器和投影层,仅更新语言解码器参数,不增加额外预测头。

第一阶段:监督微调(SFT)

通过交叉熵损失学习LSP转写与WAIT行为。训练中混合使用完整音频和前缀截断音频,编码器注意力窗口在1至8秒间变化,使模型在不同上下文条件下学习提交决策。

第二阶段:GRPO强化学习

从SFT模型出发,采样多轮流式更新轨迹进行比较。奖励函数包含字符级准确性、编辑距离、长度、重复、语言一致性、尾部冗余、局部词匹配及WAIT标记位置等八个部分,旨在约束重复生成和无依据续 behavior。

训练还采用噪声混合、混响及部分语言标签翻转增强鲁棒性,帮助模型在复杂声学条件下依赖有效声音抑制无效生成。

四 高频更新下的推理优化

为控制推理成本,R2T2从四个方面优化:

  1. 缓存已完成音频窗口:编码器使用不重叠的8秒窗口,已完成窗口复用编码结果,仅重新编码活动窗口。
  2. 复用KV Cache:解码器复用固定提示词开头和已完成音频窗口的KV Cache,但活动音频后的提示词与保留文本需重新预填充。
  3. WAIT终止机制:若预填充后首个预测为WAIT,则跳过逐token解码;否则继续生成直至遇到WAIT或结束标记。
  4. 限制历史上下文:保留最近一个已完成窗口和当前活动窗口,限制音频上下文最多16秒,并按提交时间移除旧文本。

此外,允许设置暂定token数量U。U=1时将最后一个token暂留内部,下一次更新通过预填充验证,减少重复生成。两种配置对外均只发布已提交文本,确保已发布文字不变。

图3:R2T2的窗口缓存与解码流程。

五 稳定输出下的识别质量

主实验覆盖8个英文和5个中文测试集,场景包括朗读、会议、演讲等。英文采用WER,中文采用C评估。

在160ms音频块、U=1(质量优先)配置下,R2T2综合平均错误率为5.76%,较基础模型同配置的21.01%相对下降约72.6%,且在全部13个测试集上均优于基础模型。该结果接近基础模型完整音频识别的5.15%,显著缩小了流式与离线识别的质量差距。

在纳入排名的配置中,R2T2的表现低于所评测的三款商业API。尽管部分商业系统在某些单项测试中仍有优势,但R2T2展现了强大的综合性能。

跨语言迁移方面,尽管仅使用中英文后训练,R2T2在另外10种语言、18个测试集上的错误率由30.75%降至8.40%,证明了流式识别改进的可迁移性。

图5主要流式配置的错误率与延迟比较。

六 如何理解输出延迟

输出延迟定义为:对应输出前缀首次永久稳定时的音频时间减去该词字的参考声学结束时间。

在160ms音频块下,保留一个内部暂定token(U=1)可改善质量但增加等待。采用80ms、U=0配置时,中英文平均回溯性输出延迟均低于0.5秒,代价是错误率上升。应用可根据需求调整配置。

图6:不同配置下识别错误率和回溯性输出延迟的关系。

需注意,该延迟指标沿音频时间轴计算,不包含模型执行、网络传输等时间,不能直接视为端到端响应时间。WAIT仅表示当前轮次暂停,说话结束判断属于独立运行时处理。

七 对实时语音系统的启发

R2T2将“何时提交”转化为可学习任务,为完整音频模型向实时应用迁移提供了路径。对于实时字幕,只追加文本减少干扰;对于同声传译,提供稳定输入;对于语音智能体,支持提前开始后续处理。

该工作通过LSP标签定义、监督数据构造、显式等待、两阶段后训练与推理优化,实现了兼顾质量与及时性的稳定增量语音识别,并为跨语言迁移提供了开源方案。

【声明】内容源于网络
0
0
AI TIME 论道
AI TIME是一群关注人工智能发展,并有思想情怀的青年学者创办的圈子,旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索,链接全球AI学者,以辩论的形式探讨人工智能领域的未来
内容 2212
粉丝 1
AI TIME 论道 AI TIME是一群关注人工智能发展,并有思想情怀的青年学者创办的圈子,旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索,链接全球AI学者,以辩论的形式探讨人工智能领域的未来
总阅读70.1k
粉丝1
内容2.2k