“阿妈煮嘅叉烧饭我食咗两碗。”一句脱口而出的家乡话,到了语音识别系统里,还能保留原来的表达吗?
再换一段日语口述,或一句夹着金融术语的韩语。对人来说,是换了语言和话题;对模型来说,却要同时跨过发音、词汇和书写习惯的差异。听清普通话,只是开始。
Qwen-Audio-3.1-ASR 支持 30 种语言、16 种中文方言。但比覆盖数量更值得追问的是:换种语言、换个口音,识别质量如何跟上?本系列的第一篇,我们从评测结果和原声样例出发,结合主模型的架构、数据与训练设计,看看这些识别能力是怎样形成的。本篇重点介绍中英文、多语言、方言识别,以及如何用指令控制输出。其他能力将在后续篇章展开。
语言列表可以很长,真正的考验在每一句话里。
(图 1:Qwen-Audio-3.1-ASR 能力总览)
(图 1:Qwen-Audio-3.1-ASR 能力总览)
▎先看成绩单:多语言识别,进步体现在哪里?
先从最常用的中英文识别说起。在通过各系统 API、采用统一流程进行的评测中,Qwen-Audio-3.1-ASR 在七个测试集中的四项取得参与比较系统中的最低错误率,覆盖中文、英文以及不同难度的测试。
(图 2:中英文语音识别表现。图中展示 Qwen-Audio-3.1-ASR 在统一 API 评测中取得最低错误率的四项结果,并与各项表现最好的其他系统对比。错误率越低越好)
(图 2:中英文语音识别表现。图中展示 Qwen-Audio-3.1-ASR 在统一 API 评测中取得最低错误率的四项结果,并与各项表现最好的其他系统对比。错误率越低越好)
图中的 CER 是字错误率,WER 是词错误率,分别按字和词统计识别错误,都是越低越好。与 Qwen-Audio-3.0-ASR 相比,通用中英文识别整体接近,各测试集有升有降;这次更亮眼的变化,出现在多语言识别。
在 GigaSpeechBench 的七种语言测试中,先分别计算每种语言的错误率,再取平均,结果从 Qwen-Audio-3.0-ASR 的 22.50% 降至 15.09%,相对降低 32.9%。七种语言的错误率均低于上一版本,并分别取得这组参评系统中的最低值。
(图 3:三组多语言识别测试结果。各组分别计算每种语言的错误率后取平均,图中列出了每组所测的语言)
这七种语言包括印尼语、日语、泰语、菲律宾语、越南语、韩语和马来语。其中,日语字错误率从 28.48% 降至 18.47%,泰语字错误率从 16.22% 降至 7.75%,马来语词错误率从 34.65% 降至 25.04%。进步覆盖了这组测试中的全部七种语言。
在另外两组测试中,也能看到变化。Common Voice 15 的八种语言测试中,按语言分别计算后取平均,错误率为 3.74%,在具有完整测试结果的参评系统中最低。FLEURS 的九种语言测试中,按相同方式计算的平均错误率从 Qwen-Audio-3.0-ASR 的 4.94% 降至 3.85%,但不是这组系统中的最佳成绩。不同语言、不同录音条件下,各系统的表现仍有差异。
这些识别能力是怎样训练出来的?接下来,我们从成绩单走进模型内部,看看架构与训练设计。
▎拆开模型:一句话,是怎样变成文字的?
一句话变成文字,要经过三个主要环节:音频编码器提取声音特征,音频适配器把这些特征转换成语言模型能接收的形式,语言模型解码器再生成文字。这三个环节组成了 Qwen-Audio-3.1-ASR 的主模型。
音频编码器首先从录音中提取发音等声学信息。音频适配器再将声音特征转换成语言模型可以接收的形式,让语言模型能够同时接收声音特征和用户的文字指令。这里的转换发生在模型内部,并不是先把录音写成文字。
语言模型解码器生成文字时,会持续参考声音特征、任务指令、补充信息,以及前面已经生成的内容。文字按 token 逐步生成;token 是模型处理文字的基本单位,可以是一个字,也可以是词的一部分。遇到同音词或专业名词时,模型既能参考发音,也能利用前后文和话题线索;只接收转写文本的后处理模型,则无法直接回到声音中核对。
用户还可以明确告诉模型“怎么记”:用什么语言输出、参考哪些历史转写、重点关注哪些词。这些信息会参与识别过程。历史转写帮助模型了解反复出现的术语和话题;热词列表提示可能出现的词,并可设置不同优先级。同一段方言,也可以按指令选择保留原话,或转成普通话文字。
模型还有一条辅助识别路径,称为 CTC。它从声音特征中给出初步文字,以及文字大致对应的音频位置,帮助模型使用热词和长录音中的历史信息。最终结果仍由语言模型结合声音和文字提示生成,不必照搬初步识别结果。 下方的模型架构图尚未画出这条 CTC 辅助路径。
(图 4:Qwen-Audio-3.1-ASR 模型架构。声音、任务指令、历史转写和热词共同参与识别。图中也展示了其他任务)
声音提供依据,语言知识帮助组织文字,指令决定输出目标。
这些提示的作用也有边界:它们可以帮助分清歧义,但不能代替录音本身。训练需要让模型既会利用有效提示,也能应对错误或无关提示,而不是把“读起来更合理”当成“录音里确实说过”。
▎不只多听,更要听得均衡、学得扎实
第一步,训练音频编码器,学会提取声音信息。
音频编码器借用了预训练语言模型 Qwen3 中结构兼容的 Transformer 网络层,作为训练起点。对于非流式识别,编码器可以同时参考前后两侧的声音,而不只看之前的内容;直接处理声音输入的部分则单独初始化。借用已有网络权重只是起点,识别声音的能力仍要通过语音训练建立。
随后,编码器先做“遮住一段声音,再根据前后文预测”的练习。这种自监督方法叫 BEST-RQ:它用一套固定的随机规则把声音特征转换成离散编号,训练模型预测被遮住位置的编号,无需每段录音都有人工转写。接着进入 AED 监督训练,用配对的录音和文字,训练解码器读取声音特征、逐步生成参考转写。完成这两个阶段后,只保留训练好的编码器,配套的 AED 解码器不进入主模型。
(图 5:音频编码器的训练流程先从无转写的声音中学习,再用录音与文字配对训练。训练好的编码器用于初始化 Qwen-Audio-3.1-ASR 的音频编码器)
(图 3:三组多语言识别测试结果。各组分别计算每种语言的错误率后取平均,图中列出了每组所测的语言)
这七种语言包括印尼语、日语、泰语、菲律宾语、越南语、韩语和马来语。其中,日语字错误率从 28.48% 降至 18.47%,泰语字错误率从 16.22% 降至 7.75%,马来语词错误率从 34.65% 降至 25.04%。进步覆盖了这组测试中的全部七种语言。
在另外两组测试中,也能看到变化。Common Voice 15 的八种语言测试中,按语言分别计算后取平均,错误率为 3.74%,在具有完整测试结果的参评系统中最低。FLEURS 的九种语言测试中,按相同方式计算的平均错误率从 Qwen-Audio-3.0-ASR 的 4.94% 降至 3.85%,但不是这组系统中的最佳成绩。不同语言、不同录音条件下,各系统的表现仍有差异。
这些识别能力是怎样训练出来的?接下来,我们从成绩单走进模型内部,看看架构与训练设计。
▎拆开模型:一句话,是怎样变成文字的?
一句话变成文字,要经过三个主要环节:音频编码器提取声音特征,音频适配器把这些特征转换成语言模型能接收的形式,语言模型解码器再生成文字。这三个环节组成了 Qwen-Audio-3.1-ASR 的主模型。
音频编码器首先从录音中提取发音等声学信息。音频适配器再将声音特征转换成语言模型可以接收的形式,让语言模型能够同时接收声音特征和用户的文字指令。这里的转换发生在模型内部,并不是先把录音写成文字。
语言模型解码器生成文字时,会持续参考声音特征、任务指令、补充信息,以及前面已经生成的内容。文字按 token 逐步生成;token 是模型处理文字的基本单位,可以是一个字,也可以是词的一部分。遇到同音词或专业名词时,模型既能参考发音,也能利用前后文和话题线索;只接收转写文本的后处理模型,则无法直接回到声音中核对。
用户还可以明确告诉模型“怎么记”:用什么语言输出、参考哪些历史转写、重点关注哪些词。这些信息会参与识别过程。历史转写帮助模型了解反复出现的术语和话题;热词列表提示可能出现的词,并可设置不同优先级。同一段方言,也可以按指令选择保留原话,或转成普通话文字。
模型还有一条辅助识别路径,称为 CTC。它从声音特征中给出初步文字,以及文字大致对应的音频位置,帮助模型使用热词和长录音中的历史信息。最终结果仍由语言模型结合声音和文字提示生成,不必照搬初步识别结果。 下方的模型架构图尚未画出这条 CTC 辅助路径。
(图 4:Qwen-Audio-3.1-ASR 模型架构。声音、任务指令、历史转写和热词共同参与识别。图中也展示了其他任务)
声音提供依据,语言知识帮助组织文字,指令决定输出目标。
这些提示的作用也有边界:它们可以帮助分清歧义,但不能代替录音本身。训练需要让模型既会利用有效提示,也能应对错误或无关提示,而不是把“读起来更合理”当成“录音里确实说过”。
▎不只多听,更要听得均衡、学得扎实
第一步,训练音频编码器,学会提取声音信息。
音频编码器借用了预训练语言模型 Qwen3 中结构兼容的 Transformer 网络层,作为训练起点。对于非流式识别,编码器可以同时参考前后两侧的声音,而不只看之前的内容;直接处理声音输入的部分则单独初始化。借用已有网络权重只是起点,识别声音的能力仍要通过语音训练建立。
随后,编码器先做“遮住一段声音,再根据前后文预测”的练习。这种自监督方法叫 BEST-RQ:它用一套固定的随机规则把声音特征转换成离散编号,训练模型预测被遮住位置的编号,无需每段录音都有人工转写。接着进入 AED 监督训练,用配对的录音和文字,训练解码器读取声音特征、逐步生成参考转写。完成这两个阶段后,只保留训练好的编码器,配套的 AED 解码器不进入主模型。
(图 5:音频编码器的训练流程先从无转写的声音中学习,再用录音与文字配对训练。训练好的编码器用于初始化 Qwen-Audio-3.1-ASR 的音频编码器)
(图 4:Qwen-Audio-3.1-ASR 模型架构。声音、任务指令、历史转写和热词共同参与识别。图中也展示了其他任务)
声音提供依据,语言知识帮助组织文字,指令决定输出目标。
这些提示的作用也有边界:它们可以帮助分清歧义,但不能代替录音本身。训练需要让模型既会利用有效提示,也能应对错误或无关提示,而不是把“读起来更合理”当成“录音里确实说过”。
▎不只多听,更要听得均衡、学得扎实
第一步,训练音频编码器,学会提取声音信息。
音频编码器借用了预训练语言模型 Qwen3 中结构兼容的 Transformer 网络层,作为训练起点。对于非流式识别,编码器可以同时参考前后两侧的声音,而不只看之前的内容;直接处理声音输入的部分则单独初始化。借用已有网络权重只是起点,识别声音的能力仍要通过语音训练建立。
随后,编码器先做“遮住一段声音,再根据前后文预测”的练习。这种自监督方法叫 BEST-RQ:它用一套固定的随机规则把声音特征转换成离散编号,训练模型预测被遮住位置的编号,无需每段录音都有人工转写。接着进入 AED 监督训练,用配对的录音和文字,训练解码器读取声音特征、逐步生成参考转写。完成这两个阶段后,只保留训练好的编码器,配套的 AED 解码器不进入主模型。
(图 5:音频编码器的训练流程先从无转写的声音中学习,再用录音与文字配对训练。训练好的编码器用于初始化 Qwen-Audio-3.1-ASR 的音频编码器)
(图 5:音频编码器的训练流程先从无转写的声音中学习,再用录音与文字配对训练。训练好的编码器用于初始化 Qwen-Audio-3.1-ASR 的音频编码器)
第二步,预训练音频语言模型,建立声音与文字的联系。
音频语言模型预训练使用约 2,000 万小时多语言数据,包括语音转写,以及文字与音频交替出现的数据。这个阶段保持编码器参数不变,训练适配器和语言模型解码器,用参考文字指导每一步预测,让声音特征与文字输出建立联系。
第三步,调整数据分布,兼顾不同语言和方言。
数据总量大,不代表每种语言都有足够覆盖。在后续适配训练(Cooldown Adaptation)中,团队使用约 100 万小时更高质量数据,调整各语言和中文方言的比例,并增加任务和指令的多样性。编码器参数仍保持不变,适配器和语言模型继续学习。
数据还要过一道质量关:用 VibeVoice 重新识别录音,再与已有参考文本比较,过滤词错误率超过 30% 的样本。这样做是筛掉识别结果与参考文本差异过大的数据,保留样本原有的文字标签,不直接用重识别结果替换答案。
第四步,监督微调,让模型按指令完成识别。
监督微调(SFT)的每条样本都包含用户指令、音频和期望输出,覆盖多语言、方言、多种语言混说、噪声和远距离录音等情况。这个阶段会更新编码器和适配器;语言模型的基础参数保持不变,只训练通过 LoRA 加入的少量适配参数。声音处理部分也由此参与具体任务的优化。
为什么“选择输出语言”也要专门训练?因为语言模型可能把听到的内容转成另一种更熟悉的语言,或者在多种语言混说时擅自替换语言。训练会明确要求模型按指定语言转写,或保留多种语言各自的文字,并给出对应答案,让这些要求成为模型真正学过的任务。
第五步:强化学习,进一步优化整段识别结果。
语音识别强化学习以“1 减去词错误率”作为主要奖励:错误越少,奖励越高。同时,根据样本情况检查关键词、热词和前文提到的重要名称是否识别正确,并惩罚凭空添加内容。目标是既少漏掉专业词,也不把没说过的词写进去。
第六步:在策略蒸馏,让教师指导学生的实际生成过程。
教师模型还会针对学生的实际输出提供指导,这种方法叫在策略蒸馏(On-policy Distillation,OPD)。学生先自己生成文字,教师再根据相同的音频和学生已经生成的内容,指导下一步预测。这样,即使学生前面出了错,也能在自己实际走到的位置获得反馈,而不是只沿着标准答案学习。对于语音转写样本,由专门的 ASR 教师模型提供指导。
这条训练路线依次围绕声音信息提取、音频与文字对齐、语言覆盖、数据质量和指令遵循展开,并进一步优化识别结果。技术报告没有分别验证每一步带来了多少提升,因此这里解释的是完整训练方法,不把最终成绩归功于某一个步骤。
▎换一种语言,也保留原来的表达
Qwen-Audio-3.1-ASR 支持 30 种语言的语音转写。转写时,模型沿用各语言原有的书写方式。例如,韩语用韩文记录,日语保留汉字和假名。这样得到的文字可以直接用于字幕、会议记录,也方便按原文查找人名或专业词。
(图 6:Qwen-Audio-3.1-ASR 支持语音转写的 30 种语言)
一段录音里也可能出现多种语言。比如在中英双语会议上,发言人可能先用中文介绍背景,再用英语说明产品细节。应用可以在转写前把中文和英语一起指定为目标语言,同一个模型就能处理两种语言的发言,并按各自的书写方式记录。
下面两段原声分别是韩语金融口述和日语求职咨询。可以边听边对照原文,看看术语、语气和关键信息是怎么保留下来的。中文释义供阅读参考。
韩语原声
(图 6:Qwen-Audio-3.1-ASR 支持语音转写的 30 种语言)
一段录音里也可能出现多种语言。比如在中英双语会议上,发言人可能先用中文介绍背景,再用英语说明产品细节。应用可以在转写前把中文和英语一起指定为目标语言,同一个模型就能处理两种语言的发言,并按各自的书写方式记录。
下面两段原声分别是韩语金融口述和日语求职咨询。可以边听边对照原文,看看术语、语气和关键信息是怎么保留下来的。中文释义供阅读参考。
韩语原声
韩语原文:공개매수는 경영권 확보를 위해 주식을 장외에서 정해진 가격으로 사는 건데 공개매수가 발표되면 해당 주식의 주가는 보통 상승합니다.
中文释义:公开收购是指为了取得公司经营控制权,以事先确定的价格在场外买入股票。公开收购消息公布后,相关股票的股价通常会上涨。
日语原声
日语原文:就活のエントリーシート、学生時代に力を入れたこと、ボランティア活動について自分の熱意が伝わるように書きたいです。
中文释义:我想在求职申请表的「学生时代最投入的事」这一栏写自己的志愿服务经历,希望能传达我对这件事的热情。
▎家乡话,照原话记,还是转成普通话?
方言识别有两个不同目标:一是按方言原话记录,也就是语音转写(ASR);二是把方言转成普通话文字,也就是语音翻译(AST)。即使听的是同一段音频,正确的输出形式也可能不同。
Qwen-Audio-3.1-ASR 支持用户明确选择这两种任务。例如,“大家好,我係 Qwen。”在原文转写任务中保留方言表达,在普通话转译任务中则输出“大家好,我是 Qwen。”
(图 7:方言转写(ASR)与普通话转译(AST)的输出示意)
同一句方言,两种记录方式:保留原话,或转成普通话文字。下方音频为独立试听样例。
(图 7:方言转写(ASR)与普通话转译(AST)的输出示意)
同一句方言,两种记录方式:保留原话,或转成普通话文字。下方音频为独立试听样例。
原文:阿妈煮嘅叉烧饭我食咗两碗。
模型覆盖四川、山西、河南、济南、粤语、陕西、青岛、上海、南昌、宁波、客家、杭州、温州、湖南、福建和苏州共 16 种中文方言。报告将方言原文转写与普通话转译分开评测,避免把两种任务的指标混为一谈。
(图 8:16 种方言的平均字错误率。先分别计算各方言的字错误率,再取平均,每种方言权重相同。数值越低越好)
(图 8:16 种方言的平均字错误率。先分别计算各方言的字错误率,再取平均,每种方言权重相同。数值越低越好)
下图展示各方言的具体结果。
(图 9:16 种方言的识别表现。内部测试集上的字错误率,越低越好。各系统公开声明支持的方言范围不同)
(图 9:16 种方言的识别表现。内部测试集上的字错误率,越低越好。各系统公开声明支持的方言范围不同)
这组结果来自内部测试集。各系统公开声明支持的方言范围不同,平均成绩既受识别质量影响,也受支持范围影响。因此,个别方言上的大幅差距,不能简单理解为同等支持条件下的能力差距;未公开列出某种方言,也不代表系统一定无法识别。
方言转成普通话文字后,意思有没有变?团队在 11 种方言上评测“语义句准确率”,即输出中保留了参考文本的意思,且人名、数量、否定等关键信息没有出错的句子占比。这项指标检查意思是否准确,输出是否符合普通话表达还需要另行检查。
为检查自动评分是否可靠,团队抽取部分数据请人工判断,并与 Qwen3.7-Max 的判断比较,两者一致率达到 95.35%,随后使用 Qwen3.7-Max 为全部数据评分。95.35% 指的是人工与模型判断的一致程度,不是方言转译的准确率。
▎最不能听错的,往往是那些不常见的词
语言覆盖之外,通用识别还要面对领域差异。金融、医疗、人工智能、软件开发等场景里,一些词频很低,却承担着整句话最重要的信息。
怎样让模型少听错专业词?团队先收集各行业的词汇,结合查到的事实背景编写包含这些词的句子,再通过 CosyVoice3 合成语音;对难以准确合成的词,补充人工录音。随后再做一次语音识别检查,剔除专业词与文字标签明显不一致的样本,让模型在训练中真正见到、听到这些不常见的词。
在覆盖 15 个行业的内部测试中,Qwen-Audio-3.1-ASR 在 9 个领域的实体召回率单独最高,另有 2 个领域并列最高。实体召回率衡量的是:参考答案中的关键名称和术语,有多少被正确识别出来。少漏掉一个关键术语,就少一次回听和人工核对。
(图 10:15 个行业的关键名称与术语识别表现。数字是实体召回率,越高越好。点越靠外,越接近该行业的最佳结果;外圈代表各行业的最佳值,不统一代表 100%)
(图 10:15 个行业的关键名称与术语识别表现。数字是实体召回率,越高越好。点越靠外,越接近该行业的最佳结果;外圈代表各行业的最佳值,不统一代表 100%)
除了增加专业词的训练样本,模型还可以参考历史转写和热词列表。热词分为两级:P0 放更确定、优先级更高的词,P1 放范围更广的候选词。训练时,两级词表随指令一起输入,让模型学会在发音和前后文支持时优先使用 P0,而不是看见热词就直接替换。
怎样防止“提示了什么,就识别成什么”?训练按真实会话的先后顺序,只把当前语音之前的记录作为参考。同时,针对发音相近、容易混淆的名称,分别提供正确、冲突、无关或空白的提示,让模型同时学会利用有用信息,也能在提示不可靠时回到声音本身核对。
▎语言可以不同,准确记录的目标不变
回到本篇的主线,Qwen-Audio-3.1-ASR 的主模型有三个值得关注的变化:通用中英文识别保持竞争力,多语言识别在多组测试中较 Qwen-Audio-3.0-ASR 改善,方言则可以明确选择按原话记录,或转成普通话文字,并分别评测。
这些能力背后,是让声音与文字建立联系的训练、对不同语言和方言学习机会的平衡、更严格的数据筛选,以及对指令和专业词的专项训练。它们共同服务于一个朴素的目标:面对不同语言、不同口音和不同专业场景,让模型更可靠地记录人真正说出的内容。
听得准之后,语音输入还需要跟得上表达,并减少发送前的整理。下一篇,我们将聚焦 Message 模型,看看低延迟识别、句末刷新和原生润色,如何共同改善从开口到发送的输入体验。
想知道它能不能听清你的家乡话?打开项目页,先听一段熟悉的方言,再试着对照一种不熟悉的语言。更多训练细节与完整评测,都在技术报告里。


