大数跨境

132万字实时字幕!阿里语音模型支持影视飓风100小时直播

132万字实时字幕!阿里语音模型支持影视飓风100小时直播 阿里语音AI
2026-07-06
18

今天,我们正式升级实时语音识别大模型Fun-ASR-Realtime——一款首字延迟控制在百毫秒级别、识别准确率接近离线模型的流式语音识别模型,支持16种方言和30种语言。

在7月2日结束的影视飓风「重返荒岛」100小时直播中,实时字幕由Fun-ASR-Realtime全程提供,累计识别字幕6万余条、共计132万字。


先说清楚一件事:实时和离线的差别

语音识别模型分为离线和实时两类。离线模型可一次性输入录好的音频,准确度更高;实时模型边录边识,需又准又快,识别难度更高,适合直播字幕、会议实时转写、客服通话等低延迟场景。
Fun-ASR-Realtime面向的正是后一种——让"又快"和"又准"同时成立。

速度首字百毫秒,尾字不掉队

在速度上,模型首字时延控制在百毫秒级别,话音刚落,文字即开始呈现;对很长的句子,尾字输出的延迟同样很低。
以「重返荒岛」100小时直播为例,多人两岛互动、说话人频繁切换,赛制复杂还遇上了暴雨,观众可即时看到Tim和中国boy等嘉宾的发言字幕,直接增强了观看体验。
准确率:接近离线模型,还能“越听越准”
在准确率上,Fun-ASR-Realtime接近其离线模型Fun-ASR-Flash,并面向泛 Context(包含历史对话上下文和实时热词)进行了专项强化,具备上下文理解能力。
举一个直播里的真实例子:Tim说出的"夜鹭"最初被误识为"叶鹿",在补充上下文"观鸟的朋友应该知道"后,模型立刻自我纠正。

(图1:在影视飓风“重返荒岛”100小时直播节目中,实时字幕根据上下文纠错,将“叶鹿”改为“夜鹭”

多语言和方言:这是Fun-ASR-Realtime最能听的部分

相较于市面上的实时模型,Fun-ASR-Realtime 支持的语音种类更加丰富,可识别16种方言和30种语言。
在覆盖八大方言区的16种方言识别测试中,Fun-ASR-Realtime字符准确率平均为 88.62%,在12类方言上领先,超越火山与腾讯相关产品。尤其在高难度的吴语系方言上表现惊艳——上海话:92.41%,苏州话:89.21%,温州话(号称"最难懂方言"):82.74%。
在福建话、客家话等复杂方言上,模型同样全面领先。

(图2:Fun-ASR-Realtime在16 种方言识别测试中领先。CER为字符错误率(Character Error Rate),1-CER代表字符准确率

Demo展示

上海话:

语音识别结果:工作再平凡,只要认真做,也能做出味道,做出属于自己的成绩。


苏州话:

语音识别结果:我第一次得奖是小学三年级,语文竞赛拿了二等奖,老师奖励我一本笔记本。


温州话:

语音识别结果:加班到半夜,开车回家,电台里放着轻柔的爵士乐,路上一个人都没有,只有红绿灯在那里孤独地闪着。


福建话:

语音识别结果:我要申请诏安县的创业补贴政策,帮我查需要哪些材料,怎么申办。


闽南话:

语音识别结果:闽南地区冬天基本不下雪,但是阴冷,湿气很重,比北方干冷难受多了。


客家话:

语音识别结果:对梅州的风土人情挺感兴趣的,当地人平时有哪些特别的节日习俗或传统活动吗?


粤语:

语音识别结果:五象新区今年将引进多家世界五百强企业,预计为南宁市提供大量嘅就业机会。



复杂场景与多语种:从工业远场到出海市场

在5类工业中文和英文场景的语音识别横向测评中,针对复杂背景、远场嘈杂以及各种带口音的场景,Fun-ASR-Realtime依然表现良好,中文平均字符准确率88.42%、英文91.58%,均领先相关产品。

(图3:Fun-ASR-Realtime在 5 类工业中文和英文场景的语音识别横向测评中领先

在此基础上,模型面向泰语等东亚、东南亚多语言场景进行了专项优化,识别准确率提升了20%,适用于出海客服、国际会议等场景。

Demo展示

印尼语:

语音识别结果:Tidak sia-sia pergi ke Pulau Bali karena Anda dapat melihat indahnya matahari terbit.

去巴厘岛绝不会白跑一趟,因为在那里你可以看到美丽的日出。


泰语:

语音识别结果:ในโรงเรียนแห่งนี้ พวกเราให้นักเรียนของเราพัฒนาทักษะความสามารถของพวกเขาและทำให้ดียิ่งขึ้น

在这所学校里,我们让学生们发展自身的技能和才能,并使之不断精进。


西班牙语:

语音识别结果:planchar la ropa cuando aún está húmeda puede ayudar a secarla. muchos hoteles cuentan con plancha y una tabla para prestar a los viajeros, incluso si uno no se encuentra en la habitación.

趁衣服还湿的时候熨烫,可以帮助把它烘干。许多酒店都备有熨斗和熨衣板供旅客借用,即使房间里没有配备。


离线模型Fun-ASR-Flash:全球权威榜单第一

Fun-ASR-Realtime的离线模式模型Fun-ASR-Flash也已于近期上线。在全球权威AI评测平台Artificial Analysis上,Fun-ASR-Flash(榜单上为该模型曾用名"Fun-realtime-ASR-preview")字错率1.7%,位列全球第一。

(图4:Fun-ASR-Realtime的离线模式模型Fun-ASR-Flash以1.7%的字错率登顶Artificial Analysis榜单

欢迎体验

阿里云百炼:

Fun-ASR-Realtime:

https://help.aliyun.com/zh/model-studio/real-time-speech-recognition-user-guide


Fun-ASR-Flash:

https://bailian.console.aliyun.com/cn-beijing#/doc/?type=model&url=2979031

【声明】内容源于网络
0
0
阿里语音AI
阿里巴巴通义实验室语音团队,基于多模态大模型语音识别、语音合成、自然语言理解等 AI 技术,实现“能听、会说、懂你”式的智能人机交互体验。
内容 128
粉丝 0
阿里语音AI 阿里巴巴通义实验室语音团队,基于多模态大模型语音识别、语音合成、自然语言理解等 AI 技术,实现“能听、会说、懂你”式的智能人机交互体验。
总阅读609
粉丝0
内容128