大数跨境

一文讲清楚全双工语音:8种方案和架构,用过的人都说被AI的抢话惊艳到了

一文讲清楚全双工语音:8种方案和架构,用过的人都说被AI的抢话惊艳到了 AI技术研习社
2026-11-12
0
导读:市面上自称「全双工」的产品很多。2025 年 9 月的首篇全双工口语模型综述(arXiv:2509.14515)给了把尺子:真全双工必须同时满足三条——边说边听、允许语音重叠、随时可被打断,并把系统分
AI语音交互正从“半双工”向“全双工”演进。要实现打电话般的自然体验——随时插话、边听边说,业界在过去四年间探索出八条技术路线。

一、对讲机与电话的本质差异

早期语音助手采用半双工模式:用户说完,AI再回答,类似对讲机,时间轴严格交替。而人类通话是全双工的:支持随时开口、边听边说、抢话附和。

半双工:像对讲机 一个说完,另一个才能说 用户 说话中… 沉默 AI 只能等 才回答 时间轴严格交替,谁也不抢谁 体验:说完要等,插不上话 代表:传统语音助手、呼叫中心 IVR 全双工:像打电话 随时开口,边听边说 用户 AI 重叠区:同时开口 / 插话 体验:抢话、附和、打断,一气呵成 要求:边说边听、允许重叠、随时打断 工程上的一切都在和同一个数字作对:应答超过 0.5 秒,人就觉得对方「不在状态」

图 1 · 半双工像对讲机,全双工像打电话——差距全在重叠与插话

实现从半双工到全双工的跨越,需解决三大难题:话轮转换(判断停顿是结束还是喘息)、打断与附和(区分有效打断与无效噪音)、副语言理解(识别语气背后的情绪)。工程核心指标在于延迟:应答超过0.5秒,用户体验即显著下降。

二、鉴别真伪全双工的三个标准

根据2025年9月发布的全双工口语模型综述(arXiv:2509.14515),真正的全双工系统必须同时满足三点:边说边听、允许语音重叠、随时可被打断。据此可将技术路线分为“工程同步”与“学习式同步”两类。

2026年EMNLP实证审计显示,部分宣称全双工的系统在多轮对话实测中表现不佳,尤其是基于状态机的方案。全双工并非二元开关,而是一个光谱:

真伪不是开关,是光谱 横轴:模型自己「会听」的程度 —— 越靠右,越接近学术定义的真全双工 外部规则决定何时说 模型天生会听会说 工程同步 学习式同步 ① 信号级联 VAD 静音阈值 ② 决策耳 单 token 分类 ③ 状态机 准全双工 ⑤ 文本锚定 脑嘴分离 ⑥ 切片 ⑦ 网关 分层协作 ④ 原生多流 真全双工 ⑧ 表现力 另一维度 真伪三连问 AI 说话时还在听吗?同时开口怎么办?打断是外部硬掐的,还是模型天生会的?

图 2 · 八派落在光谱的不同位置;判断真伪,先过三连问

三、八大技术路线解析

现有技术路线主要围绕同步机制、中间表示及智能分配进行取舍,可分为四组:

1.以可控性换延迟:信号级联与决策耳

信号级联是传统方案(如Google Duplex及多数呼叫中心IVR):通过VAD检测静音、ASR转写、LLM推理、TTS合成。优点是可控、可审计、模块灵活替换;缺点是延迟累加,且转写过程丢失语气信息。

决策耳是其进化版:不生成完整文本,直接预测动作概率。开源项目DuplexJev在此领域表现优异,单张H200显卡上响应速度极快,且通过声学特征连接器大幅提升了情绪识别准确率。其核心优势在于将复杂的话轮同步问题转化为低成本的闭集标注问题。

2.以稳定性换真双工:状态机控制

Freeze-Omni、VITA-1.5及阿里MinMo等采用“听/想/说”三态控制器,实现毫秒级状态切换。此类方案稳定、节省资源且保留文本智力,适合工业落地。但其在发声时通常停止监听,实质上属于准全双工,也是此前审计中“翻车”较多的类型。

3.以自然度换黑盒:原生多流与文本锚定

原生多流(如Meta dGSLM、Kyutai Moshi)通过并行处理音频流及内部独白,天然具备重叠与插话能力,首包延迟约200毫秒。但面临同步数据稀缺、算力成本高及缺乏文本中间层难以审计的问题。

工程界的折中方案包括:文本锚定(如GLM-4-Voice、Qwen-Omni),实行脑嘴分离,保留智力继承与可追溯性;以及时间切片(如DuplexOmni),通过固定时间切片维持对话流畅度,接话率表现优异。

4.以分工换延迟:Live网关与表现力增强

Live网关是一种部署形态:前端负责语音交互,后端云端负责智能处理(如OpenAI Realtime、Sophon-Realtime)。优势在于后端模型可灵活更换,劣势在于增加网络跳数延迟。

表现力共情聚焦于“怎么说”,通过韵律驱动或标签化TTS(如Hume EVI、CosyVoice 3、ElevenLabs v3)模拟笑声、叹气等副语言,提升拟人感。

四、场景化选型建议

应用场景
推荐路线
核心理由
呼叫中心、外呼机器人
级联 + 决策耳
可控可审计,话轮判断高效低成本
陪伴、角色扮演、AI硬件
表现力派 + 端到端
情绪价值为核心,标签TTS增强语气表现
车机、高并发客服
轻量快系统
追求极低首包延迟(<0.31s)和高并发能力
企业知识助手
Live 网关
语音作为接口,便于接入现有业务系统与云端大脑
合规审计敏感场景
文本锚定 / 决策耳
保留中间产物,支持问题回溯与审计

选型建议参考第三方基准测试,如学术侧Full-Duplex-Bench(涵盖时序动态、行为仲裁等维度)及工程侧LiveKit eot-bench,避免仅依赖厂商宣传。

五、未来趋势:分层架构融合

当前八派技术正趋向收敛为分层栈架构:耳朵负责快决策,嘴负责表现力,脑负责慢推理。

八派正在收敛成一个分层栈 耳朵管快决策,嘴管表现力,脑管慢推理 —— 三层各选各家,组合即系统 脑 · 慢推理 算数、查资料、工具调用、业务逻辑 文本 LLM / 云端 Agent 可随时更换 嘴 · 表现力 语气、笑声、叹气、重音——「怎么说」 标签 TTS / 共情模型 CosyVoice 3 / CSM 类 耳 · 快决策 该谁说、能不能插话——毫秒级话轮判断 决策耳 / 状态机 DuplexJev 92ms 一次前向 延迟预算逐层放宽 派②的耳朵 + 派⑧的嘴 + 文本大脑,已经是这个栈的量产原型

图 3 · 分层栈:三层各选各家,组合即系统

结合决策耳的快速响应、标签TTS的情感表达及文本大模型的推理能力,已成为量产原型的主流方向。随着技术融合,最终评判标准将回归体验本身:当用户无法分辨通话对面是人还是AI时,全双工技术才算真正成熟。

【声明】内容源于网络
0
0
AI技术研习社
1234
内容 260
粉丝 0
AI技术研习社 1234
总阅读25.8k
粉丝0
内容260