过去几年,大模型在静态问答上表现卓越,但在动态交互中仍显滞后。现实交流是连续的:我们在倾听中形成判断,在表达中持续思考,并根据对方反馈实时调整。然而,传统大模型将世界切割为离散的“输入-输出”片段,难以复现这种连贯性。
2026年,这一局面正在改变。字节跳动Seed推出原生全双工语音模型Seeduplex及音视频模型SeedRealtime;OpenBMB开源端侧全模态模型MiniCPM-o 4.5;Thinking Machines Lab发布Interaction Models;OpenAI推出GPT-Live并开放API。阿里通义、小米、阶跃星辰等团队也在实时语音与持续推理领域取得突破。
这些进展指向一个核心问题:当输入不完整、环境持续变化时,模型能否保持感知、推理与行动的连续性?这一趋势也吸引了资本关注,a16z Scout Rubén等投资人开始关注推动该技术突破的年轻研究者及其创业潜力。
Rubén的LinkedIn帖子截图
推动这场变革的技术人员背景多元,涵盖同声传译、边听边说、并行推理及系统工程等领域。这些原本独立的技术路线,正汇合成一张新的技术与人才图谱。
下一代实时交互:关键技术问题与人才图谱
从轮流对话到持续交互:技术演进脉络
人际交流中,我们通过语气、停顿和表情捕捉言外之意,并在信息流动中实时决策。相比之下,传统大模型遵循“你说完-它计算-它说完-你接话”的轮次式节奏,这在简单问答中尚可,但在需要持续协作的场景中成为瓶颈。实时交互研究的目标,是将模型从离散问答机器转变为持续感知、思考和回应的智能体。
全双工:超越更快的语音助手
全双工(Full-Duplex)指双方可同时说、同时听。在AI交互中,原生全双工要求模型在输出的同时持续接收和理解新输入,并据此决定继续、暂停或调整回应。
2024年5月,GPT-4o推动了端到端语音模型的普及,但端到端不等于全双工。前者解决输入输出的统一建模,后者解决时间上的并行处理。早期级联系统延迟高且丢失情绪;端到端模型虽减少转写,但仍多依赖轮次式交互。常见的低延迟方案如语音活动检测(VAD),仅能判断声音有无,无法理解语义,容易误判停顿或噪音,本质仍是响应更快的轮次式机器。
原生全双工的难点在于区分噪声、附和、迟疑与真实意图。模型需在每一个时刻决定“听、说、停”或“调整”。2026年,该技术集中落地:字节Seeduplex上线豆包,复杂场景误回复减少约一半;OpenAI以GPT-Live替换原有语音模式,每秒多次决策听、说、断或调用工具。对话基本单位从“轮次”扩展为“持续时间流”。
Seed官方将Seeduplex定义为可“边说边听”的全双工语音模型。
流式处理:从同声传译学会“何时开口”
同声传译要求在信息不完整时持续输出,其核心是读写策略(Read/Write Policy):在延迟与质量间权衡。中科院计算所ICTNLP团队在此方向积累深厚,提出的StreamSpeech及后续Stream-Omni将流式处理扩展至多模态。LLaMA-Omni系列也实现了低延迟语音生成。这类工作将“何时听、何时说”转化为可学习的决策问题,但同传目标相对确定,而开放对话需处理插话与意图转向,难度更高。
听说并行:把对话控制交还给模型
上海交通大学X-LANCE实验室与字节合作提出的LSLM(AAAI 2025)较早将“边说边听”作为独立问题,模型在生成语音时持续监听,根据语义判断是否打断。2026年6月,中科院冯洋团队发布BayLing-Duplex,将用户语音、助手文本和语音组织为多通道交错序列,统一为Token预测,不再依赖外部VAD。仅需约40万条全双工样本微调,便在轮次切换与打断测试中表现优异,标志着对话控制从外部工程规则转向模型内化能力。
端到端全模态:在同一条时间轴上看、听、说
真实交流包含画面、环境声与手势。Mini-Omni系列较早探索了端到端实时语音与多模态。2026年2月,OpenBMB开源MiniCPM-o 4.5,其Omni-Flow框架实现时间对齐的全双工过程,感知与回应并行,且可在12GB以下内存设备运行。三个月后,Thinking Machines Lab公布Interaction Models,将音视频与文本切片并行处理,配合异步后台模型负责推理。8月,字节SeedRealtime在豆包实现“边看、边听、边说”。需注意,全模态解决“理解多少种信息”,全双工解决“时间上是否并行”,二者互补。
Thinking Machines Lab:Interaction Models将“实时交互”提升为研究方向
持续推理:边听边想,边说边想
同时听说不等于边说边想。南洋理工大学与阶跃星辰合作的Chronological Thinking关注“听”的阶段,让模型随话语推进整理逻辑;The Silent Thought(FLAIR)让模型在倾听时以隐式表征推理。Mind-Paced Speaking关注“说”的阶段,采用“构思脑”与“表达脑”并行架构,阶跃Step-Audio R1.1已应用此架构。Mini-Omni-Reasoner在Token级别交错生成推理与语音;MiniCPM-o的Listen-Write-Speak则并行处理倾听、文字输出与语音。工业界如GPT-Live采取前台对话、后台异步推理的分分工模式。学术界的多通道方案与工业界的快慢分工,正共同逼近这一目标。
交互后训练与评测:教模型掌握分寸
全双工架构需通过交互后训练校准行为,如切入时机、噪音过滤及打断接续。难点在于目标高度依赖语境,评测也因涉及多方互动而复杂。2026年以来,全双工评测基准与基于强化学习的交互对齐研究成为热点。阶跃Step-Audio-R1系列引入强化学习,DuplexSLA探索语音、语言与动作同步;开源侧MiniCPM-o也构建了交互对齐闭环。这一环节的方法论正从语音向Agent领域迁移,但评测标准尚不统一。

并行生长的技术:组织、团队与人才
实时交互技术背后是一张紧密的人才网络,关键研究者常在高校、开源社区和大厂间流动。
学术基石:上海交大X-LANCE实验室(俞凯教授)深耕口语对话与语音智能,为全双工打下感知基础;中科院计算所ICTNLP(冯洋团队)从同声传译切入,将读写策略转化为可学习能力。
技术迁移者:张绍磊从同声传译延伸至流式语音、多模态及Agent工作;房庆凯参与LLaMA-Omni后加入小米,推动计算所流式技术进入工业模型。
全模态贯通者:马子阳在上海交大与南洋理工联合培养期间完成LSLM,后转向阿里通义Qwen Omni,贯通原生双工与全模态主线。
开源与工程闭环:胥博凯参与MiniCPM-o系列,将全模态交互组织成可训练、可评测的工程闭环,兼顾研究与交付;谢之非从清华开源Mini-Omni系列,后在南洋理工参与推理与语音交错生成研究,体现开源时代的技术扩散。
工业落地:阿里通义徐进推动Qwen Omni工业体系;字节Seed团队以轻量团队攻坚,将全双工推至亿级用户规模。
表 1|原生语音全双工
表 2|全模态统一建模
持续推理与合作:南洋理工大学语音实验室作为联合培养枢纽,吴东航博士生参与的Chronological Thinking、FLAIR等研究解决推理与响应速度的矛盾。阶跃星辰田飞作为合作者,推动Step-Audio系列将强化学习与实时架构结合。胥博凯团队的Listen-Write-Speak及谢之非等人的Mini-Omni-Reasoner从架构侧处理同一矛盾。
表 3|持续推理
表 4|交互后训练
全球视角下,Thinking Machines Lab、OpenAI等自顶向下推进;中国高校与产业团队依托开源、联合培养和快速产品化路径跟进。年轻华人研究者在不同机构间的活跃流动,成为推动这一前沿的重要力量。

资本开始下注,真正的挑战才刚开始
技术变革吸引全球关注。海外AI观察者Kim Isenberg在推文中将Thinking Machines Lab、OpenAI及中国团队的工作置于同一演进脉络,折射出海外对中国原生全双工研究的重视。
资本方面,美国初创公司Nuance Labs于2026年9月完成5000万美元A轮融资,旨在构建原生全双工音视频基础模型。这释放信号:实时交互正从功能模块演变为独立的基础模型研究与创业方向。
商业化加速:OpenAI开放GPT-Live-1 API;字节Seeduplex与SeedRealtime服务亿级用户;面壁智能MiniCPM-o 4.5上线API;阶跃星辰推出StepAudio 2.5 Realtime。技术正快速走向真实场景。
Kim的评论区勾勒出人们对下一代实时交互的期待与质疑
公众期待AI像协作者一样理解犹豫、接受纠正,但也担忧隐私与安全。尽管技术格局未定,但新一代研究者与创业公司正有机会改变竞争走向。

结语
全双工不仅是语音体验升级,更可能重塑Agent工作方式。当前Agent多为“批处理”模式,交互呈块状。语音全双工的解题思路与下一代Agent挑战同构:在信息不完整时决策行动,在执行中持续推理,处理随时打断,并保持长时间状态稳定。
GPT-Live的前台交互、后台执行分工已具雏形。随着GPT-6 Astra接入语音,用户可用自然语言引导Agent完成复杂任务。这与1987年苹果Knowledge Navigator的愿景遥相呼应。
若Agent获得连续交互能力,人机协作将从“提交-等待”转向“共同在场-持续校准”。软件界面、终端形态(手机、汽车、眼镜)及隐私安全要求都将随之改变。竞争焦点将从声学建模转向系统整合:谁能打通连续流式建模、动态交互决策、快慢思考分工与低延迟调度,谁就将建立下一代实时交互系统的底座。
未来,衡量智能的重要维度将是模型在现实不断变化、信息永远不完整的情况下,始终保持感知、判断与行动的连续性。这场变化,才刚刚开始。

