沐神回归：解析全双工实时多模态交互新范式
李沐近日在 B 站发布最新技术分享，聚焦硅谷前沿方向——全双工（Full-Duplex）实时多模态交互。与传统“你一句、我一句”的问答模式不同，全双工 AI 能够像真人一样持续接收声音和画面，具备实时生成的数字人形象，实现边聊天边处理任务的并行交互。
演示场景展示了该模型的强大能力：在车载环境中，AI 能安静监听用户点餐，待点单结束后汇报股市及训练任务进度，并能准确回溯刚才的点单细节；在英语陪练场景中，AI 不仅能纠正语法错误，还能通过观察用户嘴型，提供发音部位的具体指导。
李沐提出，理想的真人化模型需满足三大标准：像人（响应速度在 200 毫秒内）、有用（以完成任务为导向）、够便宜（每小时交互成本低于人工时薪的十分之一）。
技术突破：从传统流水线到端到端架构
传统语音助手采用 VAD（语音活动检测）、ASR（语音转文字）、LLM（大语言模型）、TTS（文字转语音串行架构。这种模块化设计虽便于升级，但串联导致的延迟通常高达 1.5 至 2 秒。此外，中间转换为文字的过程会丢失情绪、环境音等声学信息，且 VAD 难以精准判断用户是否说完，易造成抢话或等待。
为解决上述问题，团队采用了端到端架构：保留语音和视觉编码器作为输入，音频和视频解码器作为输出，将 ASR 解码端、TTS 文字处理端与大模型主干合并。语音和画面经编码后以向量形式直接进入主干，算完后直接由解码器生成声音和表情。这种类似“熟练外语者无需脑中翻译”的处理方式，将包含网络开销的整体延迟降低至 0.7 到 0.9 秒。
Higgs Realtime Duplex：160 毫秒时间窗机制
为实现真正的双工交互，团队摒弃了按句子切分轮次的传统做法，引入了 160 毫秒的时间窗口机制。模型每 160 毫秒处理一个新窗口，接收语音、画面或工具返回结果，同时预测下一个窗口的输出内容。用户当前听到的声音，实际上是模型在上一个窗口提前生成的。这种机制允许模型在用户说话时输出静音或附和声（如“嗯哼”），并在检测到插话时迅速调整策略，实现听与说的无缝衔接。
针对复杂任务可能导致的冷场问题，团队采取了以下策略：
- 分段思考：将思考过程拆分到多个时间窗口中，随用户输入逐步推进。
- 异步工具调用：在对话进行中后台发起工具调用，长结果分批返回，模型可先基于已有信息回复前半部分。
- 前端协同：前端模型负责绝大部分即时交互，仅在极复杂情况下呼叫后台更大模型，避免高昂的推理成本和长时间等待。
训练策略与成本控制
团队选用 45B MoE 模型作为前端主模型，通过三步训练法提升性能：
- Mid-training：在文字预训练基础上，加入约 2 万亿 tokens 的音视频数据，让模型直接掌握多模态“母语”。
- 强化学习（GRPO）：在实时交互环境中训练模型把握接话时机和工具调用策略。
- 多老师同源蒸馏：训练擅长不同方向的专项模型作为“老师”，共同蒸馏提升学生模型的综合能力，并在模拟真实延迟和噪音的环境中自我迭代。
为将每小时交互成本控制在极低水平，团队实施了严格的 Token 优化：
- 高压缩率编码：音频输入每秒仅用 6.25 个 token，输出每秒 12.5 个 token；视频每 6 个窗口取一帧，每分钟音视频流仅消耗约 2.6K tokens。
- 上下文管理：仅保留最近 5 分钟的多模态完整上下文（约 13K-25K tokens），更早内容转为文字记录。
- Zero-shot 换声换脸：无需重新训练主模型，推理时直接通过解码器结合参考素材生成，确保外观连续性。
评测表现与应用前景
评测数据显示，45B 参数的 Higgs 模型在 Big Bench Audio 上得分 98.9，表现优于参数量大其 6 倍的对比模型（关闭后台 Agent 后分数大幅下滑）。这表明在全双工实时交互领域，数据质量、架构设计及训练方法比单纯增加参数规模更为关键。
目前，端到端模型 Higgs Realtime 已开放 API 支持数字人输出；全双工模型 Higgs Realtime Duplex 也已开启候补名单，即将正式上线。