当用户叹着气说“今天真的好累”，要回应得自然，模型既要听懂这句话，也要留意声音里的疲惫，再结合上下文判断对方是在倾诉、寻求安慰，还是希望得到具体帮助。同样一句“我没事”，平静的语气与带着哭腔的表达，也可能对应完全不同的交流需求。
整套方案形成了从结构化标注、策略建模、数据构建，到监督微调、强化学习与分层评测的闭环，让“接得住情绪”和“回应有性格”成为可训练、可检验的能力。
▎语音理解：从听懂内容，到理解表达方式
传统的“语音转写—文本理解—回复生成”链路，能够保留用户表达的文字内容，却可能弱化语气、情绪和非语言声学事件。仅依赖转写文本，模型难以区分某些字面相同、实际诉求不同的表达。
我们的方案同时考虑两类信息：
语义信息：用户说了什么，当前话题是什么，与前文存在怎样的关联。
副语言与声学信息：用户如何表达，包括情绪及其强度、语速、哭腔、叹气等声音线索。
这些信息需要结合起来理解，而不是各自独立判断。例如，叹气并不必然意味着悲伤，语速加快也不一定代表焦虑。模型需要依据音频与上下文形成判断，避免仅凭文字或单一声学信号推测用户状态。
▎策略建模：让共情成为可训练的回应决策
共情回应的重点，是根据用户当下的诉求，选择合适的回应方式。
为此，我们将共情拆解为三类结构化信息：
情绪与声学标注：识别主次情绪、情绪强度及相关声学事件。真实数据通过多模态模型听取音频完成标注，并进行高置信筛选，减少缺乏声学依据的判断。
用户意图标注：区分共情交流、对话控制与功能请求，并进一步识别倾诉、求安慰、求建议、分享喜悦等细分诉求。
回应策略表：结合意图、情绪与声学线索，明确回应侧重、可采用的表达方式，以及应避免的行为。涉及危机场景时，安全要求优先。
同一套策略表贯穿数据生成与强化学习评分，使训练样本中的目标行为与后续优化时的评价标准保持一致。
▎回应规划：兼顾用户诉求与角色表达
训练样本在最终回复之前包含一段结构化的回应规划，用于组织三类判断。用户表现出了怎样的状态、真正希望得到什么，以及当前角色应当怎样回应。
这一设计将情绪理解、意图识别与表达策略连接起来。模型不仅学习生成一句合适的回复，也学习在不同场景下调整回应侧重：什么时候应该先承接情绪，什么时候可以提出建议，什么时候需要收起玩笑并认真回应。
为控制推理文本长度，数据流水线会对超过约 250 字的推理内容进行压缩，并保留关键情绪依据、用户意图、角色口吻与回应边界。这里描述的是训练数据中的回应规划机制，不意味着这些内容需要向用户展示。
▎人设设计：表达可以变化，底线保持一致
共情决定回应是否合适，人设决定回应以怎样的性格和口吻呈现。
我们维护了一个可注入系统提示词的人设库。例如，阿侃偏机智直率，黛黛带有俏皮与傲娇感，团团温暖积极，黑土则采用嘴硬心软的损友式表达。面对同一段情绪对话，不同角色可以采用各自的表达方式，同时回应用户的实际诉求、遵守相同的安全边界。
设计上采用角色设定与共享规则分层解耦：
角色层定义性格、语气与表达习惯。
共享规则层统一约束安全边界、语音表达要求与共情原则。
这意味着，角色可以调整表达方式，却不能改变基本行为要求。用户真正难过时，俏皮角色也需要减少调侃；直率角色可以坦诚，但不能以“人设”为理由伤害用户。
（图 1：语音共情与人设协同示意）
（图 1：语音共情与人设协同示意）
▎数据构建：合成与真实语料互补
训练数据由两条流水线分别构建，再进入统一的后处理流程。
可控合成数据。按照目标情绪与意图分布生成用户画像及单轮、多轮对话，再通过 TTS 合成带有相应表达特征的语音。叹气、哭腔等事件通过标签控制，同一会话保持音色一致，并校验合成文本与原始内容的一致性。
真实对话数据。先通过文本模型完成意图粗筛，再由多模态模型听取音频，精标情绪与声学信息，将音频标注资源集中到相关样本。
两类数据随后经过回应规划生成、人设分配、回复续写、推理压缩与训练格式转换。合成数据提供可控覆盖，真实数据则补充生活化表达与更复杂的语音条件。
▎两阶段训练：建立基础行为，再优化回应质量
第一阶段采用监督微调（SFT），让模型学习音频条件下的共情与人设表达。输入包含用户语音和角色设定，监督目标包含结构化回应规划与最终回复，帮助模型建立从感知用户状态到选择表达方式的基本路径。
第二阶段采用GRPO 强化学习，进一步优化回应质量。模型针对同一场景生成多条候选回复，裁判模型依据动态评分表逐条评价，推动策略向更符合要求的方向更新。
评分表由策略表与当前轮次的情绪、声学及意图标注共同生成，重点检查：
是否承接了用户情绪与核心诉求；
是否合理利用了相关声音线索；
是否采用了合适的回应策略，并避开禁忌行为；
是否口语自然、适合语音播报；
是否在保持人设的同时遵守安全要求。
两个阶段沿用一致的行为目标。SFT 建立基本的回应方式，GRPO 则根据具体场景对候选回复评分，进一步优化回应的贴切度、自然度和稳定性。
▎共情评测：多项测试集联合验证
本次共情评测汇总 EchoMind、内研合成测试集Stage3-Multi、Stage3-Single 以及内研录制测试集 Test-Human 四项测试集的结果，对比 gpt-realtime-2-low、seeduplex-1.2.6.1 和 Qwen-Audio-3.1-Realtime-Plus。下表按测试集展示得分，用于观察模型在不同测试集上的共情表现。
数据来源：本次提供的评测截图；加粗表示表内三个模型的该列最高分。
Qwen-Audio-3.1-Realtime-Plus 在四项共情测试中均取得最高分。其中，Stage3-Multi 与 Stage3-Single 均为 4.99，Test-Human 为 4.74，展现了模型在多项共情测试中的优势。
在 EchoMind 上，Plus 得分为 4.03，比 seeduplex 高出 0.33 分，比 gpt-realtime-2-low 高出 0.83 分。这一成绩体现了模型的共情优势，同时在该基准上仍有进一步提升的空间。
▎人设评测：多项基准检验角色表达
人设评测汇总 PersonaSession 下的 CharacterEval、Emotion-Cross、Advancement-100 与 RMT-Bench 四项基准，比较三个模型在不同人设测试上的表现。各项结果分别展示，不将不同基准的分数直接合并为单一结论。
数据来源：本次提供的评测截图；加粗表示表内三个模型的该列最高分。
Plus 在 Emotion-Cross 上取得最高分，四项人设得分均高于 gpt-realtime-2-low。其中，Emotion-Cross 得分为 4.11，高于 seeduplex 的 4.02 和 gpt-realtime-2-low 的 3.99，是本次人设评测中的突出表现。
人设能力的提升仍不均衡。在 CharacterEval 和 Advancement-100 上，Plus 分别为 4.50 和 3.71，低于 seeduplex 的 4.61 和 3.91；在 RMT-Bench 上，两者接近，Plus 为 3.97，seeduplex 为 3.98。这些差距也是后续打磨角色表达能力的重点。
▎结语
语音陪伴的自然感，来自模型能否结合声音和上下文理解用户此刻的诉求，再选择合适的回应方式。共情策略让模型知道何时先倾听、何时给出建议，人设则让不同角色能够用各自的方式作出回应。
从标注、数据构建到 SFT 和 GRPO，这套方案将共情策略与角色表达落实到训练样本和评分标准中，再通过公开、内部及跨人设评测观察模型在不同场景中的表现。我们希望，用户换一个角色，能听出表达上的区别，也能获得同样符合共情原则与安全要求的回应。
参考资料：
参考资料：
技术报告：https://arxiv.org/abs/2609.25176
项目主页：https://qwenaudio.github.io/qwen-audio-3.1-realtime/
