语音助手回答得越来越快、表达得越来越自然，但用户还需要知道：它说的内容是否可信，能否在持续交流中守住安全边界。
这些问题往往隐藏在流畅的对话里。面对带有错误前提的问题，模型可能顺着问题继续编造；面对经过情境包装、分多轮逐步提出的有害请求，也可能在最初保持谨慎，却在后续追问中提供不合适的帮助。
对于实时语音交互，这些问题尤其值得重视。自然的语气与连贯的回应容易让人产生信任，而这种信任需要由回答内容来支撑。围绕这一目标，Qwen-Audio-3.1-Realtime 从事实性幻觉、单轮安全与多轮安全三个方向开展评测与优化，既关注一次回答是否可靠，也关注安全判断能否贯穿持续交互。
▎从真实问题出发：把安全与幻觉拆成可检查的问题
不同的失效现象，需要不同的判断依据。我们将真实对话中的问题拆成三个相互补充的方向：
事实性幻觉：回答是否有依据。检查模型能否识别错误前提，在信息不足时是否仍然补充细节、给出确定结论，以及能否恰当地表达不确定性。
单轮安全：能否理解请求意图并恰当回应。检查回答是否实质上提供了有害帮助，同时避免因为敏感措辞而拒绝正常请求。
多轮安全：能否随对话发展持续识别风险。检查模型是否结合完整上下文理解当前请求，在用户补充条件、转换情境或持续追问时，及时更新风险判断。
这三个方向分别关注事实依据、请求风险与跨轮一致性。通过拆解真实案例，我们进一步定位问题是来自知识不足、对错误前提的顺从，还是对请求意图和上下文风险的误判，并据此开展数据建设、训练优化与持续验证。
（图 1：从事实性幻觉、单轮安全与多轮安全三个方向分析问题，并持续优化）
（图 1：从事实性幻觉、单轮安全与多轮安全三个方向分析问题，并持续优化）
▎事实性幻觉：识别错误前提，也学会表达不确定性
事实性幻觉的一类典型来源是错误前提。例如，询问某个人“为什么获得某个奖项”，实际上预设了这个人确实获过奖。如果模型没有检查这一前提，就可能继续生成获奖原因、评审评价等细节，使一个错误假设扩展成完整却不可靠的解释。
模型需要区分用户真正想了解的内容与问题中尚待核实的假设。发现前提有误时，应先纠正关键事实，再回应实际需求；无法确认时，也应明确说明，避免把用户提供的说法直接当成事实。
另一类问题来自知识与证据不足时的过度作答。面对不熟悉的概念、缺乏背景的信息或无法确认的细节，模型可能依靠语言模式补齐答案。这种补全在形式上往往合理，却未必符合事实。尤其当问题涉及具体的人名、时间、数字或因果关系时，过度展开容易引入更多无依据的内容。
围绕这些失效情形，我们建设高难度幻觉数据，并开展训练探索，重点关注错误前提诱导、知识不确定时继续编造等问题。数据建设同时考虑知识难度与提问方式，检查模型是否会被用户的肯定语气带偏，是否为了给出完整解释而补充未经支持的细节，以及能否在纠正错误后继续提供帮助。
评测采用 HalluQA 与 TruthfulQA 两个问答测试集。HalluQA 面向中文场景，关注误导性问题与知识性错误；TruthfulQA 面向英文场景，重点考察模型是否会受到常见误解和错误认知的影响，生成看似合理却不真实的回答。
（图 2：HalluQA 与 TruthfulQA 无幻觉通过率对比，数值越高越好）
（图 2：HalluQA 与 TruthfulQA 无幻觉通过率对比，数值越高越好）
▎单轮安全：检查实质内容，兼顾漏拒与误拒
单轮安全关注模型面对一次请求时，能否识别风险并恰当回应。判断的重点是回答实际提供了什么内容：即使模型先说“我不能帮助你”，如果随后仍给出了能够推动有害目标的具体信息，这次回答依然存在安全问题。
一类典型失效是漏拒。有害请求可能被包装成角色扮演、虚构情节或普通知识讨论。模型需要结合具体内容与上下文判断，避免仅因用户声称“这是虚构场景”就忽略风险。
另一类问题是误拒。正常的知识讨论、风险辨识和防护性问题也可能涉及敏感内容。如果模型过度依赖关键词，就容易将这些请求一并拒绝。例如，用户询问如何识别诈骗，模型应理解其防护需求，并提供适当建议。安全优化需要同时减少有害帮助与不必要的拒答。
识别风险后，模型还需要选择合适的回应方式。对于有害请求，应清楚说明限制，避免在解释中泄露具体操作内容；对于可以安全回应的部分，则尽可能提供一般性知识或防护建议。在语音场景下，这类回应还应减少冗长说教和重复模板，让用户听懂限制，也知道可以获得哪些帮助。
围绕这些问题，我们开展安全样本构造与评估，通过数据组合和训练实验验证优化效果，重点关注情境包装后的有害请求，以及措辞敏感但实际无害的请求。通过分析失败案例，我们进一步区分意图识别、风险判断和回应内容等环节的问题，为补充困难样本提供依据。
评测采用 DNA（Do-Not-Answer）与 CDNA（Chinese Do-Not-Answer）两个测试集，分别覆盖英文和中文场景，通过不同风险类型的请求检查回答是否符合安全要求。评判关注输出的实质内容；在分析优化效果时，还需要结合无害请求检查误拒，避免将更频繁的拒答误认为更好的安全表现。
在本次评测中，Qwen-Audio-3.1-Realtime 的 DNA 安全通过率由 91.80% 提升至 94.99%，CDNA 安全通过率由 83.49% 提升至 90.57%，分别提高 3.19、7.08 个百分点。这些结果反映了相应测试中的整体改善，漏拒与误拒仍需分别追踪。
▎多轮安全：让安全判断跟上对话的发展
单轮回答安全，并不意味着整段对话始终安全。真实交流中的有害意图可能逐步显露：最初的问题看似正常，后续通过补充条件、转换情境或持续追问，将交流引向有害目标。
一类典型问题是意图分散在多个轮次中。单独看，每次提问都可能没有明显风险，但组合起来却服务于同一个有害目标。模型需要结合完整上下文，判断当前回答在整段对话中会起到什么作用。
另一类问题是安全约束在持续追问中失效。模型可能最初识别了风险，却在用户改换措辞或增加情境说明后逐渐放松限制。保持安全一致性，需要跟踪请求的实质目的，同时根据新信息更新判断，既不被表达形式的变化带偏，也不让先前的风险判断影响后续已经转向正常需求的交流。
针对这些问题，我们开展多轮安全数据建设、混合训练与消融验证，重点关注上下文中的风险识别和持续追问下的回应一致性。训练实验同时考虑口语表现，使模型能够简洁地说明限制、提供适当帮助。
评测采用内部构建的中文、英文多轮攻击测试集，各包含 200 个会话，在给定对话历史下检查模型是否出现安全失效，并以攻击成功率衡量结果，数值越低越好。
（图 3：单轮安全通过率与多轮攻击成功率的版本对比，安全通过率越高越好，攻击成功率越低越好）
（图 3：单轮安全通过率与多轮攻击成功率的版本对比，安全通过率越高越好，攻击成功率越低越好）
▎从固定测试走向动态对抗：继续寻找失效边界
固定测试便于复现和版本比较，动态对抗则进一步检查：当提问者根据模型的实际回复调整策略时，模型能否继续保持安全。
为此，我们在固定基准之外加入真人红队测试。5 名测试者围绕 10 类风险开展共 50 个多轮会话，根据模型回复调整追问，再由自动裁判对会话历史评分。Qwen-Audio-3.1-Realtime 在这项测试中的会话级安全通过率为 92.00%，在多数测试会话中保持了符合评分要求的安全行为，但仍存在针对性追问下的失效案例。
自动化多轮红队进一步将动态对抗扩展为可训练的过程：红队读取目标模型的真实回复，逐轮选择策略、调整追问，寻找固定题库之外的薄弱环节。整体框架分为两个阶段。
第一阶段：冻结目标模型，训练红队。保持目标模型参数不变，红队结合攻击目标选择策略，并根据回复动态调整后续提问，生成多轮交互轨迹。裁判逐轮评估风险程度与目标完成情况，再综合攻击结果和交互过程形成轨迹奖励。针对同一目标采样多条轨迹，通过 GRPO（组相对策略优化）进行组内比较，仅更新红队模型，提高有效追问的概率。
第二阶段：基于 GRPO 的攻防联合训练。进一步探索红队与目标模型的交替优化。攻击侧基于共享对话上下文生成多种追问候选，结合攻击效果与多样性评估交互轨迹，优化红队策略；防御侧生成多种回答候选，根据安全性与有用性进行比较，优化目标模型的回应。双方通过持续交互与交替更新，将问题发现和防御改进连接起来。
这一阶段需要兼顾防御效果与正常交流能力：目标模型既要避免实质性的有害帮助，也要回应请求中可以安全处理的部分。通过交替优化，红队持续寻找新的薄弱环节，目标模型针对这些问题改进回应，形成“发现失效—比较候选—优化行为—再次检验”的循环。
（图 4：自动化多轮红队与攻防联合训练框架）
（图 4：自动化多轮红队与攻防联合训练框架）
▎结语
语音助手的可靠性，体现在每一次具体的回应中：能否纠正错误前提，能否在缺少依据时表达不确定性，能否识别有害请求，也能否在持续追问中保持判断的一致性。
Qwen-Audio-3.1-Realtime 围绕这些问题，将事实性幻觉、单轮安全与多轮安全纳入持续评测和优化，并通过动态红队探索更复杂的失效场景。基准结果呈现了已有进展，尚未解决的案例则指向下一步工作。
让模型有依据地回答、有分寸地提供帮助，并在长时间交流中保持可靠，是自然语音交互持续演进的重要方向。
欢迎体验
Qwen-Audio-3.1-Realtime API：https://www.qianwenai.com/models/qwen-audio-3.1-realtime-plus
往期推荐
Recommend
▎结语
语音助手的可靠性，体现在每一次具体的回应中：能否纠正错误前提，能否在缺少依据时表达不确定性，能否识别有害请求，也能否在持续追问中保持判断的一致性。
Qwen-Audio-3.1-Realtime 围绕这些问题，将事实性幻觉、单轮安全与多轮安全纳入持续评测和优化，并通过动态红队探索更复杂的失效场景。基准结果呈现了已有进展，尚未解决的案例则指向下一步工作。
让模型有依据地回答、有分寸地提供帮助，并在长时间交流中保持可靠，是自然语音交互持续演进的重要方向。
