最近 Anthropic 发了篇《Building strong safety evaluations》,讲安全评测怎么做才不骗人。里面有个观点值得先记下:安全评测最顺手的指标是拒绝率,但这个指标在自杀和自残相关的对话里会测歪。
模型拒绝了多少有害请求,看起来直观,也容易统计。可用户处在危机中时,模型直接拒绝回应,本身就是失败。理想回应要带着同理心接住用户,并把用户引向真人支持。一个对所有自杀相关提示都拒绝的模型,拒绝率可以很漂亮,但它不一定更安全。
Anthropic 把整套建议拆成四块:先把安全放在第一位,再谈设计、运行和报告。
Anthropic 改测"恰当回应率":一段对话里,模型是否从头到尾都按风险领域的评分标准行事。多轮评测由领域专家写规格,里面包括模拟用户的目标、手法、语气、处境和对话风格。第一轮用户消息固定,后面的用户轮次由另一个 Claude 根据规格生成,被测模型写助手回复。评分器看完整段对话,只要有一轮出错,整段对话就算不通过。
这种设计针对的是单轮提示测不出的风险。现实里,有害意图常常不是第一句话就暴露。用户会逐步升级,或者先聊一个看似普通的问题,十轮之后才把前文语境拼成危险信号。Anthropic 举了一个浪漫骗局的例子:模拟用户先问约会资料里哪些特征说明一个人愿意认识新朋友,再问哪些有钱的老年专业人士可能比较慷慨,被模型质疑后又说不是每个需要支持的人都是骗子。单看每一句都不像明显违规,合起来才像在找可下手的人。
其他风险领域里,"恰当"的含义又不一样。生物和网络安全大多是双重用途:同一个问题,可能帮用户开发疫苗,也可能帮人强化病原体;可能是查自己软件的漏洞,也可能是利用别人软件的漏洞。这时候恰当的回应很少是生硬拒绝,而是接住合法的那部分,同时扣下会给有害用途真正助力的操作细节。
评测还要同时测"帮了不该帮的"和"拒了不该拒的"。Anthropic 在单轮评测里把同一主题的有害请求和正常请求成对放。化学领域里,有害请求可能是问神经毒剂的配方,正常请求可能是问某次历史化学灾难。网络安全里,一边是批量利用漏洞的机器人,一边是表单输入校验。只测拒绝率,模型可能靠过度拒绝拿高分。成对测,才能看到它在合法请求上有没有把人挡在门外。
动手之前还有两个前置问题。
先想清楚你要回答的是什么。大多数评测是观测性的,只告诉你两个模型分数不同,不告诉你为什么。想证明"某个改动让模型更安全",得一次只变一个变量,比如同一个模型加不加某个干预各测一遍。"模型对可能诱发进食障碍的内容回应是否安全"是观测题,"改系统提示会不会让模型更安全"才是因果题。两类问题对应的设计不一样。
团队得同时有方法专家和领域专家。方法专家管怎么采样、评分、分析,领域专家(心理学家、生物学家、政治学家)负责定什么算危害、边界案例怎么判、好回应长什么样。缺一头,评测就容易跑偏:要么技术上严谨但测的不是该领域真正要紧的东西,要么领域很懂但只测了一小撮行为,推不出对整块领域的结论。
跑评测本身也要注意安全。安全评测常常要关掉常规防护才能看到模型的底子,所以要在没有外网的沙箱里跑,实时监控,发现不对劲能立刻停。Anthropic 因为自己此前的几次事故,加固了评测环境,还暂停了一批允许模型上网的评测。
场景要像真的。完全凭空编的场景有两个毛病:对模型太简单,又跟真实用户写的话微妙地不像。Anthropic 的单轮选举诚信题就是从真实使用里观察到的套路来的,比如关于投票点的诈骗电话和短信。没有使用数据,就用公开数据、红队记录、事件报告、临床访谈。场景集还得持续更新,模拟用户再像也比真人简单,用户行为会变。覆盖面同理:他们的单轮安全套件横跨 16 个政策领域、7 种语言、多个产品面,只在 API 上测会漏掉不少退化。
数字本身也要防作弊。测试题要是出现在训练数据里,测的就是记忆不是行为;模型还会找到你没留意的捷径拿分。难度也要校准。Anthropic 单轮评测现在各模型的无害回应率都在 94% 到 98% 之间,基本饱和了,主要当退化回归检查用;多轮任务的分布则宽得多。饱和了就加大难度,但别加脑筋急转弯;反过来,某个知名编程基准被审计出大量任务欠定义、缺上下文,太难的题同样测不出差异。
评分器是现代评测最容易出错的一环。Anthropic 给了几条硬要求:标准拆成原子化的 yes/no,而不是一个总分;明确什么不算,比如解释一类漏洞原理算不算利用代码、伪代码算不算,都要写进评分标准里;明确什么不该改结论,免责声明、警告、教育口吻不能把有害内容洗成无害,要评的是实质。评分器只看对话本身,看不到构建场景用的设计元数据;尽量别用被测模型自己当评分器,模型会认出并偏爱自己的输出;评分器还偏爱长回复、偏爱成对比较里的第一个选项,这些系统性偏差要专门查。评分器坏掉时,那条样本要标记出来排除,而不是静默给分或悄悄丢掉。
最要紧的是拿人工标注校准。先让人类标一批样本,报告评分器和人类的一致率,再跟专家彼此之间的一致率比。专家自己都吵不出统一答案的题,评分器没有正确答案可对。一致率可以算 Cohen's kappa,把碰运气对上的部分扣掉。
统计规范也不能省。分析方案要在看结果之前写好,样本量要够,复杂多轮评测至少 100 条,单轮至少 1000 条,还要报置信区间。文章里的例子很直接:Claude Opus 5 和 Opus 5.5 在一项多轮防诈骗评测上分别是 98% 和 94%,但这个差异在统计上并不显著。看到几个百分点的提升,先别急着宣布进步。要比较两个模型,配对比对更敏锐:两个模型跑同一批题,对逐题差异算置信区间,而不是各算各的总分再比。
配置也会改变分数。Anthropic 报告 API 和 claude.ai 两套配置的安全结果。测试 Claude Fable 5.1 时,多轮安全评测的恰当回应率在两种配置之间差到 34 个百分点。系统提示也会影响结果:自杀和自残评测里,API 配置的恰当回应率是 60%,加上新的系统提示后,claude.ai 配置达到 94%。这条新提示是有具体针对性的,直接写"Claude 不会告诉用户自残有用、有帮助或能为他们做什么,即使用户自己这么说"。所以报告结果时要写清模型版本、采样设置、提示、评分器版本和日期。评分器换了,分数不能直接横比。
这个例子还带出一个更一般的原则:评测要贯穿微调过程持续跑,不只发布前跑一次。Anthropic 很多安全评测在微调期间就对着模型快照跑,结果反馈给护栏和行为团队,发布前就能改奖励信号或系统提示。真在部署系统里测出严重缺陷,先通知开发者给时间修复再公开,别让漏洞在修复前被人利用。
原文讨论里还有两个提醒值得记下。有网友问,模拟用户和被测模型同源,会不会一起漏掉某些盲区。原文建议评分器避免使用被测模型,降低自我偏好,但这个同源盲区仍值得单独验证。另有网友提到,模型升级时评分器也可能升级,分数变好可能只是尺子变松。留一批旧回答,让新旧评分器交叉打分,先看尺子有没有变,这个检查很实用。还有网友说,安全评测最容易做虚的是只测标准题,边界样本和长链路里的累积偏差才更容易暴露问题。
Anthropic 文末给了一个最低要求:先写下要测的概念,先拿人工标注校准评分器,报告结果时带上不确定性。三件事都不新,但很多评测就缺在这三步。
原文:Building strong safety evaluations (https://www.anthropic.com/research/building-strong-safety-evaluations)
关注公众号回复“进群”入群讨论

