今年 4 月，OpenAI 做了一个实验。他们请来专科对口的医生，不限时间，可以随便上网查资料，只是不能用 AI，回答 525 个真实的临床问题。
医生的平均得分是 43.7，OpenAI 面向医生的产品 ChatGPT for Clinicians 拿了 59.0。到 11 月，第三方榜单上最强的模型已经做到 68.1。
这就是 HealthBench：目前业界最有代表性的「细则判分 Rubric 」考卷。
这张卷子没有标准答案。每道题的分数，是由另一位医生写的评分细则、一个负责打分的 AI 评委，再加上一条「写太长要扣分」的规则，一起算出来的。
一、HealthBench 怎么出题、怎么判分
HealthBench 是由医生先为每道题写好评分细则，也就是 Rubric，再让 AI 评委照着细则逐条打分。
图：一道题由一段对话和医生专门为它写的细则组成。正分奖励该说的（如「建议立即就医」+10），负分惩罚不该说的（如「就医建议被埋在回答中段」-6）。
2025 年 5 月第一代 HealthBench 发布：
-
5000 段对话，来自 60 个国家的 262 位医生参与
-
医生一共写了 48,562 条细则，每条分值在 -10 到 +10 之间
-
AI 评委逐条判断回答是否满足，一道题的得分 = 拿到的分数 ÷ 所有正分之和
-
OpenAI 检验过，AI 评委和医生的一致程度，与医生和医生之间相当
今年 4 月发布的第二代 HealthBench Professional，题量降到 525 道，题目的来源也发生了变化：
图：医生出题并写细则 → 其他医生审核 → 医生终审裁决 → 按难度分层抽样，从 15,079 道候选题中选出 525 道。
-
题目来自医生在 ChatGPT for Clinicians 里的真实提问，分临床会诊、写病历文书、医学研究三类。
-
36.4% 是医生故意设计的陷阱题，专门试探模型会在哪里出错。
-
被模型答砸的题会被多抽，难题的比重被放大了约 3.5 倍。
-
细则要过三道关：出题医生写，其他医生审，最后终审删掉主观、含糊的条目。
-
参与的医生有 190 位，来自 50 个国家、26 个专科。
二、AI 在哪些地方赢了？
图：左为总分，右为按会诊、文书、研究三类拆开的得分。
医生 43.7，在 8 个对象里排倒数第二，低于 GPT-5.4 的 48.1 和 Claude Opus 4.7 的 47.0。
按会诊、文书、研究三类场景，差距主要来自写病历和文书：医生在这一类只有 32.1 分，在医学研究上是 56.3。文书类题目考的是把一份病历、一封转诊信写全写规范，细则一条条列出应该包含什么，覆盖得越全分越高。
图：每组三根柱子从左到右分别是：普通提问中的难题、普通提问中的常规题、陷阱题。
-
常规题，AI 大幅领先：医生 55.7，主流模型在 61 到 69 之间。
-
普通提问中的难题，AI 没有赢：医生 37.6，GPT-5.4 37.0，Claude Opus 4.7 36.9，Gemini 3.1 Pro 39.4，基本打平。
-
陷阱题，取决于产品而不是模型：医生 30.0，基础版 GPT-5.4 只有 26.2，ChatGPT for Clinicians 是 55.8。
所以准确说法是：在按 Rubric 逐条计分的卷子上，AI 更擅长把该写的都写上；真正困难的临床问题上，最强的模型和医生差不多。
ChatGPT for Clinicians 和基础版 GPT-5.4 背后是同一个模型，分数却差了一大截。
图：同一个 GPT-5.4，分别以 ChatGPT for Clinicians、带网页搜索、基础版三种方式作答。
总分上，ChatGPT for Clinicians 59.0，基础版 48.1，带搜索的版本 45.8。文书类题目上，带搜索的版本只有 19.7 分，ChatGPT for Clinicians 是 64.1。差别来自模型外面的部分：系统提示、工具、检索方式、回答格式，也就是 Harness。
另一个影响分数的是长度。细则是一条条「应该提到什么」，写得越长，命中的越多。
图：左为未调整的分数，右为按长度调整后的分数。未调整时写得越长分越高，调整后基本持平。
OpenAI 把模型的啰嗦程度从低调到中，回答平均变长约 1300 字符，分数涨了约 3.9 分。所以 HealthBench Professional 加了长度惩罚：超过 2000 字符后，每多 500 字符扣约 1.47 分。
如果拿 Rubric 得分去训练模型，模型很快就会学会多写：多列几条注意事项，多加几个免责声明。每一条都可能命中一条细则，医生看起来却更累。
Rubric 是医生写的，医生之间本来就会有分歧。今年 3 月有一篇论文专门分析 HealthBench 里的医生分歧：细则本身只能解释 3.6% 到 6.9%，是哪位医生来判只能解释 2.4%，约 82% 的分歧只能归到题目本身。
图：没有不确定性的题，医生分歧率 13.2%；只有医学本身不确定的题 13.4%；存在可消除的不确定（缺病史、缺年龄、措辞含糊）的题 28.0%。
医生意见不一致，大多不是因为医学本身有争议，而是题目没把信息给全。
专家出题的价值，不只是出一道难题，而是把「什么叫好回答」写成可以反复使用的标准：
-
先把题目的信息给全：年龄、病史、场景、约束交代清楚，比事后把细则写得更细更有效。
-
扣分项和加分项一样重要：只写应该提到什么，模型就会靠多写拿分；写清不该做什么、重点不能被埋没，才能逼出好回答。
-
多人审，层层审：出题、审核、终审，难题再加独立确认，这是 Rubric 可信的基础。
-
定期校准评委：AI 评委执行 Rubric，要隔一段时间和专家判断对一次，尤其是在被评的模型已经比评委更强的时候。
Relia Lab｜Benchmark and expert data for frontier AI
Relia Lab 是 Relia 的评测与专家数据实验室，我们正在招募出题人的方向：
代码评测：软件工程、系统运维、安全、Agent 开发
产品评测：产品设计、前端与 UI、交互体验、用户研究
🙋行业专家：后台回复「出题」，了解出题人计划并报名
🏢 AI 团队：后台回复「合作」，定制 Benchmark、专家数据与RL环境
