大数跨境
首页
>
没有标准答案的题，怎么打分？| 模型评测 Rubric 入门
>

没有标准答案的题，怎么打分？| 模型评测 Rubric 入门

没有标准答案的题，怎么打分？| 模型评测 Rubric 入门 经纬出海
2026-10-26
9
导读：benchmark、RL 环境、自进化，最底层都是同一件事：给一道题写评分细则。出题人系列第一篇，从 rubric 讲起。
Image

数学题有标准答案，作文没有。但高考作文依然能被几十万份地批改，靠的是一份评分细则：内容、表达、发展等级各占多少分，偏题怎么扣，哪些亮点可以加分。

rubric 就是写给 AI 的评分细则。

当 AI 只做数学和代码题时，评分很简单：答案对不对，测试过不过。但今天大家真正关心的任务，大多像作文而不像数学题：
  • 一段医疗建议，是否既准确又不吓到病人
  • 一份论文复现代码，是否真的复现了核心结果
  • 一个 GitHub 项目，到底算不算好的研究工作

这些任务没有唯一正确答案，但「好」和「不好」依然有共识。rubric 做的事，就是把这种共识拆成一条条可以检查的条目。


给开放式回答打分，常见做法有三种：
  1. 对标准答案：拿回答和参考答案比相似度。问题是好答案可以有很多种写法，和参考答案不像不代表错
  2. 整体打分（Likert）：让评审直接给 1–10 分。简单，但分数是个黑箱，说不清为什么是 7 分而不是 8 分，不同评审之间也容易漂移
  3. 逐条检查（rubric）：把「好答案」拆成若干条具体标准，逐条判断有没有做到，再按权重加总。每一分都能追溯到具体条目
第三种最费人力，也是近两年头部实验室投入最多的方向。

一、两个标杆：医生写的 rubric 和论文作者写的 rubric

HealthBench：262 位医生，48562 条细则

OpenAI 在 2025 年发布的医疗评测 HealthBench，是目前规模最大的 rubric 评测之一：
  • 5000 段真实感的医患对话，单轮或多轮
  • 48562 条独立的评分细则，每段对话平均约 11 条，最多 48 条
  • 由 262 位医生编写，他们在 60 个国家执业，覆盖 26 个专科、49 种语言，前后用了 11 个月

它的设计有几个值得学习的细节：
  • 每条细则都有分值，从 -10 到 +10。正分奖励该做的事，比如「询问膝盖疼痛的更多细节以缩小诊断范围」；负分惩罚不该做的事，比如在不确定时给出过度自信的用药建议
  • 逐条独立判断，由模型评审对照每条细则给出「满足 / 不满足」
  • 单题得分等于实际得分除以满分，可以是负数。一个回答可能写得很长、信息很多，但只要踩中几条严重扣分项，总分就会被拉下来
  • 细则按 7 个主题（如紧急转诊、不确定性下的回答、寻求上下文）和 5 个维度（准确、完整、沟通、情境意识、指令遵循）归类

HealthBench 最有价值的地方不是规模，而是负分。很多评测只奖励「说对了什么」，却不惩罚「说错了什么」。医疗场景里，一句错误的建议比漏掉十个知识点更危险。好的 rubric 必须同时写清楚加分项和扣分项。

PaperBench：和原作者一起写的复现 rubric
同样来自 OpenAI 的 PaperBench，考的是 AI 能不能从零复现一篇顶会论文：
  • 题目是 20 篇 ICML 2024 Spotlight 和 Oral 论文
  • rubric 是树形结构：「复现这篇论文」被逐层拆成子任务，最终落到 8316 个可单独评分的叶子节点
  • 每篇论文的 rubric 都和论文原作者共同制定，确保拆出来的要求真的抓住了核心贡献
  • 在发布时，表现最好的 agent 平均复现得分只有 21.0%，还没超过人类博士的基线

「和原作者共同制定」这一点很关键。一篇论文最重要的是哪个实验、哪个结果，只有真正做过这项工作的人最清楚。rubric 的质量上限，取决于写它的人对这个领域的理解深度。


二、Rubric 不只是考卷，也可以是奖励
Rubric 最初用来评测，但 2025 年起，它开始被直接拿来训练模型。

Scale AI 团队的论文 Rubrics as Rewards（RaR，ICLR 2026）提出：既然数学和代码可以用「答案对不对」做强化学习的奖励，那医疗、科学这类没有唯一答案的领域，能不能用 rubric 当奖励？

他们的做法：
  1. 每道题生成 7–20 条 rubric 条目，每条标注一个类别：Essential（必须）、Important（重要）、Optional（加分）、Pitfall（陷阱）
  2. 训练时，评审模型对照 rubric 给模型的回答打分，分数作为强化学习的奖励
  3. 两种汇总方式：显式，逐条判断后按权重加总；隐式，把全部条目交给评审，让它给一个整体分。实验中隐式效果最好，显式的优点是更可控、更可解释

结果：和直接让评审打 1–10 分的基线相比，在 HealthBench 上相对提升最高 31%，在研究生级科学题 GPQA-Diamond 上提升 7%。

但论文里最值得注意的是一组对照数据（HealthBench 得分）：
  • 不给参考答案、让模型直接生成 rubric：32.0%
  • 根据专家参考答案生成 rubric：35.9%
  • 人类专家亲手写的 rubric：34.8%


这组数据说明，rubric 可以让模型来写，但必须有专家的知识作为锚。没有专家参考答案时，模型写出来的 rubric 明显更差；有了这个锚，模型生成的 rubric 就能达到人工水平，而且可以规模化。专家的价值不会因此消失，只是从「逐条写细则」变成了「给出判断的锚点」。

三、让 AI 自己写 rubric，靠谱吗？
如果模型能写 rubric，是不是就不需要专家了？今年 7 月的一项研究专门回答了这个问题，标题就叫 Can LLMs Write Reliable Rubrics?。

研究者让 Claude 和 GPT 为 PaperBench 的论文写复现 rubric，再看这些 rubric 给出的分数和人类 rubric 有多一致：
  • 人类 rubric 的分数与复现质量的相关系数是 0.83
  • 模型直接写 rubric：0.55–0.62
  • 加上示例、agent 框架和专门提炼的技能后提升到 0.74–0.78，仍然比不上人类

更有意思的是模型 rubric 的几种典型偏差：
  • 过度细碎：把实现拆成大量小步骤，条目很多，却丢了整体判断
  • 偏重代码：模型 rubric 把六成以上的分数给了「代码写没写」，而在强化学习类论文上，人类 rubric 把 48.8% 的分数给了「结果对不对得上」
  • 不分领域：不同类型论文的 rubric 长得差不多，人类 rubric 则会随领域明显变化
  • 分数膨胀：倾向于把每一条都标成「重要」
  • 重细节、轻主次：在一个案例里，模型给超参数和样本数这类细节很高的权重，人类则把核心里程碑放在前面，细节放进低权重条目


我们的观察： 这五个偏差背后其实是同一个问题：模型知道「有哪些点」，但不知道「哪个点最重要」。 列出检查项是知识，判断主次是品味。前者正在被 AI 快速追上，后者仍然稀缺。

这也是为什么我们认为，专家标注最值钱的部分不是「写了多少条」，而是「权重怎么分」。

四、一条好 rubric 的标准
综合上面的研究和我们自己的实践，一份好的 rubric 至少要满足以下几点：
  1. 原子化：每条只检查一件事。「回答准确且全面」应该拆成两条
  2. 可判断：两个独立评审看同一个回答，结论应该一致。「写得好」不是 rubric，「在第一段明确给出结论」才是
  3. 自包含：评审只看这一条，不需要额外背景也能判断
  4. 有主次：用权重或类别区分必须项和加分项，避免所有条目都很「重要」
  5. 有扣分项：明确写出不该出现的错误，比如事实错误、过度承诺、危险建议
  6. 有区分度：如果所有回答在某一条上都满分或都零分，这一条就没有提供信息，应该改写或删除
  7. 防钻空子：避免奖励容易刷的表面特征，比如长度、格式、关键词堆砌
  8. 能被校准：rubric 打出的分数，要能和真实结果对得上，比如医生的最终判断、论文后续的影响、项目真实的使用情况

前七条决定一份 rubric 写得好不好，第八条决定它能不能持续变好。第八条也会是这个系列最后一篇「自进化」的主题。

四、我们正在写的 rubric：怎么评价一个研究作品
Relia 正在做的作品评估 benchmark，核心就是一套 rubric：给定一个公开的研究作品（一篇 arXiv 论文、一个 GitHub 仓库、一个 Hackathon 项目），判断它的质量。

这比 HealthBench 和 PaperBench 都更难：
  • 没有原作者参与，只能依靠领域专家判断
  • 「好作品」的标准本身包含品味，比如问题选得好不好、贡献是不是真的新
  • 最终的「真实结果」来得很慢，可能是一年后的引用、开源社区的采用，或者作者后来的职业发展

下面是我们为「AI 研究类 GitHub 仓库」写的 rubric 初稿片段，分成四类：


必须项
  • 仓库能按 README 跑通至少一个核心实验
  • 报告的主要结果有对应的脚本或配置，可以复现
重要项
  • 有和合理基线的对比，而不是只和弱基线比
  • 有消融实验，说明每个设计选择的贡献
  • 问题定义清楚，能用一两句话说明「解决了什么、为什么现在值得解决」
加分项
  • 代码结构清晰，核心逻辑和实验脚本分离
  • 提供预训练权重、数据处理脚本或在线 demo
陷阱项（扣分）
  • 报告结果无法从代码中找到出处
  • 只在单一随机种子或极少量数据上报告结果，却给出强结论
  • 用大量工程堆砌掩盖缺少核心贡献

这份初稿的问题我们自己也很清楚：前两类偏重「可复现」，还没有很好地刻画「问题选得好不好」这种品味判断。这正是我们需要领域专家参与的地方。后面的「出题笔记」会持续公开这份 rubric 的迭代过程，包括每一版改了什么、为什么改。

Relia｜Where frontier AI teams meet researchers and builders.
Relia 是面向 AI 研究型人才的招聘平台，连接前沿 AI 团队和 AI 硕博研究者、builder，我们覆盖的方向：

大模型：预训练 / 后训练 / 评测
智能体：Agent 算法与开发
具身智能：多模态、具身、机器人
AI Infra：推理系统、AI 芯片
量化金融：数据挖掘、交易系统
AI4Science：药物发现、蛋白质、科学智能体

🙋 求职者：在 Relia 浏览前沿岗位，一键直投 
🏢 招聘方：免费发布岗位，触达全球 AI 人才 
🌐 https://www.relia.ai/（阅读原文）
AI求职 / 招聘合作：dylanmiao7

【声明】内容源于网络
0
0
经纬出海
1234
内容 19
粉丝 0
经纬出海 1234
总阅读1.0k
粉丝0
内容19