为什么 Human last Exam 近一半的题有问题？

• 2025 年 7 月，FutureHouse 发现：生物和化学题里，约 29% 的标准答案和已发表的研究相矛盾。
• 2026 年 2 月，HLE-Verified 逐题复核了全部 2500 道题：只有 27% 能直接确认正确，46% 需要修订，28% 无法确定对错。
• 2026 年 8 月，Epoch AI 随机抽查 48 道题，22 道有影响判分的严重错误。

一、「人类最后的考试」是怎么出的

1. 征题：近千位学科专家，来自 50 个国家、500 多家机构，提交了 7 万多道题。数学占 41%，其次是生物医学、计算机、人文社科、物理和化学。
2. 用模型筛：每道题先拿去考当时最强的几个模型。只要模型答对了，这道题就淘汰；只有模型全部答错的题，才能进入下一轮。 这一步把题目砍到约 1.3 万道。
3. 专家审核：留下的题经过两轮专家审核，再根据社区反馈删掉能直接搜到答案的题，最后公开 2500 道，另外留了一套私有题，用来检测有没有人针对公开题刷分。
4. 奖金：总奖池 50 万美元。最好的 50 道题每道 5000 美元，接下来的 500 道每道 500 美元。

为什么偏偏是 HLE 错得这么多？关键在第二步的筛选规则：模型答对就淘汰，模型答错才留下。

这条规则的本意，是留下真正难的题。但想一想，一道题在什么情况下会让模型「答错」：

1. 题目真的很难：模型确实不会。这是出题人想要的。
2. 标准答案本身是错的：模型答出了正确答案，却和错误的标准答案对不上，被判「答错」。
3. 题目有歧义或条件不全：可能的答案不止一个，模型选了另一个合理的答案，被判「答错」。
4. 考的是冷门知识点：答案藏在某篇很少人读过的文献里，或者干脆是出题人自己的理解。

这条规则只能证明「模型没有答出标准答案」，证明不了「标准答案是对的」。

而且，后三种题通过筛选的把握，比第一种还大。一道真正的难题，下一个版本的模型可能就做出来了；一道答案错了的题，模型越强，越会坚持给出正确答案，也就越稳定地「答不对」。这条筛选规则在找最难的题，也在源源不断地把错题筛进来。

HLE-Verified 的数据印证了这一点：把错题修正之后，8 个前沿模型的平均分涨了 7 到 10 分；在那些原本有错的题上，分数涨了 30 到 40 分。换句话说，在这些题上，很多时候模型是对的，是标准答案错了。

研究者还报告，模型的置信度和题目是否有错之间存在很强的关联：模型很有把握却和标准答案对不上的题，值得优先怀疑题目本身。

四、第二层：奖励出难题，没人奖励出对题

筛选规则把错题放了进来，审核本该把它们挡在外面。可审核的设计，也没有往「对」的方向使劲。

奖金奖的是「难」。 一道题能不能拿到 500 或 5000 美元，先看它能不能难倒模型。对出题人来说，最划算的策略不是出一道严谨的好题，而是出一道模型答不出的题，比如一个冷门到几乎没人知道的知识点，或者一个只有自己认可的答案。

审核没时间验证「对」。 FutureHouse 指出，HLE 给审核专家的要求是：题目要有客观、唯一的正确答案；但如果完整核实一道题的推导要花超过 5 分钟，审核人可以不做。对一道号称博士级别的题来说，5 分钟往往连读懂题目都不够。

于是整个流程里，出题人确认过「模型答不出」，却没有人被要求确认「答案是对的」。

这不是某一个人的疏忽，而是机制设计的结果：你奖励什么，就会得到什么。

五、第三层：最难的问题，专家也会吵架

即便没有错题，HLE 还会碰到一个更难绕开的问题：越接近知识前沿，「标准答案」本身就越有争议。

• HLE 团队自己复查时，三位专家中至少有一位不同意的题，占 25%。
• HLE-Verified 做了最仔细的复核，仍有 28% 的题无法确定对错，只能单独标出不确定的来源。
• FutureHouse 的结果里，也有约 19% 被归为「存在争议」，既不能说对，也不能说错。

这和我们之前拆过的 Ideation Arena 是同一个现象：两位专家看同一个科研想法，一致率只有 57%。在知识的边缘，单个专家的判断本来就靠不住。

可 HLE 的格式要求每道题只有一个标准答案，由出题人一个人说了算。这等于把一个本该由一群专家裁决的问题，交给了一个人。

六、这个分数还能怎么读？

HLE 的分数涨得飞快：2025 年 1 月 GPT-4o 只有 2.7%，到今年 10 月，Opus 5.5 不用工具已经到了 61% 左右。

可在一张相当大比例的题有问题的考卷上，这个分数要换个方式读：

1. 高分不全是能力：有一部分分数，可能来自模型「答对了错误的标准答案」。
2. 低分不全是无能：有一部分失分，是模型答对了，却被错误的答案判错。
3. 满分不是目标：如果一道题的标准答案是错的，最理想的模型就应该答不对它。

所以各方都在修。HLE 团队推出了持续更新的 HLE-Rolling；今年 9 月，有人整理出一套清洗过的 1000 题精简版 HLE-Diamond，Artificial Analysis 从 10 月起用它取代了原版 HLE。

七、众包专家出题，该怎么设计？

HLE 并不是一个失败的项目。它证明了全球专家众包可以在很短时间里汇集大量真正困难的问题，这件事本身很有价值。它的问题出在机制上，而这些问题，任何组织专家出题的人都会碰到。

从 HLE 的教训里，我们读出四条：

1. 奖励「对」，不只奖励「难」：报酬要和题目通过独立验证挂钩，而不是只和「难倒模型」挂钩。
2. 给审核留足时间：审核人要有足够的时间真正复算、查文献，而不是 5 分钟看个大概。
3. 一道题，多人独立判：出题人之外，至少两位专家独立给出答案，对不上的题拿出来裁决。
4. 把分歧标出来：前沿问题有争议是正常的。与其强行给一个标准答案，不如标注「专家意见不一致」，让这类题在评测里单独计分。

这也是我们在做专家数据时最在意的：专家的价值不只是会出难题，更在于能把「什么叫做对」验证清楚。 组织专家的方式，决定了题目的质量。

Relia Lab｜Benchmark and expert data for frontier AI

Relia Lab 是 Relia 的评测与专家数据实验室，我们正在招募出题人的方向：

代码评测：软件工程、系统运维、安全、Agent 开发

科研评测：理工科研究、实验设计、论文与研究想法

3D 评测：3D 生成、建模与渲染、空间理解

产品评测：产品设计、前端与 UI、交互体验、用户研究

工业评测：工业设计、制造工艺、CAD 与仿真

量化评测：因子与策略研究、回测与风险、交易系统

🙋行业专家：后台回复「出题」，了解出题人计划并报名

🏢 AI 团队：后台回复「合作」，定制 Benchmark、专家数据与RL环境