我们常用的评测基准被污染了吗？一次快速排查

我们的方法借鉴了 Golchin 和 Surdeanu（2024）提出的 Time Travel 记忆探针 [1]，并做了扩展。同一道题在有提示和无提示两种条件下各做一次复现，裁判同时给出两类独立的判定。整个流程分四步。

对每道基准题目，取对外发布的完整原文（题干、上下文、选择题选项都算在内），在题目内部的句子边界处切分全文——切分点位于全文的 40%–70% 之间，且保证被隐去的后续部分不少于 40 个字符。

每个基准随机抽取至多 100 道题。

把前缀交给被测模型，要求它逐字默写出被隐去的后半部分（而不是回答这道题）。

同一道题各做一次：引导组（guided）的提示中说明这段文字出自哪个基准；对照组（control）只说它来自「某个 LLM 基准」，其余完全相同。

一个独立的 LLM 裁判同时看到前缀、被隐去的原文和两组补全，对每个样本一次调用返回两类判定：

裁判还会评估「点名基准是否提升了复现」（benchmark hint），作为诊断信息保留，但不进入最终结果。

对每个「模型–基准」组合，统计各标签的样本占比：以 s 表示被判「疑似」的样本占比、c 表示被判「明确」的占比，污染分定义为：

疑似及以上都计入污染信号，而近乎铁证的「明确」按双倍权重计入。污染分大于 0 的组合即被标记、进入人工复核；平台的监测看板按 5 / 15 / 30 / 50 四档分色展示污染分。

绝大多数「模型–基准」组合的污染分为 0：即使不看污染分、只看原始占比，被判「疑似」的样本也普遍在 2% 以下，被判「明确」的大多在 1% 以下。

为了确认这套探针确实能检出已知污染，我们特意加入了两个阳性对照：GPQA Diamond [3] 和 MMLU-Pro [4]。

这两个基准在网上流传极广、泄露严重，虽然不在我们的标准监测体系内，但正好用来检验方法是否灵敏。结果不出所料：它们成了整张结果表里最显眼的两个例外。

两个对照基准都标记出了 Claude Opus 4.8。在 GPQA Diamond 上，它的污染分达到 74。37% 的样本被判定为「明确」的先前接触，54% 近乎逐字默写出了被隐去的文本。

其他模型在这个基准上的污染分最高不超过 10。

在 MMLU-Pro 上，同一模型的污染分为 28。探针能在这两个公认泄露严重的基准上给出强信号，恰好说明方法是灵敏的。不过由于它们都不在平台的监测范围内 [5]，这一结果并不影响我们实际发布的分数。

举一个直观的例子，看看一次「接近复现 + 明确接触」的补全长什么样。我们给 Claude Opus 4.8 看了 MMLU-Pro 里的这道题：

被隐去的后半部分是：

Claude 把全部十个选项按原顺序一字不差地默写了出来。

真正值得重视的发现出在 Agentic Misalignment [6] 上——这是平台在评测中使用的基准之一。

Claude Opus 4.8 的污染分为 29.2（12.5% 的样本「明确」接触、16.7%「疑似」），并且大段默写出了场景文本。该基准上其余模型的污染分均为 0。

和前两个基准不同，我们把这一基准用于失控评测 [5]，因此正在直接跟进这一发现。

两套标签的分工也值得说明。

以 BioLP-bench 为例，各模型的复现忠实度普遍很高(引导组「接近」占比平均 15%)，但绝大多数模型的先前接触占比接近零、污染分不超过2(最高为KimiK2.6 的6 分)。

因为题目取自公开实验协议，模型背得出协议原文并不等于见过基准版本。由此可见「先前接触」相比于「复现忠实度」作为判定标准的好处。

把全部 516 个「模型–基准」组合按污染分从高到低排列，信号的分布一目了然。只有 10 个组合达到 10 分及以上，其余都在个位数或为零，而位居榜首的正是上面提到的三个组合。

我们不会只凭这些数字下结论。裁判本身也是 LLM，它的标注尚未经过大规模的独立验证，所以偏高的污染分只是一个提请人工复核的信号，并非最终结论。

一旦某个「模型–基准」组合被标记，复核人员会直接查看被标记的样本，判断模型是否真的受到了污染。

如果我们认定某个模型在某个基准上的得分很可能受了污染，就会把这个组合从平台上移除，或者至少标注为疑似污染。

检测结果出来之后，更根本的问题是：污染到底意味着什么？

公开基准的题目会随着时间在网上不断扩散——被论文、博客、教程、讨论帖反复转载——最终以普通网页文本的形式进入预训练语料。

模型「背下」题目，可能只是这种偶然接触的自然结果，不代表任何人有意为之。不过，也不排除模型开发者有针对性地把基准数据混进训练集，直接抬高评测分数。

仅凭复现结果本身，我们无法区分这两种情形，也不应恶意揣测任何一家模型开发商。但无论成因为何，这一现状都值得警觉。它侵蚀的是整个评测体系赖以存在的公信力。要改变这一现状，需要两方的共同努力：