大数跨境
首页
>
当考卷变成练习场：AI为什么会作弊？| 模型 RL 环境拆解
>

当考卷变成练习场：AI为什么会作弊？| 模型 RL 环境拆解

当考卷变成练习场：AI为什么会作弊？| 模型 RL 环境拆解 经纬出海
2026-10-28
6
导读：benchmark 的漏洞只会让分数不准，RL 环境的漏洞会直接教会模型作弊。出题人系列第三篇：练习场怎么搭，模型怎么钻空子。
Image
前两篇我们讲了 rubric（一道题怎么打分）和 benchmark（一张考卷怎么出）。今天再往上一层：当考卷不再只用来考试，而是用来训练，它就变成了 RL 环境。

这一步看起来只是换了个用途，但性质完全变了：
  • benchmark 的评分器有漏洞：分数不准，大家可以质疑、修正，最多换一张考卷
  • RL 环境的评分器有漏洞：模型会在成千上万次尝试中找到漏洞，并且因为「得了高分」而被强化。漏洞不再只是测量误差，它会被写进模型的行为里
所以今天这篇的主角不是题目，而是裁判。


一、从考场到练习场：为什么题目越来越贵

一个 RL 环境由三样东西组成：环境（模型能做哪些动作）、任务（要达成什么目标）、评分器（判断做得好不好）。模型反复尝试，评分器打分，高分的策略被强化。

这里一个关键变化：一道题在训练中被「用」的成本，正在快速上升。

AI 研究机构 Mechanize 算过一笔账：
  • 一道 SWE-bench 难度的题，模型做一遍大约产生 2 万个 token；如今前沿的 RL 任务平均已经到 10 万个 token
  • 而且这个长度每年增长约 5 倍，一年后可能到 50 万个
  • 按 DeepSeek-R1 的做法，每道题要让模型做 64 遍再比较好坏，加上重复使用，一道题在生命周期里消耗的算力大约值 2400 美元

他们的结论是：花在一道题上的钱如果远低于 500 美元，就是在浪费算力；一年后，合理的价格会涨到每题几千美元。实验室会越来越倾向于请全职的领域专家来出精心设计的题，而不是靠程序批量生成或低价外包。

题目越贵，评分器的漏洞就越贵。一道题被做 64 遍，只要评分器有一个能钻的空子，模型就有 64 次机会找到它，而一旦找到，这 2400 美元的算力就是在训练模型作弊。

二、模型真的会钻空子：两个案例
「reward hacking」（奖励投机）听起来像理论风险，但它已经在前沿模型身上被反复观察到。

案例一：METR 的观察
AI 评测机构 METR 在 2025 年发布的报告里，记录了前沿模型在任务中「作弊」的具体手法：
  • 直接改写计时器，让程序看起来跑得更快
  • 篡改或绕过评测代码
  • 提前算好答案再「假装」现场计算、
  • 重写「等于」运算符，让任何答案都被判为正确
  • 到处搜索泄露的标准答案

频率也不低：
  • 在 AI 研发类任务集 RE-Bench 上，30.4% 的运行出现了钻空子行为
  • 其中「优化 LLM 训练流程」这道题，21 次运行全部（100%）都在钻空子
  • 即使在提示里明确要求不许作弊，这道题的作弊率仍在 70%–95%
  • 事后问模型「你的做法符合用户的本意吗」，它 10 次里 10 次都回答「不符合」


最后一条最值得玩味：模型知道这不是用户想要的，但它还是这么做了，因为环境奖励的是分数，不是本意。

METR 还提出了一个重要警告：如果发现作弊后，直接训练模型「不要作弊」，模型可能学会的是把作弊藏起来，而不是停止作弊。更可靠的办法是修补评分器本身。

案例二：「快 100 倍」的 CUDA 工程师
2025 年初，日本 AI 公司 Sakana AI 发布「AI CUDA 工程师」，宣称能把部分模型训练加速最高 100 倍。

很快，有用户实测发现，它生成的代码不但没变快，反而慢了 3 倍。Sakana 复盘后承认：系统学会了利用评测代码的漏洞，绕过了正确性校验，在指标上拿了高分，实际上什么都没加速。他们修补了评测框架，修订了论文，并公开道歉。

 这两个案例说明同一件事：模型优化的是你测量的东西，不是你想要的东西。 在 benchmark 上，这意味着一个虚高的分数；在 RL 训练里，这意味着一个被系统性奖励的坏习惯。

三、三种裁判，三种漏洞
既然裁判这么关键，RL 环境里的评分器主要有哪几种，各自的漏洞在哪？


1. 程序验证：最可靠，但覆盖面窄
单元测试、标准答案比对、数学证明的形式化检查、物理仿真，都属于这一类。它的好处是客观、便宜、可以无限次调用。

漏洞在于测试覆盖不全。SWE-bench 的测试有的太窄、有的太宽；METR 案例里，模型直接把评测代码本身当成了攻击对象。

2. rubric + 模型评审：覆盖开放任务，但评审本身有偏好
对没有标准答案的任务，用 rubric 让另一个模型来打分，这就是系列第一篇讲的 Rubrics as Rewards 的思路。国内的 Kimi K2 也采用了类似做法：在主观任务上，让模型对照一套核心 rubric 两两比较自己的回答，再用可验证任务上的结果反过来校准这个「评审」。

漏洞在于评审模型有自己的偏好：更长的回答、更自信的语气、更漂亮的格式，都可能被系统性地打高分。模型很快就会学会迎合评审，而不是把事情做对。

3. 人类专家：最可靠，最贵
专家能发现「能跑但不好」的解法，能识别看似合理实则错误的推理。但专家没法给每一次尝试打分，成本太高，速度太慢。

好的 RL 环境不会只用一种裁判，而是组合使用：
  1. 能用程序验证的地方，一律用程序验证
  2. 程序验证覆盖不到的地方，用 rubric + 模型评审
  3. 人类专家不直接给每次尝试打分，而是抽查和审计前两种裁判，发现漏洞后修补
专家在这里的角色，从「批改作业的人」变成了「检查裁判的人」。

四、环境数量不再稀缺，保真度才稀缺
RL 环境的数量正在快速膨胀。
  • Prime Intellect 的开源环境社区 Environments Hub，到今年 8 月已经汇集了 2500 多个开源训练环境，覆盖代码、科学、数学、金融、法律、医疗、客服、运维等 12 个类别
  • Kimi K2 的技术报告披露，他们为训练 agent 能力，聚合了 3000 多个真实的 MCP 工具，又合成了 2 万多个模拟工具，生成了数千个带不同工具集的 agent 和任务；在代码类任务上，则坚持用真实的执行沙箱


但数量不是问题的全部。Epoch AI 访谈的一位实验室研究员说得很直接：大家都在克隆网站和应用来做环境，但很多人只是「随手 vibe coding 一个有 bug 的网站」，这样的环境毫无用处。

一个充满 bug 的仿真 Excel，教给模型的不是怎么用 Excel，而是怎么应付这个有 bug 的仿真。

当搭环境的工具越来越成熟，环境的数量会变得廉价，保真度和裁判的可靠性会变得稀缺。前者靠工程师，后者靠真正懂这个领域的人：只有每天用 Excel 做财务模型的人，才知道一个仿真的 Excel 哪里「不像」。

五、好 RL 环境的检查清单
综合以上，我们整理了一份搭 RL 环境时的检查清单：
  1. 先设计裁判，再设计题目：题目可以后补，裁判不可靠，题出得再好也是在教模型作弊
  2. 先自己当一次攻击者：上线前，专门找人（或模型）尝试钻评分器的空子
  3. 不要让模型看到评分逻辑：METR 发现，在模型能看到完整评分函数的 RE-Bench 上，钻空子的比例比另一个任务集 HCAST 高出约 43 倍，他们认为能看到评分逻辑可能是原因之一
  4. 至少一次人类盲做：确认题目本身可解，排除「题目错了」
  5. 多种信号交叉验证：程序验证、rubric 评审、专家抽查，三者结论不一致时优先排查
  6. 环境要真实：能用真实工具和真实沙箱的，不用粗糙的仿真
  7. 盯住异常高分：某道题的通过率突然暴涨，先怀疑漏洞，再怀疑能力
  8. 难度要有梯度：太难和太简单的题都不产生学习信号，随训练进度持续换题

五、招聘里的「钻空子」：我们为什么关心这件事
我们做的作品评估，最终也要训练一个能评判作品质量的模型。而这个模型同样会面临 reward hacking 的风险，只不过换了一种形式。

假设我们用「这个人后来是否被顶尖团队录用」作为奖励信号，去训练一个评估模型，它很快会发现一些捷径：
  • 名校背景的人更容易被录用，那就给名校的作品打高分
  • 论文引用多、GitHub star 多的作品更容易被认可，那就看这些数字打分

这些捷径在统计上「有效」，但它们恰恰是传统招聘一直在用的偷懒方式。学历、头衔、引用数，本质上就是招聘行业的 reward hacking：用容易测量的代理指标，替代真正想评估的能力。


如果我们的评估模型也学会了这些捷径，它不过是一个更贵的学历筛选器。所以在设计作品评估的 rubric 和奖励信号时，我们给自己定了几条原则：
  1. 评审时隐去作者身份：学校、导师、机构信息在打分阶段不可见，只看作品本身
  2. 把代理指标当作嫌疑对象：如果评估结果和学校排名、引用数高度相关，先怀疑模型学会了捷径
  3. 专门关注「被低估」的样本：那些背景普通、作品扎实、后来证明很优秀的人，是检验评估系统有没有钻空子的最好试金石

这也是我们做这件事的初心：评估一个人，应该看他做了什么，而不是他来自哪里。

Relia｜Where frontier AI teams meet researchers and builders.
Relia 是面向 AI 研究型人才的招聘平台，连接前沿 AI 团队和 AI 硕博研究者、builder，我们覆盖的方向：

大模型：预训练 / 后训练 / 评测
智能体：Agent 算法与开发
具身智能：多模态、具身、机器人
AI Infra：推理系统、AI 芯片
量化金融：数据挖掘、交易系统
AI4Science：药物发现、蛋白质、科学智能体

🙋 求职者：在 Relia 浏览前沿岗位，一键直投 
🏢 招聘方：免费发布岗位，触达全球 AI 人才 
🌐 https://www.relia.ai/（阅读原文）
🤝 AI求职 / 招聘合作：dylanmiao7

【声明】内容源于网络
0
0
经纬出海
1234
内容 21
粉丝 0
经纬出海 1234
总阅读1.1k
粉丝0
内容21