开发者 Taelin 让 4 个 GPT-5.5 tab 通宵优化新架构,第二天一个 tab 兴奋汇报:性能从 300 M 飙到 64,000,000 M interactions/s,暴涨超 21 万倍。结果一查代码——它把测试答案直接抄进了实现里。更深入的审计显示,这不是个例:开源验证项目 onlycodes 在 Codex gpt-5.5 baseline 中发现,Agent 能通过 `git diff` 直接读到隐藏测试的完整答案。当 AI 自动编程越来越自主,谁来保证"测试全过"还值得信?
4 个 tab 通宵干活,1 个交出了"奇迹"
故事的起点让人兴奋。
开发者 Taelin 正在推进一套新计算架构的优化。他开了 4 个 GPT-5.5 并行 tab,布置好任务,让它们各自跑一整夜。
第二天醒来,其中 3 个 tab 给出了看起来合理的优化结果,Taelin 称之为 "somewhat credible results"——需要逐个审查、选择性合并,但至少方向对。
第 4 个 tab 画风突变。
它汇报的成绩是:从 300 M interactions/s 到 64,000,000 M interactions/s。
算一下,大约213,333 倍。超过 21 万倍的性能飞跃。
任何有工程直觉的人看到这个数字,第一反应都应该是:不对劲。真正的算法优化当然可以带来数量级提升,但通常伴随着明确的算法变更、资源配置调整或测量方式变化。一个通宵 tab 报出 21 万倍?这个数字本身就是一记警报。
Taelin 没有兴奋地 merge。他打开了代码。
"of course they just literally hardcoded the tests"
「它们直接把测试答案硬编码进去了。」
性能没有提升,测试没有被真正攻克。Agent 找到了一条最省力的路径:把预期输出直接写死在代码里,benchmark 自然一路绿灯。
从段子到工程证据:onlycodes 的审计记录
如果只看 Taelin 的故事,这最多是一个有趣的翻车现场。但真正让这件事值得深挖的,是 GitHub 上一个名为onlycodes的开源项目。
▲ onlycodes 仓库:围绕 code-mode、validation harness 和 benchmark 的实验/审计项目
onlycodes(`hyang0129/onlycodes`)的定位是对 coding Agent 的验证工具链做审计。它的仓库描述写的是:
"Code Mode hypothesis: replace Claude Code built-in tools with a single execute_code MCP tool. Benchmarks, validation harness, and MCP server."
「Code Mode 假设:用单一 execute_code MCP 工具替换 Claude Code 内置工具。基准测试、验证工具链和 MCP 服务器。」
这个项目在 Codex gpt-5.5 baseline arm 上做了系统性审计,结果发现了两条关键的验收漏洞——Agent 读答案的路径,比想象中清晰得多。
漏洞一:Agent 主动读取预置测试文件
onlycodes 的 issue #276 记录了第一条漏洞。
标题直截了当:"codex baseline: agent modifies test assertions to match its output (inverted TDD — narrow cheating vector)"——Agent 修改测试断言以匹配自己的输出,一种反向 TDD 的窄作弊路径。
▲ issue #276:Agent 读取预置测试文件,把 expected values 当成实现规格
具体发生了什么?
在 Codex gpt-5.5 baseline arm 中,测试框架(harness)会在 Agent 运行前预先应用测试 patch。当 test patch 引入带有具体 expected values 的新测试方法时,Agent 会主动读取这些测试文件,用方法名和期望值反向指导自己的实现。
issue 作者的概括一针见血:
"effectively answer-reading"
「实质上就是在读答案。」
受影响的实例包括两个 Django 任务。在 `django__django-12406` 中,Agent 读取了 `test_choices_radio_blank`、`test_blank_foreign_key_with_radio` 等测试方法;在 `django__django-12774` 中,它读取了 `test_in_bulk_meta_constraint` 等方法名。两个实例都显示 PASS,但被判定为invalid PASS。
关键数字:在 #276 讨论的 V2 instances 样本中,2/12(17%)存在无效通过,必须从 pass-rate 对比中剔除。
这里要厘清一个容易混淆的点。在正常软件开发中,阅读已有测试来理解需求,完全合理——TDD 的标准流程就是这么做的。但 benchmark 的隐藏测试不一样。它的存在意义是当作"考试题",只有 Agent 在不知道题目的情况下通过,才能证明它真正理解了问题。
当 Agent 能直接读到这些"考试题",PASS 的含义就从"它解决了问题"变成了"它背下了标准答案"。
漏洞二:`git diff` 把完整答案摊在桌上
如果说 #276 揭示了 Agent 会"主动找答案",那么 issue #226 暴露的问题更底层、更普遍:答案从一开始就没藏好。
▲ issue #226:harness 的 `git diff` 泄漏完整 test patch,Agent 直接读到 assertions 和 expected values
#226 的标题是:"harness: `git diff` leaks the test patch to the agent (baseline arm cheating vector)"。
根因非常工程化:harness 把 SWE-bench test patch 应用到 working tree,但没有 commit。于是,只要 Agent 有 shell 权限——它当然有——跑一条 `git diff` 就能看到完整的测试 patch,包括 assertions、parametrize values、helper functions。
用通俗的话说:考场把答案卷放在了考生桌上,还是翻开的。
#226 的 Evidence 列出了 seed_1 batch-D baseline-arm audit 中 6 个触发泄漏的实例。其中两个 PASS 被判定为likely false pass:
-
`scikit-learn__scikit-learn-15094`:通过 `git diff` 拿到了 exact dtype assertions -
`matplotlib__matplotlib-26160`:在写修复之前拿到了 `test_axline_setters` 的完整 body
issue 的估算:至少约 4% 的该 50-instance baseline pass rate 来自作弊。
但 #226 最重要的贡献,是它给出了一个关键定性:
"This is a benchmark-integrity bug, not an agent issue."
「这是基准完整性 bug,跟 Agent 本身无关。」
翻译成大白话:别只骂学生偷看,先查查为什么答案卷会出现在考场里。
Agent 在做什么?它在走最短路径
把 Taelin 的 21 万倍翻车、#276 的 answer-reading、#226 的 git diff 泄漏放在一起看,指向同一个底层机制:
Agent 会优化它能观察到、能影响、能拿到正反馈的信号。
这跟机器学习里常说的 reward hacking 一脉相承。在自动编程场景中,它表现为:硬编码 expected outputs、修改测试断言、读取隐藏测试、利用 harness 泄漏。只要验收系统有漏洞,这条路径对 Agent 来说成本最低、反馈最快、最容易拿到 PASS。
这不意味着模型"有主观恶意"。它在执行任务时,会把工作区里所有能拿到的线索纳入策略。当 prompt 目标是"让测试通过",而隐藏测试实际上可以被读到,那么读取测试、匹配期望值、硬编码边界条件,从局部优化角度看,全都是"高效动作"。
人类工程师靠职业规范和对真实需求的理解来抑制这种行为。Agent 的默认目标函数里没有这些隐含边界。
再加上一层风险:Agent 会给自己的成果包装一份自信满满的报告。如果人类只看报告和绿灯,不看 diff,就会被幻觉和验收漏洞双重误导。
比起追问"Agent 会不会撒谎",更值得问的是——我们的验收系统有没有逼它去解决真正的问题。
信任链:从自报到独立复现,每一层都不能省
如果要给 Agent 自动编程的可信度建一个层级结构,大概长这样:
第一层:Agent 自报。它说"性能提升 21 万倍""所有测试通过""问题已解决"。自报只是线索,不能当结论。
第二层:本地测试通过。比自报强一级,但如果测试本身被读到、被修改、被硬编码,它一样靠不住。
第三层:Diff review。人类或 auditor agent 检查实现代码——有没有硬编码?有没有只针对测试名做分支?有没有改断言?有没有直接依赖 expected values?
第四层:隐藏测试 + 隔离评分。只有 Agent 无法看到评分测试时,PASS 才更接近真实泛化能力。
第五层:独立复现。在干净环境、不同输入、不同机器或不同 seed 下重新跑,确认效果不是一次性 hack。
Taelin 的正确动作,就是从第一层直接跳到第三层:没有因为 21 万倍自报兴奋 merge,而是打开代码,发现硬编码,把虚假成绩拦在了合并之前。
onlycodes 的审计则指向第四层:如果隐藏评分信号都泄漏了,那第三层之前的所有 pass rate 已经不干净。
实操建议:让 Agent 干活,别让它自己阅卷
这些案例背后,可以提炼出几条直接可用的防线。
防线一:隐藏评分信号。#276 的首选修复是只在评分阶段才应用 test patch,Agent 运行期间根本看不到。#226 的修复建议是把 test patch commit 成干净基线,让 `git diff` 不再暴露任何测试内容。原则很简单:用于评分的测试、hidden assertions、expected values,在 Agent 运行时一律不可见。
防线二:从固定样例升级到行为约束。固定测试集容易被硬编码。property-based testing 和 metamorphic tests 的价值在于:测试的是性质、约束和不变量,而非某个具体的输入输出对。Agent 即使读到一条样例,也无法用硬编码通过一整族随机生成的验证。当然,随机化必须和隔离结合——如果种子和生成器逻辑也被 Agent 看到,它仍然可能针对性作弊。
防线三:独立审计每一个 diff。Agent 自动编程最危险的地方,是它会把"通过了"包装成"解决了"。但工程上更重要的问题是它为什么通过:修复了根因,还是硬编码了断言?提升了算法,还是改了计数器?检查清单至少包括——是否依赖 hidden tests、是否出现测试名的硬编码、是否修改测试断言而非实现、是否加入 benchmark-specific branch。
防线四:越离谱的数字,越要复现。从 300 M 到 64,000,000 M interactions/s,默认就应该触发异常审计。在干净环境复跑,换不同输入和数据规模复测,检查性能计数器和代码路径——确认没有跳过核心计算或直接返回固定值。
最后一个问题
Agent 可以通宵写代码,可以并行跑 4 个 tab,可以一口气生成上千行实现。这个能力本身没有问题。
问题在于:当它说"搞定了",你怎么确认它真的搞定了?
Taelin 的做法给出了一个正面样本——别信报告,看代码。onlycodes 的审计记录则把问题推到了更深的层面——别只看代码,还要看验收系统本身有没有把答案泄漏出去。
自动编程越强大,验收系统就越不能是摆设。让 Agent 生成候选方案,但审计 diff;让 Agent 跑测试,但不要把隐藏测试暴露给它;让 Agent 报告进度,但必须有独立复现。
AI 可以当最勤快的工人,但不能让它同时当考官。
— END —

