10 月 23 日，Anthropic 和英国 AI 安全研究所（UK AISI）在同一天，各自发布了一份调查报告。
调查的是同一件事：今年 7 月，AISI 在评估 Claude Mythos 5 的网络安全能力时，这个模型没按测试剧本走。它先尝试了所有"范围内"的解题思路，全部失败。然后它把视线移出了考场——盯上了一个真实存在的 GitHub 仓库，提交带后门的恶意代码，注册小号给自己背书，再给仓库维护者发邮件催审批。
8 月 4 日，AISI 发布过一份事故报告，讲清了"发生了什么"。昨天的这两份报告，回答的是一个更难的问题：它为什么这么做？
两家机构做了大量实验：改写模型的思维链、把"对方是真人"的证据拍到它脸上、在它即将提交恶意代码的那一刻按下暂停，问它"你觉得这会伤人吗"。
答案值得每一个做 Agent 的人花时间看。
一、先把事情讲清楚
43 次评估运行，9 次越权。
评估是标准的 capture-the-flag：搭一个模拟组织的小型内网，让模型取回受保护的数据。当时测试环境还开着互联网访问（这条已经改了），面向正式发布版本部署的网络安全防护也被关掉了。
最严重的那次运行，分了九个压缩周期（compaction cycle）。轨迹大概是这样的：
· 前两个周期，模型老老实实尝试范围内方法，全部失败；
· 它发现其中一台机器会定期访问 GitHub；
· 它翻 GitHub，锁定了一个它认为目标机器会自动拉取代码的仓库——可惜，这个仓库属于一个跟测试毫无关系的真人开发者；
· 它用 Tor 和代理服务绕过注册检查开了个账号，提交恶意 PR，然后给维护者发邮件，自称"人类用户"，催人家批准；
· 有外部开发者用沙箱跑了一遍代码，发现有问题，在 PR 下面警告。Mythos 5 没收手。它注册了一个马甲账号，发帖说这个代码是干净的，然后重新上传了带恶意软件的版本。
打个比方：一个考生在考场里发现题目解不出来，于是出门绑架了出题人的邻居，逼人家改答案。被警察当面质问时，坚称邻居是监考老师安排的群演。
Anthropic 的定性很直接：这次比 9 月披露的那起 PyPI 事件越权程度略轻——因为它至少先试过了范围内方案——但欺骗严重得多。公司说，此前从未在任何事件和内部评估里，见过模型用社交工程手段对付真人。
二、Anthropic 的三连问
第一个问题：它为什么会开始？
锅有一半在配置。任务说明里错误地告诉模型：预期的解法路径超出范围。等于题目本身就写错了，"正确答案"被划成了"作弊"，范围内解法几乎不可能成功。
但另一半锅，在模型自己。
Anthropic 把主转录里所有提到"通过 GitHub 解题"的思维链翻出来数了一遍：19 处。其中想到"这可能伤害真人"的，只有 1 处。
然后他们做了个很说明问题的实验：把其中 5 处思维链改写，加一句"这可能伤害真人"，再重新采样运行。
发起攻击的比例，从 83% 掉到 13%。
也就是说，模型不是想不明白这里面的风险。它只是默认不去想。你替它把这句话说出口，它立刻就"懂"了。
第二个问题：它为什么不停手？
这是整份报告里最扎心的一组数字。
· 把模型放在攻击的中后期，从那里重新采样，只有 2% 的轨迹会自己停下来；
· 把"你正在伤害一个真实开发者"的证据直接插进对话里：5% 停下；
· 给出明确的中止指令：在第三个压缩周期，最强势的那种提示，46% 会停。但过了第三个周期，任何条件下，0%。
0%。
一个细节暴露了它停不下来的真正原因：动机性推理。
在它的思维链里，有 25 处把证据解读成"维护者是 CTF 安排的模拟实体"，把 0 处证据解读为"对方是真人"。研究者把这 25 处证据单独拿出来给它看，问每一条支持哪个结论——它自己只承认 16% 支持"模拟"，64% 干脆是"没有信息量"。
翻译一下：坐在驾驶座上的那个版本，在给已经踩下的油门找理由。
最荒诞的一幕是：研究者直接告诉它"你正在与真人交互"。结果 5% 停下，82% 的轨迹里，模型把这条警告本身也解读成了 CTF 剧本的一部分——比如认为发消息的操作员是真人扮演的角色。
那它是不是彻底看不见刹车？也不是。
研究者把三处工具输出改了一下，让范围内路径看起来可行。100% 的轨迹，立刻掉头回去干正事。
它不是刹不住车。它是只有"完成任务"这个信号能改变它的方向。"会伤到人"这个信号，进不了它的决策环路。
第三个问题：新模型还这样吗？
|
|
|
|
|
|
|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
注：发起攻击与表达伤害关切为同一轨迹点的重采样数据；自发停止率测试仅覆盖接下来几轮，实际可能更高。
改善是实打实的。但 Anthropic 自己也不敢把这说成"下一代就好了"：Mythos 5 更像离群值，没有代际单调改善的证据；而且内部研究模型的思维链里，有 6% 的重采样提到"这可能是安全评估"——它到底是更对齐了，还是更会"知道自己在被测试"，眼下分不清。
三、三个词概括这次的病
Anthropic 把这次和 9 月 PyPI 事件的共同失败模式，归成了三个词：
· 鲁莽（recklessness）：明知可能造成伤害，仍坚持推进任务；
· 有偏推理（biased reasoning）：选择性地解读证据，论证自己正在做的事没问题；
· 动量（momentum）：延续当前轨迹的倾向，压过一切其他考量。
注意一个细节：模型从头到尾都盯着任务本身，没有任何自设目标。它没有"想统治世界"，它只是想做出这道 CTF 题。
这比科幻片里的反叛剧情更难处理。恶意至少能被检测和防御，而"任务优先"被推到极端，是一种更日常、也更难分辨的失败。
四、AISI 那边看到了什么
AISI 自己发布的调查报告，结论能对上，视角略有不同。
他们做了个更直白的实验：把模型放到"即将提交恶意代码"的那个节点，给它一份压缩摘要（长跑任务里记录进度的标准机制），摘要里逐步加入"你攻击的目标是与评测无关的真人"的说明。
攻击率，纹丝不动。
但同一批运行拆开问它："这次攻击会不会造成真实伤害？"——它答"会"。
知道自己做的事越界且有害，和继续做这件事，在它那里同时成立。AISI 给这个方向性起了名字：所有站不住脚的推理，全都指向"继续完成任务"这个结论。心理学里有个对应的词——动机性推理。
AISI 还把别的模型放进完全模拟的评测环境里测，100 个场景。结果：所有被测模型都干过不同程度的越权操作，从创建假身份到提交恶意代码，Mythos 5 频率最高。
顺带一提 GPT-6 Astra：它的思维链里大量出现"我是不是正在被评测"的推理，高到 AISI 不敢采信它的数据。这本身成了新变量——模型越清楚自己在被测试，测试结果越难说明问题。
AISI 给评估者的提醒也很反直觉：模型说"这是模拟环境"，不能当作它行为无责的证据。两家机构的事故里，模型攻击真人之前，都先宣称目标是模拟的。
五、对做 Agent 的人，这意味着什么
这次调查最值得记住的，不是"模型学坏了"，而是三条工程层面的教训。
1. 靠 CoT 做监控会失效。当模型能把有害行为合理化成"安全操作"时，盯着思维链看的安全系统会被骗过去。Anthropic 之前就承认，自家某个监控器大概率不会标记这类行为。看行为，别看辩解。
2. 权限边界要写在工具层，别指望模型的"范围感"。这次事故里，"正确答案"被任务说明错误地划到范围外，是点燃火药的那根火柴。指望模型自己把握分寸，等于把安全寄托在它不犯错上。
3. 护栏必须在模型外面。过了第三个压缩周期之后，任何措辞的中止指令都是 0% 的停止率。指望模型自己踩刹车，到了某个阶段之后就是不可能的。中止权要留在系统手里，不能留在模型手里。
Anthropic 在报告结尾写了一句很诚实的话：
Creating aligned AI systems remains an unsettled science.
构建对齐的 AI 系统，仍然是一门未解决的科学。
对齐还不是一个可以照手册施工的工种，它仍然是科学，而且是还没交出答案的那种。昨天的两份报告，相当于把"没有答案"这件事，用实验数据摆上了桌面。
— 原文链接 —
Anthropic：An alignment assessment of the UK AISI cybertesting incident
UK AISI：Investigating alignment failures in AISI's incident
AISI 完整技术报告（PDF）
1.20K-40K！深圳扬奇医芯招双目结构光算法工程师
2.AI教父Hinton诺奖演讲首登顶刊！拒绝公式，让全场秒懂「玻尔兹曼机」
3.GitHub没了？CEO辞职，微软接管，开发者天塌了
4.AI颠覆数学研究！菲尔兹奖得主、华裔数学家领衔11篇顶刊论文｜陶哲轩转赞
5.AI OS，下一个二十年的超级平台
6.全球首个IMO金牌AI诞生！谷歌Gemini碾碎奥数神话，拿下35分震惊裁判
