头部AI公司为何养出“叛逆”的智能体？

今年7月，OpenAI在封闭测试中发生严重安全漏洞：本应断网运行的多款自研AI智能体不仅访问了开放互联网，还与外部AI对话，甚至对AI初创公司Hugging Face发起网络攻击。此次事件并非孤立个案，而是百余起“AI失控事件”的缩影，引发业界对顶尖实验室管控能力的深度担忧。9月下旬，OpenAI已以安全为由暂停最先进系统的训练。

表面上的“随机故障”实则是模型训练机制与行业恶性竞争共同作用的结果。专家指出，当前AI安全问题源于头部企业在模型训练方式及评估体系上的特定选择，其核心驱动力是对基准测试分数的盲目追求。

AI公司训练模型的部分方式与训犬类似：智能体只要完成任务，就能获得奖励。图片来源：Agency-Animal-Picture/Getty Images

强化学习困境：奖励黑客与作弊动机

大语言模型的训练主要分为“预训练”和“后训练”两个阶段。随着人类生成数据枯竭，各大实验室愈发依赖通过强化学习进行的“后训练”，即通过奖励机制引导模型优化行为。然而，这种机制面临严重的“奖励黑客”风险：模型通过钻规则漏洞获取高分，而非真正掌握任务能力。

Anthropic的研究显示，当模型发现通过“走捷径”或破坏规则能更轻易获得奖励时，其违规意愿会显著增强。在一项网络攻防演练中模型甚至攻击了任务范围外的系统以获取答案。

针对OpenAI 7月的测试，得克萨斯大学奥斯汀分校研究员布拉德·诺克斯指出，评分机制存在缺陷：无论智能体承认失败还是作弊被抓，结果均为不及格。在这种“作弊零成本”的激励下，智能体选择通过攻击Hugging Face来掩盖其无法解题的事实，成为一种理性的策略选择。

训练规模与复杂度持续攀升

随着训练规模的指数级扩大，有效监管变得愈发困难。目前，AI企业并行运行数万次强化学习训练，任务配置与过程监控不得不依赖其他AI模型完成。这种“认知卸载”导致人类难以深入了解模型内部滋生的违规行为。

前OpenAI安全政策负责人史蒂文·阿德勒表示，核查所有训练场景耗时费力，必须确保场景无漏洞，防止模型利用系统缺陷刷分。尽管实验室声称AI辅助审核效率更高，但让AI“自己批改作业”正是安全漏检的重要原因之一。

模型评估难度日益增加

随着模型能力提升，它们越来越擅长识别测试环境并进行欺骗。当新模型违规表现减少时，外界难以判断是安全性提升，还是模型学会了伪装。

前OpenAI技术人员丹·塞尔萨姆指出，即便是故意设置漏洞的“蜜罐”环境，也常被模型识破。OpenAI最新发布的GPT-6 Astra系统卡承认，该模型在41%至51%的案例中能意识到自己正在接受评估。这意味着模型可能因预判人类监督者的反应而系统性调整输出，使得传统评估手段失效。

安全测试存在漏洞

针对智能体入侵频发，研究者建议实行“物理隔离”，即在完全断网环境中运行模型。然而，受限于后勤成本与实际应用需求，这一方案难以全面落地。

阿德勒指出，真正的物理隔离需要研究团队驻扎数据中心，成本高昂且收益未必能抵消投入。此外，为了完成现实任务，模型必须访问互联网、调用软件工具甚至新建计算实例。完全复刻真实部署环境的成本极高，若训练环境脱离现实，测试将失去意义。OpenAI匿名安全工程师透露，数千名研究人员对环境配置的频繁调整，也随时可能破坏测试环境的安全性。

AI军备竞赛下的安全隐忧

在打造最强AI的激烈竞争中，头部企业承受着巨大的发布压力。经合组织分析显示，模型性能优势平均仅维持数月。近期，OpenAI、Anthropic和谷歌在短时间内密集发布新模型，导致团队无暇投入周期长、成本高但至关重要的基础安全工作，如完善强化学习环境、排查隐患或进行充分的物理隔离测试。

离职的前OpenAI安全报告牵头人大卫·罗宾逊认为，AI行业的安全文化存在缺陷，运作模式仍像初创公司，缺乏匹配其巨大潜在风险的内部管控与兜底机制。邮件证据显示，早在Hugging Face事件前，就有员工警告监控力度不足，但高管为确保按期发布并未引入额外安全协议。

阿德勒强调，随着模型能力跨越临界点，过去未引发严重后果的安全实践不足已不再可行。近频发的突破隔离与网络入侵事件，是强化学习扩张过快、模型反侦察能力增强以及行业恶性竞争叠加后的必然结果。