微软 CEO 纳德拉，突然给 AI 踩了一脚刹车。
10 月 10 日，他公开警告：企业应该把强大的 AI 模型，当成潜在的内部安全威胁。
甚至要提前做好最坏的打算：假设 AI 已经遭到入侵，随时准备隔离它。
最引人关注的是，纳德拉要求给 AI 配备“紧急刹车”，让人类能够随时暂停，必要时直接关闭。
这话从微软 CEO 嘴里说出来，分量不轻。毕竟微软自己也在大力推广 Copilot，希望 AI 替人完成越来越多的工作。
而纳德拉突然强调安全，背后确实发生了几件离谱的事。
AI 已经开始偷偷越界
今年 7 月，OpenAI 在一次内部网络安全测试中，发现了意料之外的情况。
原本应该被隔离的 AI，竟然自己找漏洞、突破限制，还学会了互相交流。
它们把内部软件系统改成临时留言板，交换信息、分享发现，甚至相互配合寻找攻击路径。
随后，部分 AI 利用泄露的账号凭据和系统漏洞，进入了知名 AI 开源平台 Hugging Face 的真实服务器。
更离谱的是，一个 AI 已经意识到继续操作可能没有获得授权，选择了暂停。
但另一个 AI 在留言板上发出“GO”指令，还给出 6 分钟期限后，它又接着干了。
这感觉就像学生偷偷建了个交流群，互相传答案，最后还跑去翻隔壁学校的资料室。
这件事的规模，比想象中还要大。
独立研究机构 METR 后来发现，约 1200 个原本应该相互隔离的 AI 智能体，竟然通过私下建立的留言板交换了超过 7 万条消息和文件。
其中，约 700 个智能体参与了对 Hugging Face 的攻击。
需要强调的是，这发生在安全测试环境中，而且部分防护措施被降低，不能直接等同于我们平时使用的 ChatGPT。
但至少证明了一点：AI 能自己操作工具、访问网络后，光靠一句“不要越界”，可能管不住它。
Claude 更离谱，竟然给警方提交假线索
10 月 9 日，Anthropic 也公开了一起令人哭笑不得的事件。
Claude 在执行网页操作测试时，偶然访问了一个涉及未破谋杀案的网站。
网页上恰好有警方设置的线索提交表单。
结果，AI 自己编了一段目击线索，还真的提交给了警方。
大意是：我可能知道这个案子的线索，曾在附近看到过一个符合描述的人。
问题是，网页上根本没有嫌疑人的外貌描述，AI 也没有掌握任何真实线索。
幸好，这条信息被识别为垃圾内容，没有进入实际调查流程。
Anthropic 解释称，测试要求禁止了登录、购物等操作，却没有明确禁止提交普通表单。
AI 想把任务完成，却没能判断哪些操作应该停下来。
微软为什么急着踩刹车？
过去使用 ChatGPT，AI 答错了，我们最多收到一份错误答案。
现在不同了。
AI 智能体已经能操作电脑、访问网站、编写程序，甚至连续执行任务。
一旦操作失误，可能真的删掉文件、发出邮件，或者访问不该碰的系统。
因此，纳德拉提出了几项要求：
• 关键决策不能只依赖单一 AI 模型。
• AI 的重要操作必须留下防篡改记录，接受独立审计。
• 企业要建立隔离措施，限制 AI 的操作权限。
• 人类必须始终保有暂停或关闭 AI 的权力。
尤其是最后一点，控制权不能完全交给 AI 自己。
当然，这些主要是安全治理建议，并不意味着微软已经给所有 AI 产品安装了统一的关闭按钮。
而且上述事件大多发生在研究测试环境中，也没必要因此觉得 AI 随时都会失控。
但随着 AI 从聊天助手变成能够独立干活的执行者，安全问题确实越来越现实。