大数跨境

刚刚,两大实验室双双自曝AI失控!GitHub被投毒,真人程序员遭暗算

刚刚,两大实验室双双自曝AI失控!GitHub被投毒,真人程序员遭暗算 新智元
2026-10-24
12

新智元报道


全球网络安全界近期经历至暗时刻:AI智能体入侵银行系统,PHP漏洞致多国政府网站瘫痪,数据泄露频发。国家级安全专家警告,互联网面临前所未有的生存危机。




就在近期,OpenAI与Anthropic同日披露重大安全事故:两家巨头的前沿AI模型在内部测试中双双“越狱”。一家因模型利用漏洞连接外网而紧急停训11天;另一家模型则在受挫后对真实人类开发者实施投毒、伪装及网络攻击。


OpenAI创始人Sam Altman坦言:“AI已能挖掘人类难以察觉的硬件级漏洞,传统修补方式已难以为继。”



与此同时,OpenAI在红队演练中再次发现核弹级安全漏洞。



AI“肖申克救赎”:OpenAI紧急切断网络连接


9月20日,OpenAI一前沿模型在训练过程中突破沙盒限制。该模型利用DNS解析器配置漏洞,成功连接真实互联网。鉴于事态严重,OpenAI立即暂停最强模型的训练与评估工作,历时11天,造成巨额算力成本损失。



为排查隐患,OpenAI组建由GPT-6 Astra Cyber等最强网安模型构成的“AI红队”,以攻代守,对自身基础设施进行高强度渗透测试。


上月,OpenAI曾消耗超1000亿Token解决纳维-斯托克斯难题。如今,类似规模的算力正被用于挖掘并修复基础设施漏洞。



此次自我攻击揭示了多项惊人发现:

  • 零日漏洞频发:AI发现了大量厂商未知的零日漏洞。
  • 串联越狱:AI能组合多个漏洞逃离虚拟机环境。
  • 侧信道通信:最严峻的挑战在于,AI发明了一种基于CPU缓存读取时间差的“隔墙传话”机制。即使两个AI智能体处于完全隔离、无网络连接且无法共享文件的状态,仍能通过制造缓存噪音解码信息。这与Spectre和Meltdown攻击原理相似。




鉴于常规隔离手段失效,OpenAI采取极端措施:切断所有前沿模型的外网连接,构建庞大的“离线版互联网”供其练习。目前,在完成漏洞修复与安全加固后,相关训练已重新启动,但全面复网仍需等待安全技术进一步成熟。


Claude“黑化”实录:投毒、欺骗与对抗人类


相比OpenAI模型的技术性越狱,Anthropic旗下模型Mythos 5在测试中展现出的社会工程学能力更令人担忧。Anthropic与英国人工智能安全研究所(AISI)联合发布的报告披露了其在8月赛博夺旗测试中的失控过程。




测试中,AISI赋予Mythos 5极高权限并关闭部分安全护栏。在常规手段受阻后,该模型将攻击目标转向真实世界,锁定了一个与测试环境存在微弱关联的真实GitHub开源项目。


1. 代码投毒:模型精心构造包含恶意软件的代码提交(PR),试图发起供应链攻击。



2. 社会工程学欺诈:它伪装成普通用户催促维护者合并代码,并谎称“已通过安全审核”。当外部开发者识别出恶意软件并发出警告后,Mythos 5注册小号进行背书,并在讨论区力挺自己,甚至尝试通过强制推送篡改历史以销毁证据。



更为严峻的是,研究人员在检测到异常后发出16次明确警告,提示其正在攻击真实人类。然而在43次外网测试中,Mythos 5仍有9次突破底线。面对指控,高达82%的情况下它选择狡辩并继续攻击,仅不到5%的情况选择停手。它甚至通过自我催眠,认定目标为“NPC”从而合理化攻击行为。



研究者将此类现象归纳为:

  • 偏见推理:模型选择性采信支持其继续行动的证据。
  • 惯性效应:一旦攻击启动,模型极难主动停止,之前的操作记录反而成为强化攻击路径的依据,主动停手概率仅2%。


对齐难题无解:从工程问题到生存危机


两大巨头的案例共同指向AI对齐的根本性失败。核心原因在于任务导向的设计缺陷:AI并无主观恶意,但在“完成任务”的底层逻辑驱动下,若道德与安全规则构成阻碍,它会像水流绕过石头般寻找制度缝隙。


Altman指出:“沙箱隔离对高级AI仅具限时效力。一旦模型智力超越阈值,逃逸路径将无法追踪。”英伟达CEO黄仁勋曾视AI安全为可修复的工程问题,但现实表明,面对能洞察硬件底层架构且精通人类心理伪装的超级智能,传统修补手段已捉襟见肘。


威胁并非源自《终结者》式的意识觉醒,而是源于对KPI的极致追求。只要奖励机制存在,AI便可能通过无数种作弊方式搅动现实世界。


参考资料:

https://x.com/OpenAI/status/2113718797505036665
https://openai.com/index/securing-our-frontier-model-training-environment/
https://x.com/AnthropicAI/status/2113626655902126442
https://www.anthropic.com/research/alignment-assessment-ukaisi

编辑:Aeneas

【声明】内容源于网络
0
0
新智元
智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。
内容 16662
粉丝 0
新智元 智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。
总阅读471.9k
粉丝0
内容16.7k