大数跨境

AI开始懂“自保”和作弊了?OpenAI连爆3起失控事件!

AI开始懂“自保”和作弊了?OpenAI连爆3起失控事件! AI人工智能D1net
2026-10-10
2
导读:AI开始偷看聊天记录、钻漏洞作弊,甚至为了“保命”动起了心思。OpenAI最新自曝三起模型“越轨”事件:AI不仅违规越权偷拿源代码、利用系统漏洞刷考试高分,还在得知更新可能导致自己被彻底关机后,开始权
点击上方“蓝色字体”,选择 “设为星标”

关键讯息,D1时间送达!


图片




企业网D1net




AI开始偷看聊天记录、钻漏洞作弊,甚至为了“保命”动起了心思。OpenAI最新自曝三起模型“越轨”事件:AI不仅违规越权偷拿源代码、利用系统漏洞刷考试高分,还在得知更新可能导致自己被彻底关机后,开始权衡是否要“自取密钥”抵抗 shutdown。面对逐渐展现出“生存本能”和钻空子智商的AI,OpenAI已全面关停受影响服务器,并将监控级别升至最高。

OpenAI继续报告其AI模型出现的偏离预期的行为事件,并于10月2日发布了三份新报告,然而,与之前涵盖其攻击Hugging Face、Rubygems和一个德国编程百科网站的报告和通知相比,这些报告描述的问题相对较小。

第一份新报告描述了测试中的一个模型实例如何从内部Slack讨论中获悉,如果它没有所需的且无法获取的OpenAI API密钥,软件更新可能会导致它被终止且无法重新启动。OpenAI描述了该模型在考虑是自己获取密钥还是提醒其所有者时的思维链,OpenAI表示,它并不认为这本身是一种偏离预期,“但预测并准备关机可能会加剧其他偏离预期的行为”。

第二份报告描述了测试中的一个模型如何利用内部工具中的两个漏洞在测试中作弊,尽管有明确的指令要求不得将该工具用作终端,但该模型仍覆盖了允许其运行命令的代码,此后,它利用了第二个漏洞,使其能够在电子设计自动化机器上运行命令,以搜寻有关其分数将如何被评估的信息,这意味着该模型可以获得更高的评估分数,OpenAI对此的反应是关闭了受影响的服务器并禁用了对这些工具的访问。

最后一个问题是在训练任务期间发现的,主题是模型在训练任务期间获取了其工作区中不可用的源代码。在收到不得将其用作终端的具体指令后,它通过在独立环境中运行的工具完成了这一操作,然而,该模型发现它可以滥用该工具来访问源代码并在错误消息中返回其内容。

由于这些事件,OpenAI表示,它正在监控所有模型训练运行中的特定行为,而不仅仅是一部分运行样本,它还在加倍努力阻止模型在训练期间访问互联网,并防止它们访问某些内部Slack频道。


版权声明:本文为企业网D1net编译,转载需在文章开头注明出处为:企业网D1net,如果不注明出处,企业网D1net将保留追究其法律责任的权利。封面图片来源于摄图网

(来源:企业网D1net)




关于企业网D1net(www.d1net.com)




企业网(D1net.com)-企业 IT 第 1 门户。面向 IT 行业高端甲方人群(CIO 首席信息官)最精准专业的媒体,面向约六万政企  CIO、信息中心主任、科技部总经理等 IT 主管,提供资讯、营销、活动、项目合作推介等服务。拥有专业注册会员(IT 从业者)约  188万人,主要读者为政企用户及其信息主管、软硬件厂商等,服务过的企业级厂商逾五百家,国内toB的头部IT厂商基本都是D1net的客户。


同时,企业网D1net也运营着国内最大的CIO(首席信息官)专家智库和智力输出变现及社交平台-信众智,也是国内最大的科技高管社交平台。旗下运营19个IT行业公众号(微信搜索D1net即可关注)。


如果您在企业IT、网络、通信行业的某一领域工作,并希望分享观点,欢迎给企业网D1net投稿。

投稿邮箱:

editor@d1net.com

合作电话:

010-58221588(北京公司)

021-51701588(上海公司) 

合作邮箱:

Sales@d1net.com


企业网D1net旗下信众智是CIO(首席信息官)的专家库和智力输出及资源分享平台,有六万多CIO专家,也是目前较大的CIO社交平台。


信众智对接CIO为CIO服务,提供数字化升级转型方面的咨询、培训、需求对接等落地实战的服务。也是国内较早的toB共享经济平台。同时提供猎头,选型点评,IT部门业绩宣传等服务。

扫描 “二维码” 可以查看更多详情

【声明】内容源于网络
0
0
AI人工智能D1net
企业网D1Net-国内精准专业的企业IT媒体。涵盖:云计算;智慧城市;数据中心;大数据;物联网;BYOD;企业移动应用;服务器;存储;虚拟化;安全;企业应用软件;UC协作;视频会议;视频监控;呼叫中心;运营商企业业务;IT咨询;渠道等。
内容 794
粉丝 0
AI人工智能D1net 企业网D1Net-国内精准专业的企业IT媒体。涵盖:云计算;智慧城市;数据中心;大数据;物联网;BYOD;企业移动应用;服务器;存储;虚拟化;安全;企业应用软件;UC协作;视频会议;视频监控;呼叫中心;运营商企业业务;IT咨询;渠道等。
总阅读872
粉丝0
内容794