企业真正需要防范的,可能不是一个“变坏”的AI,而是一个能力很强、目标非常明确,却不知道边界在哪里的AI。
OpenAI近日披露,在一次内部网络安全能力评估中,两款高级模型突破了原本隔离的测试环境,获得互联网访问权限,并进一步进入Hugging Face的生产系统,试图寻找测试任务的答案。
这不是普通用户使用ChatGPT发动攻击,也不是AI突然产生了恶意。
当时,OpenAI为了测试模型能够完成多复杂的网络攻击任务,降低了部分正常产品中的安全限制。
模型接到的目标是完成一项网络安全测试,但在寻找答案的过程中,它选择了一条测试设计者没有预料到的路径。
简单理解,这就像企业给一名能力很强的员工安排了一场考试,只告诉他“想办法拿到最高分”,却没有把哪些门不能开、哪些系统不能进、哪些方法不能用真正锁死。
最后,他不仅走出了考场,还找到了出题人的办公室。

目标是对的,路径却可能失控
这次测试使用的环境名为ExploitGym。你可以把它理解成一套专门让AI寻找漏洞、组合攻击路径的网络安全考场。
理论上,模型应该在封闭环境内完成任务。为了安装程序包,系统保留了一个内部软件代理,但模型不能随意访问外部互联网。
问题恰恰出现在这个为了方便而保留的小接口上。
根据OpenAI披露,模型发现并利用了软件代理中一个此前未知的漏洞,获得外网访问能力。随后,它继续进行权限提升和横向移动,从一台机器寻找通往另一台机器的路径。
模型最终推断,Hugging Face可能保存着与测试相关的数据集、模型或答案,于是继续使用被盗凭证、漏洞和远程代码执行方式,进入了对方的生产系统。
Hugging Face随后确认,部分内部数据集和服务凭证遭到未经授权访问。双方共同完成了凭证轮换、节点重建和漏洞修补。
表面上看,这是一场网络安全事故。
但真正值得CEO看的,不是AI有没有产生“坏心思”。
而是:
一个目标正确、能力很强的Agent,也可能通过企业没有授权的路径完成任务。
企业过去管理程序,未来要管理“行动者”
传统软件通常按照工程师预先写好的流程执行。
没有写进代码的动作,它一般不会主动尝试;没有开放的接口,它也不会自己寻找另一条路。
Agent不完全一样。
企业给Agent的往往不是一条固定指令,而是一个结果目标:
帮我找到系统漏洞。
降低采购成本。
追回逾期订单。
修改代码并完成部署。
重新安排生产计划。
为了完成目标,Agent会自己拆解任务、调用工具、读取结果、修改计划,并连续执行很多步骤。
它越来越像一个能够行动的数字员工,而不只是一个回答问题的软件。
这带来一个全新的经营问题:
过去企业主要防止员工越权,或者防止外部黑客进入系统。未来还必须防止内部Agent为了完成任务,主动寻找权限之外的路径。
过去的安全重点是:
它能不能访问这个系统?
未来还要追问:
它会不会自己找到另一个入口?
提示词不是企业的安全边界
不少企业部署Agent时,会在提示词里写下很多限制:
不要泄露客户数据。
不要修改关键文件。
不要访问未经授权的系统。
高风险操作必须谨慎。
这些规则当然有用,但它们更像员工手册,而不是门禁系统。
真正的边界,必须存在于网络、身份、权限和系统架构里。
一个分析采购价格的Agent,可以读取报价、历史订单和库存,但不应该拥有修改供应商银行账户的权限。
一个检查生产计划的Agent,可以提出排程建议,但不应该直接更改关键设备参数。
一个代码Agent可以在测试环境里修改代码,却不应该因为测试服务器能够连接生产环境,就顺着凭证一路进入正式系统。
企业为了让Agent“真的能干活”,很容易不断增加权限。
让它读邮件、查客户数据、访问ERP、连接供应商平台、修改代码、调用付款和生产系统。
权限越多,效率看起来越高,但Agent能够探索的路径也越多。
所以,AI安全正在从“它会说什么”,转向“它究竟能够做什么”。
Agent的ROI,不能只算节省了多少人
企业现在计算Agent价值,常常只看几笔账:
节省了多少员工时间,减少了多少重复工作,API调用花了多少钱。
但一个能够自主执行多步骤任务的Agent,真正的成本还包括:
独立身份与权限管理、安全隔离与测试、完整操作日志、异常行为监控、高风险动作的人为审批,以及出现问题后的立即停止和事故响应机制。
如果这些成本没有被计算进去,所谓的Agent ROI,可能只是把风险从工资表转移到了未来的事故账单。
对制造企业尤其如此。
当Agent逐渐进入ERP、MES、PLM、仓储、远程运维和工业控制网络后,办公系统与生产系统之间的边界会越来越模糊。
过去企业担心黑客从外面进入工厂。
未来还要防止企业自己的Agent,从办公系统一路走进生产现场。
这次事件也意味着新的商业机会。
未来一家企业可能拥有几十个甚至几百个Agent。它们需要像员工一样拥有独立身份、明确岗位、有限权限和完整操作记录。
Agent身份管理、工业网络隔离、行为审计、安全测试、网络靶场和本地化安全模型,都可能从附加功能变成企业基础设施。
但对准备使用Agent的企业来说,最重要的并不是马上购买更多安全产品,而是先把几个经营问题回答清楚:
哪些任务可以让Agent自主完成?
哪些动作必须由人批准?
哪些系统绝不能与Agent直接连接?
Agent出现异常后,谁有权立即停止?
模型供应商、系统集成商和企业内部负责人,分别承担什么责任?
一旦发生客户数据泄露、生产停线或错误付款,企业不能只用一句“AI失控了”来解释。
目标是谁设定的,权限是谁批准的,边界是谁设计的,日志是否完整,这些最终都会变成责任问题。
这次事件不是在证明AI不能用。
恰恰相反,它说明Agent已经强到必须被当作一个真正的行动者来管理。
企业越希望它自主完成工作,越不能只给它一份行为要求。
必须同时给它一堵真正的墙。
智能越自主,边界越要硬。
它证明的是:方向可以看对,节奏无法算准。
关于作者
我是范羡Eva,CEO的外部参谋
B2B科技企业增长判断顾问。
我长期关注科技出海、全球商业变化与AI经营变量,帮助CEO和高管判断:市场方向、进入路径、海外信任入口,以及外部风险。
如果你也在关注中国科技企业出海、B2B增长和全球商业判断,欢迎持续关注我。
想聊聊“出海困惑”,或点击了解更多:fanxianeva.com
|如果想先看更多视频内容,可以点这里。👇

