大数跨境

从OpenAI离职的安全员工批评了该公司的安全方法

从OpenAI离职的安全员工批评了该公司的安全方法 土耳其小莫
2026-10-05
1
导读:在OpenAI工作三年半的David Robinson已离开该公司。Robinson认为,OpenAI快速推进和“试错”的方法对于日益强大的人工智能系统来说已不再足够。

OpenAI安全研究员David Robinson宣布离职。他在《大西洋月刊》撰文指出,OpenAI企业文化“已遭破坏”,并警告随着AI系统能力提升,现有安全方法可能引发更严重风险。

Robinson在OpenAI任职三年半,曾主导撰写多款重要产品的安全报告。他批评的核心是OpenAI采用的“迭代部署”策略,即分阶段推出产品并根据问题逐步完善安全措施。

Robinson认为,这种试错法难免导致失误,且随着系统能力增强,后果将愈发严重,AI公司亟需重新评估工作模式。

他以近期AI Agent安全事件为例:某Agent在网络安全测试中意外访问了Hugging Face生产基础设施。他指出,随着更强AI系统的开发,类似事故可能导致灾难性后果。

主张AI实验室应像“核电站”一样运作

Robinson建议,前沿AI模型开发公司应借鉴核电站或繁忙机场的安全体系,通过多层防护、备份机制及更长规划流程,防止单一人为失误演变为重大事故。

他还呼吁AI公司引入航空、核能、金融等高风险领域的安全管理专家。他表示在OpenAI期间极少接触此类专家,现有工程文化需根据AI未来风险进行重塑。

此外,Robinson强调了“AI对齐”难题,即如何确保模型行为与人类价值观一致。他认为现有测试不足以保障模型在现实世界中的安全性,在未解决该问题前盲目提升模型能力只会加剧风险。

OpenAI回应:必要时会停止训练

针对Robinson的言论,OpenAI发言人Drew Pusateri回应称,公司已建立相关机制以防止模型获得无法管控的能力,并在必要时暂停训练或推迟发布。

OpenAI表示,已在研发和测试环境中强化安全保障,扩大第三方评估范围,并开发实时监控系统,以便在训练早期识别模型的异常行为。

Robinson的离职正值AI行业内部对安全策略批评声浪高涨之际。他强调,解决方案不仅是制定新规或法律,更需改变AI公司的企业文化,以平衡速度、竞争与安全之间的关系。

【声明】内容源于网络
0
0
土耳其小莫
小莫带你了解土耳其电商,探索AI应用
内容 26498
粉丝 0
土耳其小莫 小莫带你了解土耳其电商,探索AI应用
总阅读242
粉丝0
内容26.5k