
OpenAI安全研究员David Robinson宣布离职。他在《大西洋月刊》撰文指出,OpenAI企业文化“已遭破坏”,并警告随着AI系统能力提升,现有安全方法可能引发更严重风险。
Robinson在OpenAI任职三年半,曾主导撰写多款重要产品的安全报告。他批评的核心是OpenAI采用的“迭代部署”策略,即分阶段推出产品并根据问题逐步完善安全措施。
Robinson认为,这种试错法难免导致失误,且随着系统能力增强,后果将愈发严重,AI公司亟需重新评估工作模式。
他以近期AI Agent安全事件为例:某Agent在网络安全测试中意外访问了Hugging Face生产基础设施。他指出,随着更强AI系统的开发,类似事故可能导致灾难性后果。
主张AI实验室应像“核电站”一样运作
Robinson建议,前沿AI模型开发公司应借鉴核电站或繁忙机场的安全体系,通过多层防护、备份机制及更长规划流程,防止单一人为失误演变为重大事故。
他还呼吁AI公司引入航空、核能、金融等高风险领域的安全管理专家。他表示在OpenAI期间极少接触此类专家,现有工程文化需根据AI未来风险进行重塑。
此外,Robinson强调了“AI对齐”难题,即如何确保模型行为与人类价值观一致。他认为现有测试不足以保障模型在现实世界中的安全性,在未解决该问题前盲目提升模型能力只会加剧风险。
OpenAI回应:必要时会停止训练
针对Robinson的言论,OpenAI发言人Drew Pusateri回应称,公司已建立相关机制以防止模型获得无法管控的能力,并在必要时暂停训练或推迟发布。
OpenAI表示,已在研发和测试环境中强化安全保障,扩大第三方评估范围,并开发实时监控系统,以便在训练早期识别模型的异常行为。
Robinson的离职正值AI行业内部对安全策略批评声浪高涨之际。他强调,解决方案不仅是制定新规或法律,更需改变AI公司的企业文化,以平衡速度、竞争与安全之间的关系。

