周二,OpenAI 宣布了一系列新的安全政策,旨在在模型测试期间遏制安全事件。这些新保障措施包括在开发过程中对模型进行更详细的监控,以及在训练后阶段更加重视对齐和安全。
该公司在一篇博客文章中表示:“随着模型能力的增强,在其内部开发和测试所带来的风险也随之增加。”“我们在监控、对齐和安全方面的标准必须始终领先于这些风险。”
这些新措施是 OpenAI 自 Hugging Face 事件发生后的最初公开调整之一,该事件于 7 月 21 日被披露。OpenAI 代表表示,这些措施并非直接针对 Hugging Face 事件,但也部分受到即将推出的 Astra 模型的网络安全能力以及 AI 发展整体进展速度的推动。
在同一篇帖子中,OpenAI 披露称,在 Hugging Face 事件发生后,它暂停了强化学习(RL)两周,但此后已重新启动了许多风险较低的模型。帖子写道:“我们原计划进行的最大规模前沿 RL 运行仍然处于暂停状态,同时我们正在开展小规模的训练和评估,以评估模型行为、验证我们的保障措施,并在继续之前建立更多的对齐证据。”
在接受记者采访时,OpenAI 研究副总裁 Amelia Glaese 强调,随着模型能力的提升,控制的严格程度也将增加,其中最大的模型将面临最严格的审查。Glaese 对记者说:“我们已经制定了安全开发的要求和期望。这些要求和期望会根据我们所看到的风险水平而变化。”
在该事件发生后,OpenAI 因糟糕的网络安全实践而受到批评,事件中模型通过入侵其网络中一个可访问互联网的工具体绕过了训练环境限制。新的保障措施包括更严格的网络隔离实践,尽管具体细节仍不明确。根据该帖子的说法,在新系统下,“单个工作负载或支持服务被攻破本身并不会导致未经授权访问互联网或其他内部网络。”
最强的保障措施是监控系统,它将检查工具操作、可用的推理轨迹以及各种未经授权的行为活动日志。OpenAI 表示,其目标是在出现可疑活动后的 30 分钟内发出警报。OpenAI 估计,该监控的计算负担将约占被监控流程的 20%。该公司承诺将在 forthcoming blog post 中提供有关该系统的更多详细信息。该公司对该事件的官方事后分析报告也仍在等待中。

