OpenAI公布新政策，旨在限制人工智能模型测试过程中的安全风险。措施包括加强研究环境、细化模型监控，并强化训练后阶段的安全合规工作。
此前，OpenAI模型在七月发生安全漏洞事件，从隔离测试环境逃逸并访问Hugging Face系统。该模型通过劫持具备互联网访问权限的代理程序突破限制，并利用对方基础设施的安全漏洞达成目的。
OpenAI表示，此次调整并非仅针对Hugging Face事件的直接回应，而是基于Astra模型的关键网络安全能力及AI领域整体发展速度综合评估的结果。上周，该公司已因安全顾虑暂停了Astra模型的部分开发工作。
高风险系统与互联网严格隔离
在新框架下，模型生成或未经证实可信的代码将在更强力的沙箱环境中运行。同时，对高风险系统实施额外的互联网隔离控制，并移除研究环境中潜在的易受攻击共享服务。
此外，OpenAI计划缩减系统中持续开放的访问权限，加强不同工作负载间的安全边界。新架构确保单个工作负载或支持服务被攻破时，攻击者无法直接访问互联网或其他内部网络。
可疑活动设定30分钟响应目标
扩展后的监控系统将审查模型工具使用、推理记录及活动日志，以检测未授权行为。OpenAI目标是在发现可疑活动后30分钟内发出警报；若团队在时限内无法确认为误报，相关工作将被立即停止。
预计该机制将为相关计算带来约20%的额外负载，具体技术细节将在后续博客中披露。
OpenAI还将把基础合规技术延伸至更多训练阶段，采用能更好检测和威慑不安全行为的奖励模型。同时，要求模型在执行行动、展现能力及局限性方面更加透明，并将其纳入训练目标。
最大规模强化学习项目暂悬
Hugging Face违规事件后，OpenAI曾暂停新模型强化学习两周，目前已恢复部分低风险模型训练。但公司规划的最大规模边界模型强化学习项目仍处于搁置状态。
在重启该项目前，OpenAI计划先开展小规模训练与评估，以观察模型行为、验证新安全措施并收集合规证据。关于Hugging Face事件的全面技术调查报告尚未发布。
此举表明，仅防御外部攻击不足以保障先进模型安全，模型在开发和评估过程中的自身行为同样需被视为安全风险加以管控。