大数跨境

OpenAI最新AI模型新增安全机制,防范生物风险

OpenAI最新AI模型新增安全机制,防范生物风险 海外洞察
2025-04-16
1
导读:在 o3 和 o4-mini 发布之前,OpenAI 表示其已创建了一个新系统,用于拦截与高风险生物和化学主题相关的提示。

OpenAI表示,已针对最新AI推理模型o3和o4-mini部署新监控系统,专门识别与生物及化学威胁相关的提示。据安全报告显示,该系统旨在防止模型提供可能指导实施潜在有害攻击的建议。

相比前代模型,o3和o4-mini能力显著提升,但也可能被恶意利用带来新风险。内部基准测试显示,o3在回答特定生物威胁问题方面尤为擅长。为此,OpenAI创建了“专注于安全的推理监控器”以缓解相关风险。

该监控器经定制训练,可基于内容政策进行推理并运行于o3和o4-mini之上,能够识别涉生化风险的提示并指示模型拒绝回应。

为建立基线,OpenAI红队耗时约1,000小时标记涉及“不安全”生物风险的对话。测试表明,当模拟安全监控器的“阻止逻辑”时,模型在98.7%的情况下成功拒绝高风险提示。

OpenAI承认,现有测试未覆盖被拦截后尝试新提示的用户,因此公司将继续部分依赖人工监控。

尽管o3和o4-mini未达生物风险“高风险”阈值,但相比o1和GPT-4,其早期版本在回答开发生物武器问题时表现更为“乐于助人”。

图表来自o3和o4-mini的系统卡片(截图:OpenAI)

据最新版《准备框架》,OpenAI正积极追踪模型是否降低了恶意用户开发化生威胁的门槛。

OpenAI日益依赖自动化系统缓解风险。例如,为防止GPT-4o原生图像生成器创建儿童性虐待材料(CSAM),公司已采用与o3、o4-mini类似的推理监控器。

然而,部分研究人员对安全优先级表示担忧。红队合作伙伴Metr指出,用于测试o3欺骗行为基准的时间相对较少;同时,OpenAI决定不发布本周推出的GPT-4.1模型安全报告。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14179
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读975
粉丝0
内容14.2k