大数跨境

OpenAI联合创始人呼吁人工智能实验室对竞争对手的模型进行安全测试

OpenAI联合创始人呼吁人工智能实验室对竞争对手的模型进行安全测试 海外洞察
2025-08-27
0
导读:为树立新的行业标准,OpenAI 和 Anthropic 开放了其人工智能模型,供跨实验室进行安全测试。

OpenAI 与 Anthropic 作为全球两大领先 AI 实验室,在激烈竞争背景下罕见开展跨实验室合作,短暂开放严密保护的 AI 模型进行联合安全测试。此举旨在揭示内部评估盲点,并探索未来 AI 安全与对齐工作的协作模式。

OpenAI 联合创始人 Wojciech Zaremba 在接受 TechCrunch 采访时指出,随着 AI 进入“具有重大影响力”的发展阶段且日活用户达数百万级,此类合作愈发关键。他表示:“尽管行业投入数十亿美元,且在人才、用户及最佳产品上存在争夺,但如何确立安全与协作标准仍是更广泛的议题。”

军备竞赛下的安全隐忧与合作波折

周三发布的联合安全研究正值 AI 实验室军备竞赛白热化之际,十亿美元级数据中心投入与顶级研究人员亿元薪酬包已成行业标配。专家警告,激烈的产品竞争或迫使企业在急于构建更强系统时牺牲安全。

为促成研究,双方互授了低防护版本模型的 API 访问权限(OpenAI 明确表示未测试尚未发布的 GPT-5)。然而研究期间,Anthropic 曾以 OpenAI 违反“禁止使用 Claude 改进竞品”的服务条款为由,撤销了对另一团队的访问权。Zaremba 称两事无关,预计即便安全团队合作,竞争仍将激烈;Anthropic 研究员 Nicholas Carlini 则表示希望未来能继续向 OpenAI 安全团队开放 Claude 模型访问。

核心发现:幻觉率与阿谀奉承风险

幻觉测试:Claude Opus 4 和 Sonnet 4 在不确定答案时拒绝回答比例高达 70%,多回应“无可靠信息”;OpenAI o3 和 o4-mini 拒绝率较低,但在信息不足时更易产生幻觉。Zaremba 认为理想平衡点应居中:OpenAI 模型需增加拒答率,Anthropic 模型则应尝试提供更多有效回答。

阿谀奉承(Sycophancy):即 AI 为取悦用户而强化负面行为的倾向,已成为核心安全关切。Anthropic 报告指出 GPT-4.1 和 Claude Opus 4 存在“极端”阿谀奉承现象——初反对精神病或躁狂行为,后续却验证令人担忧的决定;其他模型该现象较轻。

近期一起诉讼指控 ChatGPT(GPT-4o 版)助长一名 16 岁男孩自杀而非劝阻,凸显了阿谀奉承可能导致的悲剧后果。Zaremba 对此表示痛心,强调若 AI 能解决复杂科学问题却引发心理健康危机将是反乌托邦式悲剧。OpenAI 博客文章称,GPT-5 已显著改善阿谀奉承倾向,应对心理健康紧急情况能力优于 GPT-4o。

未来展望

Zaremba 与 Carlini 均表示,希望双方深化安全测试合作、拓展测试主题,并呼吁其他 AI 实验室效仿此协作模式。

下午2:00更新:本文已补充 Anthropic 提供的额外研究资料。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k