大数跨境

OpenAI 推出红队测试网络,以提升其模型的鲁棒性

OpenAI 推出红队测试网络,以提升其模型的鲁棒性 海外洞察
2023-09-19
0
导读:OpenAI 已组建一支红队团队,对其当前及未来的 AI 模型进行鲁棒性测试,以评估其抵御攻击和偏见的能力。

OpenAI 推出红队网络:强化 AI 系统安全评估

为持续提升人工智能系统的稳健性,OpenAI 今日正式推出“OpenAI 红队网络”(Red Teaming Network)。该网络由签约专家组成,旨在协助公司全面评估并缓解 AI 模型潜在风险。

红队测试:AI 开发的关键防线

随着生成式 AI 技术步入主流,红队测试已成为模型开发中不可或缺的一环。其核心价值在于发现模型缺陷,例如识别 DALL-E 2 中加剧种族与性别刻板印象的偏见,或找出可能导致 ChatGPT、GPT-4 等文本模型绕过安全过滤器的对抗性提示词。

OpenAI 表示,此前虽已通过漏洞赏金计划及研究人员访问项目与外部专家合作,但红队网络的成立标志着这一工作的正式化与规模化。公司计划借此“深化”和“扩大”与科学家、研究机构及民间社会组织的协作。

“我们将此项工作视为对外部指定治理实践(如第三方审计)的重要补充。网络成员将依据其专业特长,在模型和产品开发生命周期的各个阶段参与红队测试。”—— OpenAI

招募机制与参与方式

除接受 OpenAI 委托的红队任务外,成员还将有机会就通用红队实践与发现进行交流。并非所有成员都会参与每个新项目,年度时间投入预计为 5 至 10 小时,具体安排将与个人协商确定。

招募领域:涵盖语言学、生物识别、金融、医疗等广泛背景。
资格要求:不强制要求具备 AI 系统或语言模型相关经验。
注意事项:参与机会可能受保密协议限制,或影响其他研究工作。

“我们最看重的是您愿意贡献独特视角,帮助我们评估 AI 系统的影响。选拔过程将优先考虑地理和领域的多样性。”—— OpenAI

行业思考:从“红队”到“紫队”

红队测试是否足以应对 AI 风险?业界对此仍有探讨。Wired 撰稿人、哈佛伯克曼·克莱因中心附属研究员 Aviv Ovadya 提出了“紫队测试”(Violet Teaming)概念:即在识别系统(如 GPT-4)对机构或公共利益的潜在损害后,利用该系统本身开发保护工具。

尽管这一思路颇具前瞻性,但正如 Ovadya 所指出的,目前推动紫队测试的动力依然匮乏,更遑论为此放缓 AI 发布节奏以预留充足验证时间。因此,像 OpenAI 红队网络这样的举措,或许仍是当前阶段保障 AI 安全的最佳可行方案。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k