OpenAI宣布成立“准备团队”,专门负责评估高度先进基础模型可能引发的灾难性风险,并制定相应的安全开发政策。同时,公司推出“准备挑战”活动,前十名提交有效问卷的参与者将获得25,000美元API额度奖励。
前沿人工智能的定义与挑战
在探讨未来技术危害时,“前沿人工智能”(Frontier AI)成为核心概念。它指代那些尖端、有望解决人类重大难题,但同时也具备巨大潜在危害的先进AI系统。
OpenAI将前沿人工智能定义为:“具备危险能力的高度强大基础模型,其能力足以对公共安全构成严重风险。”该类模型带来独特的监管难题:危险能力可能意外涌现;已部署模型难以有效防止滥用;且模型能力的广泛扩散难以遏制。
准备团队的职责与使命
管理前沿模型面临多重挑战,包括量化AI被滥用后的损害程度、构建风险管理框架,以及预判恶意行为者利用该技术可能造成的伤害。为此,准备团队致力于最大限度降低前沿模型风险,并将编制《风险知情开发政策》报告,阐述OpenAI在风险评估、监控及开发过程监督方面的具体方法。
根据官方描述,该团队将紧密衔接前沿模型的能力评估、评价及内部红队测试,覆盖从近期模型到具备AGI级能力的各类系统。其核心任务是跟踪、评估、预测并防范跨越多个领域的灾难性风险。
全球监管背景与应对举措
当前,全球各国政府正积极评估人工智能的现有及潜在危害,探索最佳监管路径以引导技术发展。OpenAI成立准备团队,旨在抢先响应这一议题并寻求解决方案。
作为该倡议的重要组成部分,“准备挑战”活动面向公众征集灾难性滥用预防建议,前十名优胜者将获得价值25,000美元的API额度支持。

