OpenAI成立“准备就绪”团队，防范AI灾难性风险
OpenAI今日宣布成立新团队“准备就绪”（Preparedness），旨在评估、检验和探测人工智能模型，以防范其所称的“灾难性风险”。该团队将由麻省理工学院可部署机器学习中心主任阿列克桑德尔·马德雷（Aleksander Madry）领导。其主要职责是跟踪、预测并防范未来AI系统带来的危险，包括说服和欺骗人类的能力（如网络钓鱼攻击）以及生成恶意代码的能力。
关注CBRN威胁与更接地气的风险研究
准备就绪团队研究的部分风险类别看似牵强。例如，OpenAI在博客文章中将“化学、生物、放射性和核”（CBRN）威胁列为与AI模型相关的最高关注领域。尽管CEO Sam Altman常表达对AI可能导致人类灭绝的担忧，但公司实际投入资源研究此类科幻反乌托邦情景仍超出预期。
同时，OpenAI也愿意研究更接地气的AI风险领域。为配合团队启动，公司正向社区征集风险研究方案，前十名提交者将获得2.5万美元奖金及加入“准备就绪”团队的机会。竞赛题目要求参与者想象作为恶意行为者，拥有对Whisper、Voice、GPT-4V和DALL·E 3等模型的无限制访问权限时，可能产生的独特且潜在的灾难性滥用方式。
制定基于风险的开发政策
“准备就绪”团队还将负责制定“基于风险的开发政策”，详细阐述OpenAI在构建AI模型评估和监控工具方面的方法、风险缓解行动及全流程治理监督结构。此举旨在补充公司在AI安全领域的其他工作，重点关注模型部署前和部署后的阶段。
OpenAI表示：“我们相信AI模型将超越当前最先进水平，有望造福全人类，但也带来日益严重的风险。我们需要确保拥有保障高度强大AI系统安全所需的理解和基础设施。”
应对超级智能挑战
此次发布恰逢英国政府AI安全峰会，并非巧合。此前OpenAI已宣布组建团队研究、引导和控制“超级智能”AI。Altman及首席科学家Ilya Sutskever认为，超越人类智能的AI可能在十年内到来，且未必善意，因此亟需研究限制和约束它的方法。