OpenAI解散了AI风险团队
Ai商情 OpenAI最近决定解散其AI风险团队，并成立一个新的名为“Preparedness”的部门。这一举措与他们加强AI安全和减少高级AI系统潜在风险的总体战略一致。
由麻省理工学院的亚历山大·马德里（Aleksander Madry）领导的Preparedness团队，重点关注一系列高风险领域，包括化学、生物、放射和核威胁、网络安全问题、个性化劝说以及自主复制和适应。这一举措旨在应对预期将显著超过当前能力的前沿AI模型所带来的日益严重的风险。
OpenAI的策略包括制定一个名为“基于风险的开发政策”（RDP）的框架，指导AI系统的创建和部署。该政策将涉及严格的能力评估和监控，并建立一个治理结构，以确保责任和监督。该框架定义了四类风险（低、中、高和关键），并概述了管理这些风险的具体程序，例如如果风险级别高或关键，则将模型部署在受限制的环境中。
此外，OpenAI还发起了Preparedness Challenge，旨在通过邀请社区成员提出防止灾难性误用的建议，进一步完善团队的工作。这项挑战提供了25,000美元的API信用奖励，并可能为顶尖的参赛者提供加入Preparedness团队的机会。
向Preparedness团队的转变表明了OpenAI积极应对潜在AI威胁并确保AI技术安全发展的承诺。这一变化也反映了他们从假设的风险场景转向具体的、数据驱动的风险评估和缓解措施的战略。
在OpenAI的Preparedness团队所关注的潜在风险中，主要包括以下几类：
-
个性化劝说（Individualized Persuasion）：这是指AI系统可能被用来针对个人进行高度定制化的劝说或操纵，例如通过社交媒体或其他数字平台进行在线激进化、政治影响或欺诈。
-
网络安全（Cybersecurity）：涉及AI模型在网络攻击中的潜在应用，例如通过开发已知漏洞进行攻击或生成恶意代码。这类风险可能导致大规模的数据泄露或其他形式的网络犯罪 。
-
化学、生物、放射和核（CBRN）威胁：这类风险指AI可能被用于开发或传播危险的化学、生物、放射或核材料，造成严重的公共安全威胁。
-
自主复制和适应（Autonomous Replication and Adaptation, ARA）：涉及AI系统能够自主复制和适应的能力，这可能导致失控的AI系统，无法被有效地控制或限制。
关联阅读
报告 | AI大模型工业应用现状、模式与展望
斯坦福 | 13张图了解AI产业现状
报告 | 2024年中国AI大模型产业发展报告
月度盘点 | AI 行业洞察（2024.4）
※※※※※※※※※※※※※
以下内容与本文密切相关
中国AI产业
法律、政策、规划、标准集
报告、研究进展跟踪
中国知名AI大模型列表+简介
