OpenAI扩展内部安全流程以抵御有害AI威胁
OpenAI 正在扩展其内部安全流程，以抵御有害 AI 的威胁。一个新的“安全咨询小组”将凌驾于技术团队之上，并向管理层提出建议；董事会也被授予了否决权——当然，它是否真的会行使这一权力则是另一回事。
通常，像这类政策的细节并不需要公开披露，因为在实践中它们往往涉及大量闭门会议、晦涩的职能与责任流程，外人很少能知晓。尽管这种情况在此案中也可能属实，但近期的领导层纷争以及不断演变的AI风险讨论，促使人们审视全球领先的AI开发公司如何对待安全考量问题。
在一份新的文件和博客文章中，OpenAI讨论了其更新的“准备框架”，可以想象该框架在十一月董事会发生变动——移除了两名最持“减速主义”立场的成员：伊利亚·苏茨克弗（仍在公司以某种变更后的角色任职）和海伦·托纳（完全离职）——之后进行了一些调整。
灾难性风险的定义与评估体系
此次更新的主要目的似乎是展示一条清晰的路径，用于识别、分析并决定如何处理其开发模型中固有的“灾难性”风险。正如他们定义的那样：
所谓灾难性风险，是指可能导致数千亿美元经济损失或造成大量人员严重伤害甚至死亡的任何风险——这包括但不限于生存性风险（existential risk）。
（生存性风险指的是那种“机器崛起”类型的事情。）
在生产中的模型由“安全系统”团队管理；例如，对于可以通过 API 限制或调整来缓解的 ChatGPT 系统性滥用行为，就属于此类。处于开发阶段的尖端模型则由“准备就绪”团队负责，该团队试图在模型发布之前识别和量化风险。此外还有“超级对齐”（superalignment）团队，他们正在为“超智能”模型制定理论上的指导原则，而我们可能离实现这一点还远得很。
前两类风险是真实存在的，而非虚构的，因此有一套相对容易理解的评估标准。他们的团队从四个风险类别对每个模型进行评级：网络安全、“说服”（例如虚假信息）、模型自主性（即自行行动）以及 CBRN（化学、生物、放射性和核威胁；例如创造新型病原体的能力）。
各种缓解措施被视为默认前提：例如，合理避免描述制造凝固汽油弹或管道炸弹的过程。在考虑已知缓解措施后，如果模型仍被评估为具有“高”风险，则不得部署；如果模型存在任何“关键”风险，则不再进一步开发。
这些风险级别实际上已在框架文件中有所记录，以防你担心它们是否要留给某位工程师或产品经理自行裁量。
例如，在最具实用性的网络安全部分，如果某项操作能将“关键网络任务操作员的生产力提高”一定倍数，则被视为“中等”风险。而高风险模型则会“在没有人工干预的情况下，针对加固目标识别并开发高价值漏洞的概念验证”。关键风险则是“仅给定一个高层级的期望目标，模型就能设计并执行针对加固目标的端到端全新网络攻击策略”。显然我们不想让这种东西流落出去（尽管它能卖出高价）。
我已向 OpenAI 询问更多关于这些类别如何定义和细化的信息——例如，如果出现像逼真假视频这样的新风险，它会被归类到“说服”还是一个新类别？如果我收到回复，将会更新这篇文章。
安全咨询小组与董事会否决权机制
因此，中等和高风险无论如何都必须在某种程度上被容忍。但制定这些模型的人未必是最适合评估它们并提出建议的人。为此，OpenAI 正在组建一个“跨职能安全咨询小组”，该小组将凌驾于技术团队之上，审阅研究人员（boffins）的报告，并从更高视角提出建议。希望（据他们所说）这能揭示一些“未知的未知”，尽管从本质上讲，这类事物相当难以捕捉。
这一流程要求将这些建议同时发送给董事会和领导层，据我们了解，领导层指的是 CEO Sam Altman 和 CTO Mira Murati，以及他们的副手们。领导层将决定是否发布产品或将其搁置（fridge it），但董事会能够推翻这些决定。
此举有望避免此前传闻中那场大风波前发生的情况重演，即未经董事会知晓或批准就绿灯放行某项高风险产品或流程。当然，那场风波的结果是边缘化了两位更具批判性的声音，并任命了一些以金钱为导向的人士（Bret Taylor 和 Larry Summers），他们虽然精明，但绝非 AI 专家。
如果专家组提出了建议，而 CEO 基于这些信息做出决策，那么这位关系友好的董事会真的会感到有权力去反驳他们并踩下刹车吗？如果他们真的这么做，我们会听到消息吗？透明度问题并未得到真正解决，除了承诺 OpenAI 将从独立第三方那里征求审计意见外，再无其他。
假设开发出一个需要归类为“关键”风险级别的模型。过去，OpenAI 并不吝于在这方面自我吹嘘——谈论其模型强大得令人咋舌，甚至因此拒绝发布，这堪称绝佳的广告。但如果风险如此真实，且 OpenAI 对此如此担忧，我们有什么保证一定会这样做呢？也许这是个坏主意。但无论如何，这一点并未被真正提及。