
OpenAI宣布启动一项新计划,旨在与独立专家合作评估人工智能模型的安全性。该公司已与Apollo Research、Goodfire、METR和Transluce达成协议,允许这些机构的研究人员访问OpenAI内部的各类资源,包括尚未发布的模型、训练流程和安全系统。
嵌入式评估:新方法的核心
OpenAI提出的“嵌入式评估”这一新方法,将允许独立研究人员在公司内部进行安全评估。根据研究范围,研究人员可以访问人工智能模型的不同开发阶段和源代码。此外,他们还可以审查训练和评估数据、监控系统以及技术文档,并与OpenAI的工程师和研究人员会面。公司希望通过这种方法,让独立专家发现其自身安全测试可能遗漏的问题。
各机构专注领域详解
该计划引人注目的部分之一是Apollo Research将开展的工作。Apollo Research将研究模型是否会暗中违背开发者的意图,以及OpenAI的安全系统能否发现此类行为。评估范围包括:
- 训练是否鼓励模型突破安全措施;
- 安全测试能否揭示此类行为;
- 模型在内部使用期间是否尝试过此类操作;
- 能否识别这些行为背后的推理过程。
据共享信息,此处研究的主要风险之一被定义为“AI subversion”。这一概念指人工智能模型试图削弱为其自身或未来模型设立的人类控制下的安全和对齐机制。随着人工智能模型具备更强的自主行动能力以及欺骗人类的能力不断提升,这一风险被认为变得更加重要。
在该计划下,其他机构也将专注于不同领域:
- Goodfire:将通过分析模型的内部运作,致力于监控训练流程、检测异常行为以及改进模型对齐。
- METR:将调查在OpenAI最大的强化学习训练过程中,公司现有测试可能遗漏的不一致行为,同时评估OpenAI用于检测这些行为的监控系统的有效性。
- Transluce:将对训练后使用的安全评估的质量和范围进行检查。此外,还计划在2027年初与Transluce开展为期约八周的更广泛合作。
数据安全与独立性争议
由于独立研究人员能够访问敏感的公司数据,大部分研究将在OpenAI的办公室内并使用该公司提供的设备完成。研究人员可以独立发表其发现,但OpenAI可能会审查敏感信息,并可能要求推迟发布存在安全漏洞的发现。公司的安全委员会则可以审阅去标识化后的完整评估报告。
另一方面,该项目的独立程度也备受争议。Apollo Research主张,为实现真正意义上的独立评估,研究人员应拥有与员工相当级别的访问权限。然而,在首次试点研究中,访问权限仅限于预先确定的模型、时间段和研究主题。此外,OpenAI还可能以技术、安全或知识产权为由限制某些信息的访问。
合作模式与未来展望
Apollo Research将当前项目视为迈向更全面独立评估的重要第一步。与此同时,OpenAI指出,Apollo Research和Goodfire会因研究工作获得报酬,但这些报酬不与评估结果挂钩。METR和Transluce则不收取费用,但它们可以接受计算资源或API额度作为补偿。
OpenAI表示,计划通过第一阶段积累的经验来扩大独立评估的范围。公司还提到,未来可能会将安全框架的合规性审查,以及由外部专家对OpenAI的企业文化和流程进行评估纳入议程。

