OpenAI超级对齐团队核心成员离职,安全研究资源分配引争议
OpenAI负责开发治理和引导“超智能”AI系统的超级对齐团队(Superalignment Team)正面临动荡。据团队成员透露,尽管公司曾承诺向其提供20%的计算资源,但即便是小额请求也常被拒绝,严重阻碍了研究工作。
这一问题促使多名核心成员本周辞职,包括联合负责人Jan Leike。Leike曾任DeepMind研究员,在OpenAI期间参与了ChatGPT、GPT-4及InstructGPT的开发。
Leike于周五公开阐述了离职原因:“长期以来,我一直与OpenAI领导层在公司核心优先事项上存在分歧,直到最终达到临界点。”他在X平台表示:“我认为应将更多精力投入到为下一代模型做准备上,涵盖安全性、监控、对抗性鲁棒性、(超级)对齐及社会影响等议题。这些问题极难解决,我担心我们并未走在正确的轨道上。”
构建比人类更聪明的机器本质上是一项危险的事业。OpenAI肩负着代表全人类的巨大责任。—— Jan Leike (@janleike) 2024年5月17日
针对资源承诺与分配问题,OpenAI尚未立即回应置评请求。
雄心勃勃的安全目标与现实困境
超级对齐团队成立于去年7月,由Leike与联合创始人Ilya Sutskever共同领导(Sutskever亦于本周辞职)。该团队旨在四年内解决控制超智能AI的核心技术挑战,汇集了内部科学家、工程师及其他部门研究人员,致力于通过研究资助计划等方式,指导内部及行业模型的安全性。
尽管团队发表了多项安全研究成果并提供了数百万美元外部资助,但随着产品发布占用越来越多管理层精力,团队发现必须不断争取前期投资——而这些投资对实现造福人类的超智能AI使命至关重要。
Leike指出:“构建比人类更聪明的机器本质上是一项危险的事业。但在过去几年里,安全文化和流程被置于光鲜亮丽的产品之后。”
高层内斗加剧团队动荡
Sutskever与CEO Sam Altman之间的斗争成为另一大干扰因素。去年年底,Sutskever联合前董事会成员以Altman未“始终保持坦诚”为由推动其解职。在微软等投资者及员工压力下,Altman虽获复任且大部分董事辞职,但据报道Sutskever再未返回工作岗位。
消息人士透露,Sutskever在超级对齐团队中扮演了关键角色:不仅贡献研究成果,还充当跨部门桥梁,并向决策者强调团队工作的重要性。
后续调整:从独立团队转向分散整合
Leike离职后,Altman在X上承认仍有“很多工作要做”并承诺完成。联合创始人Greg Brockman随后补充说明:
我们非常感谢简为OpenAI所做的一切……我们需要建立非常紧密的反馈循环、严格的测试、每一步都经过仔细考量、世界级的安全性,以及安全与能力的和谐统一。——格雷格·布罗克曼 (@gdb) 2024年5月18日
尽管Brockman未提及具体政策,但强调了安全与能力的平衡。目前,另一位联合创始人John Schulman已接手相关工作,但不再设立专门团队,而是将研究人员嵌入各部门进行松散关联研究。OpenAI发言人将此描述为“更深入地整合”。外界担忧,这一调整可能导致OpenAI的AI开发在安全性上不如以往专注。

