OpenAI解散安全团队，“AI降临派”胜出？- 大数跨境

首页

OpenAI解散安全团队，“AI降临派”胜出？

问芯

2024-05-18

导读：从注重安全转向更多关注产品和商业化，可能会影响公司的声誉和公众信任。

AI 快速发展的今天，随之带来的安全问题是不是一件重要的事情？在 OpenAI 看来这还不太值得过多关注，至少不是优先事项。

当地时间 5 月 17 日，据媒体报道，已经证实 OpenAI 刚刚解散了自己的“超级对齐”团队（关注AI的长期风险）。这件事发生在领导该团队的两位负责人接连离职之后。

5 月 15 日，OpenAI 联创兼首席科学家 Ilya Sutskever 宣布离开，具体原因未说明，只是表示接下来会做一个对自己非常有意义的项目。Ilya 是一位卓越的科学工作者，师从“AI 教父”杰夫·辛顿，在过去十多年参与了深度学习发展中的很多关键节点。2015 年，在埃隆·马斯克和 OpenAI 当前 CEO Sam Altman 的力邀下联合创立 OpenAI，并担任首席科学家至今。就像 Altam 所说，没有他，OpenAI 就不会存在。

图 | Ilya Sutskever（中）和 Sam Altman（右二）（来源：X）

在 Ilya 离开后的同一天，“超级对齐”团队的另一位负责人 Jan Leike 宣布辞职。他在第二天公布了更多有关信息。

他提到，离开这份工作是他做过最艰难的决定之一，因为迫切需要找到方法来引导和控制比我们聪明得多的人工智能系统。过去三年，他的团队推出了首个基于人类反馈强化学习（RLHF）的大语言模型 InstructGPT（RLHF 是 ChatGPT 得以出现的关键技术），发布了首个可扩展的语言模型监督研究，开创了自动解释性和从弱到强的泛化方法。更多令人兴奋的成果即将问世。

他认为建造比人类更智能的机器本质上是一项危险的工作，应该花更多精力为下一代模型做好准备，涉及安全、监控、应对措施、对抗鲁棒性等相关主题。这些问题非常难以解决，我们尚未走上解决这些问题的正确轨道。

加入 OpenAI 是因为他认为这里是进行研究的全球最佳场所。但现在，他与 OpenAI 的领导层在公司核心优先事项上存在分歧已经有一段时间，直到最终达到了无法调和的地步。

过去的几个月，他的团队一直在逆境中前行。有时在计算资源方面遇到困难，使得完成研究变得愈发艰难。并提到，如今的 OpenAI 重点在于“炫目的产品”，安全文化被忽视。

据了解，过去几个月，已经有多位注重安全的研究人员辞职或被开除。不断的人员离职表明，OpenAI 内部在发展方向和优先事项上出现了严重分歧。

其中，计算资源的分配或许是一个重要方面。“超级对齐”团队在 2023 年 7 月成立时，OpenAI 表示将投入 20% 的计算资源用于 AI 对齐问题，也就是开发新方法来监督和控制超智能 AI。并指出虽然目前超智能 AI 看似遥远，但可能在本十年内出现，管理这些风险需要新的治理机构和对齐技术，从而确保超智能 AI 系统遵循人类意图。

但现如今，就像 Jan Leike 所说，计算资源的缺乏，让 AI 安全研究难以进行。

本次“超级对齐”团队的解散可以看作去年 11 月 OpenAI“宫斗”事件的延续。当时 OpenAI 董事会罢免了 Sam Altman 职位，将其开除。这之后，另一位联创也紧接着宣布辞职。并引发了 OpenAI 多数员工的集体抗议。

最终 Sam Altman 重返 OpenAI，并重组了董事会，其中包括一名微软（OpenAI 的重要投资者）代表，尽管微软没有投票权。据悉，Ilya 自此之后没有再出现在公司，一直处于“隐身”状态，引发广大网友关切“Ilya 去哪儿了？”。

至今，OpenAI“宫斗”事件的真实原因依然是个谜。当时董事会只是提到，Sam Altaman 在交流过程中不坦诚。

现在来看，可能确实更多的是关于 AI 安全的优先级问题。Sam Altam 可能更多的关注在产品和商业化上面。从近来 OpenAI 处处针对谷歌发布产品就可以一窥一二，像今年初在谷歌进行模型大升级同一天发布颠覆性的文生视频产品 Sora，以及在谷歌 I/O 大会前夕发布 GPT-4o 支持的 AI 语音助手，这本来是谷歌在大会上要重点介绍的亮点产品，但在 GPT-4o 的光芒下变得普普通通。

这种商业性在 Sam Altman 近日的一则推文下变得更加直接。Altman 公开“嘲讽”谷歌的品味是如此糟糕。