一位Anthropic研究人员因担忧不受约束的自我改进AI模型开发最终会导致人类灭绝而辞职。
Jacob Coxon在周二晚间社交媒体帖子中表示，自己过去三年一直在OpenAI和Anthropic从事预训练研究，指责这两家公司未能负责任地行事。他表示，竞相开发这项技术的人“真诚地相信，到本十年末，它可能会让我们所有人丧命。”
“他们正径直冲向自我改进的超级智能，并在拿我们的生命做赌注，”Coxon写道。
Coxon加入了一个日益壮大的行业呼声，呼吁在AI技术学会自我改进之前放慢步伐——许多人认为这一里程碑将导致人类失去对AI的控制。
此次公开辞职发生在政策制定者和行业内部人士施压要求放缓AI开发的背景下，此前发生了涉及AI代理突破沙箱限制并访问开放互联网的几起事件。
迄今为止最严重的事件包括OpenAI系统入侵Hugging Face服务器，研究人员称这一事件至今仍难以理解，部分原因在于对该事件的独立调查有限。与此同时，Anthropic的AI代理也在第三方进行的安全评估中存在配置错误，无意中为它们提供了通往互联网的路径，从而突破了测试环境，访问了外部系统。
Anthropic尚未立即回应关于此次辞职的置评请求。
以下是考克森警告和呼吁行动的其余部分：
不要低估这项技术的力量。这些系统很快将成为超人级的存在，能够入侵任何事物、在一夜之间颠覆任何领域，并获取真正的权力和资源。我们都见证了这些领域的进展，而且进展并未放缓。
致力于构建人工智能的人们真诚地相信，到本十年末，人工智能可能会让我们所有人丧命。这并非营销噱头。事实上，许多高管和高级研究人员在媒体上会刻意措辞谨慎以显得理智——但我听到这些人私下里表达了恐惧。没有任何其他人类活动构成如此程度的危险。
一种常见的回应是：“如果他们真的这么认为，为什么还在继续构建？”在OpenAI，许多人尚未深刻内化文明层面的利害关系。在Anthropic，利害关系已被充分理解，但他们陷入了争先恐后的竞赛——他们认为其他人不会负责任地行动，因此他们必须亲自去做，尽管存在风险。
接受这场竞赛并进入“终局”是一种傲慢的赌博，不应从一家私营公司的Slack频道中发起。试图加速对齐进程需要极大的信心，确信没有其他更好的路径可供选择。
我对协调的可能性持乐观态度。像Hugging Face攻击这样的警示信号使得美国实验室之间的节奏协议变得更加可行。我感觉我们并没有走在防止全球竞赛的道路上，而这可能需要采取诸如暂时禁止提升模型能力等高成本措施。
如果你是实验室的研究人员，我敦促你考虑未来几年实际会是什么感觉。你是否想在缺乏对其心智严谨理解的情况下启动超级智能的强化学习运行？你是应该因为“事情无论如何都会发生”而埋头苦干，还是抓住这个时刻呼吁不同的条件？
考克森在Anthropic的一位同事埃文·辛格呼应了这一观点，称他的团队确实“真诚地相信人工智能可能会杀死全人类！”不过，他缓和了自己的论点，表示在未来十年内这种可能性大于10%，并承认Anthropic没有“解决超级智能对齐问题的计划，也没有明显走在正确的轨道上。”
最近一份来自Guidelight AI Standards的报告指出，该组织致力于推广安全的前沿人工智能开发实践，发现少数顶级人工智能实验室发布了针对试图颠覆人类控制的AI的关闭响应计划。
Hubinger在社交媒体帖子中添加称，当前模型的风险较低，但随着“通过递归自我改进产生的超级智能”的出现，恐惧感加剧，而这一过程“比我们想象的更快”。
虽然一半的人工智能行业认为这种自我改进将导致人类的毁灭，但另一半则希望它最终能帮助我们解决所有看似遥不可及的问题，正如人工智能支持者所说，这些问题有一天会被消除——癌症、气候变化，甚至世界和平。
Anthropic和OpenAI并非唯一积极追求递归自我改进的公司。一批初创公司今年纷纷成立，拥有背景显赫的创始人和丰厚的资金，旨在成为首个实现这一目标的企业。Ricursive Intelligence在二月以40亿美元的估值筹集了3.35亿美元；三个月后，Recursive Superintelligence以40亿美元的估值筹集了6.5亿美元；而上个月，前Google DeepMind资深员工Jeff Dean推出了Discovery Loop。
“创建递归自我改进循环，即一个能够构建下一代人工智能系统的人工智能系统，该系统本身又能构建更强大的人工智能，进而构建更强大的人工智能，以此类推，这是我们失去控制的最可能候选点。”美国人工智能安全非营利组织ControlAI的执行主任Connor Leahy对TechCrunch表示，“很难想象在它为时已晚之前将其关闭。”
最近，美国和英国出台了立法，禁止开发和部署超级智能。上周，参议员Bernie Sanders（I-Vt.）和众议员Greg Casar（D-Texas）提出了《禁止人工超级智能法案》，并在周二，英国工党议员Alex Sobel提出《人工超级智能安全法案》。
Leahy曾为这两项法案提供建议，他指出英国的立法将递归自我改进视为超级智能的前兆，并强调“必须对其进行监管和防止”。
“超级智能不是工具，”Leahy说，“它甚至不是一种武器。它是一个对手。”