虽然人们的注意力主要集中在 Anthropic 周一在其修订版 S-1A 文件中披露的更新财务数据上（收入飙升，但支出也在增加），这家 AI 实验室在细文中又抛出了一枚小小的重磅炸弹。
该文件似乎警告称，该公司正处于创造出具备递归自我改进（RSI）能力的模型的边缘。
RSI 是指 AI 在训练自身方面变得如此出色，以至于引发了 AI 能力的急剧加速。对于“AI 末日论者”来说，RSI 代表了一种无法回头的灾难性局面：AI 将自己构建得足够强大，从而脱离人类控制，并在实现目标的过程中可能对造成的损害漠不关心。
而对于 AI 爱好者来说，RSI，或者某种版本的 AI 可靠地利用自身进行改进，代表了这项技术的潜力，即它将成为一种具有难以想象的生产力、科学发现能力等的工具。
Anthropic 似乎认为 RSI 既是机遇也是风险。它在 S-1 文件中表示使用 AI 进行研发，但警告称：“使用 AI 来帮助构建更强大的 AI 也可能带来重大的安全风险，特别是如果它显著加快了进步的步伐。这是我们‘负责任扩展政策’涵盖的领域之一，该政策概述了我们在接近所谓‘递归自我改进’时监控和缓解风险的计划。”
当这个术语今年早些时候流行起来时，许多人认为它只是一个流行语，或者充其量是一个太难实现、定义或证明的目标。
但在周一，Anthropic 在其风险因素部分增加了新的声明，称 1) 它已经使用 AI 开发了新模型，而这些模型在当时的能力飞跃并未被其识别；以及 2) 它可能很快达到其内部对 RSI 的定义（加粗强调为本文所加，如下）：
此外，我们越来越多地使用AI系统来加速我们自己的研发工作，这可能导致我们的模型能力比我们开发、验证和实施相应安全、对齐和安全措施的能力更快地发展。因此，我们过去未能识别，未来也可能无法在相关事件发生之前及时识别出我们研发速率的重大加速。
例如，关于我们未来模型而非当前模型的内部估计和预期表明，我们可能即将达到负责任扩展政策中关于“可归因于AI的大幅加速进展”的定义。我们尚未将任何当前模型指定为超过这一阈值，并且我们仍在评估基础数据。
然而，Anthropic 还在文件中表示，其任何模型都尚未跨越这一 RSI 阈值，并承诺在可预见的未来将人类保留在研发过程中。“我们预计，即使在未来技术上可行，也无法在不进行有意义的人类监督或理解的情况下，安全地使用 Claude 完全自主地设计和构建下一代前沿模型。因此，我们正在考虑更新我们的‘负责任扩展政策’，以确保 Anthropic 的前沿模型开发始终由人类掌控。”
怀疑论者可能会指出，S-1文件既具有信息披露功能，也具有营销性质，而声称自己接近一个能够自我构建的强大模型的说法可能属于后者。
尽管如此，毫无疑问的是，Claude 的能力，特别是在编码、数学和网络安全性方面，今年已经有了飞跃式的增长。如果 Anthropic 认为 RSI 的可能性迫在眉睫，那么我们或许应该相信并采取行动——也许是进行治理—— accordingly。