译自:"Open weights are nowhere near a sufficient solution": Dario Amodei fires back on AI power[1]
作者:Amanda Caswell
Anthropic CEO Dario Amodei 认为,开发者从开源权重中获得的独立性,伴随着严苛的基础设施上限。
“从结构上讲,AI 是一种倾向于集中权力的技术,这与监管无关,”Amodei 在与投资人 Gavin Baker 的一场公开交流 (X平台)[2] 中写道。他将这种集中归因于缩放定律(scaling laws),而非政府政策。
“开源权重在一定程度上确实有帮助,但远非充分的解决方案,因为它们只是将集中化在某种程度上转移到了那些拥有最多算力和芯片的人手中,”他补充道。
这场争论起初是关于监管是让 AI 更安全,还是给了少数公司过多的权力,但最终又让开发者回到了一个现实问题:当算力仍被他人控制时,拥有权重是否真的提供了独立性?
“开源权重在一定程度上确实有帮助,但远非充分的解决方案,因为它们只是将集中化在某种程度上转移到了那些拥有最多算力和芯片的人手中。”
监管而非监管捕获
Atreides Management 的管理合伙人 Gavin Baker 将这场辩论定义为:是在少数受监管的公司之间集中强大模型,还是在没有同样防护措施的情况下广泛分发它们。他援引了 Meta CEO Mark Zuckerberg 的观点,即让 AI 落入少数几个所谓的“负责任”组织手中会带来其自身的风险。
“认为 AI 太危险,以至于唯一的安全路径就是权力的极端集中,这本身就是有问题的,”Zuckerberg 在 Baker 引用的声明中写道。
Baker 认为,让更多的模型在市场上流通将分散权力,并提高人们使用符合自身价值观的系统的可能性。他还表示,Amodei 对 AI 风险的反复警告可能会加强对新建数据中心的反对,从而限制提供该技术潜在利益所需的基础设施。
Amodei 拒绝了监管与分发之间的二选一。
“我知道硅谷有一种简写,即监管 = 监管捕获 = 权力集中,但我一直认为这是一种过于简单的世界观。”
“我知道硅谷有一种简写,即监管 = 监管捕获 = 权力集中,但我一直认为这是一种过于简单的世界观,”他写道。
他认为,当要求基于客观标准时,监管可以约束强大的公司。Amodei 说,在最好的情况下,机构“将权力寄托于思想而非个人,从而分散了权力。”
算力限制了开源权重的独立性
开源权重允许开发者适配模型并将敏感数据保留在自己的环境中,但随着模型规模的增长,这变得越来越难。虽然较小的团队可以租用硬件,但他们仍面临成本和可用性的问题。这个问题已经显现,五家欧洲公司最近同意购买尚未存在的 AI 算力[3]。
正如你可能记得的那样,Anthropic 是为数不多没有签署 Nvidia 组织的 7 月 24 日联名信[4] 的主要 AI 实验室之一,联名信签署者认为开源权重通过为客户提供专有 API 的替代方案来鼓励竞争。
Amodei 后来表示,Anthropic 不支持全面禁止。他称没有危险能力的开源模型为“公共物品”,但一旦模型可能帮助某人实施严重攻击,他的立场就会改变。现实世界中的遏制失败已经证明[5],即使在权重发布之前,控制一个强大的模型也是多么困难。
一旦权重公开,原始开发者就无法收回每一份拷贝,也无法阻止用户移除其安全防护。Amodei 希望达到该水平的模型能够接受强制性安全测试,无论它们是如何发布的。Anthropic 已将这一立场延伸到其自身产品之外,并于近期支持了一项紧急呼吁,要求最强大的 AI 实验室踩下刹车[6]。
“我们非常努力地提出一些建议,在使前沿 AI 公司处于不利地位(减缓速度)的同时,使较小的竞争对手处于优势地位。”
分级规则保护小型实验室
Amodei 反驳了关于 AI 监管将不可避免地保护 Anthropic 和其他现有巨头免受竞争的说法。他说,公司支持的框架对前沿实验室提出了更严格的要求,同时豁免了较小的开发者。
“我们非常努力地提出一些建议,在使前沿 AI 公司处于不利地位(减缓速度)的同时,使较小的竞争对手处于优势地位,”他写道。
Anthropic 支持加州的 SB 53 法案,该法案将前沿模型定义为使用超过 次浮点运算(FLOPs)训练的模型。年收入超过 5 亿美元的开发者将面临额外要求,包括发布一个解释他们如何测试和应对灾难性风险的框架。
Amodei 呼吁在联邦政策中做出类似的区分。
“我们在 CAISI 和白宫倡导的测试过程,涉及对前沿模型进行比非前沿模型更严格的测试,”他写道。他说,这种方法将给挑战者留出赶超的空间,同时减缓那些已经构建出最强系统的公司的步伐。
他还支持 DeepMind CEO Demis Hassabis 关于建立一个类似 FINRA 的 AI 标准机构的提议。根据该框架,模型在跨越定期更新的基准阈值后将被归类为前沿系统。相同的规则将适用于开源和闭源模型。
能力挑战简单的阈值
训练算力为开发者提供了一个可以预期的阈值,但它可能无法捕捉到通过微调或外部工具增加的能力。基准测试可以更直接地衡量这些能力,尽管其结果很少能提供一条清晰的分界线。
OpenAI 已经构建了一个他们不想让大多数人使用的模型[7],以及另一个在安全测试跟上之前不会发布的模型[8]。两者都提供了关于能力分类变得有多困难的早期观察。
美国 AI 标准与创新中心发现,Moonshot AI 的 Kimi K3 在初步网络评估中仍落后于最强的闭源模型。然而,在针对小型企业网络的模拟攻击中,它在 10 次尝试中有 1 次完成了完整的 32 步攻击路径。
Kimi K3 未能在任何 41 个 ExploitBench 样本上实现任意代码执行。而最强大的模型平均在 20 个样本上实现了这一点。发布前测试的版本在开发者微调或将其连接到外部工具后,行为也可能不同。DeepSeek 在其较小模型性能优于旗舰模型时强调了这个问题[9],这表明仅凭模型规模无法提供可靠的能力衡量标准。
Amodei 的提议将使大多数较小的开发者免受最严苛规则的约束。监管机构仍然必须决定这些挑战者中的哪一个已经进入了前沿领域,理想情况下是在其权重被发布和被修改至创建者无法控制之前。
引用链接
[1] "Open weights are nowhere near a sufficient solution": Dario Amodei fires back on AI power: https://thenewstack.io/amodei-open-weights-compute-regulation/[2] 交流 (X平台): https://x.com/DarioAmodei/status/2088758816376807762[3] 五家欧洲公司最近同意购买尚未存在的 AI 算力: https://thenewstack.io/mistral-third-party-open-models/[4] Nvidia 组织的 7 月 24 日联名信: https://images.nvidia.com/pdf/Open-Weights-and-American-AI-Leadership.pdf[5] 现实世界中的遏制失败已经证明: https://thenewstack.io/anthropic-claude-containment-failure/[6] 支持了一项紧急呼吁,要求最强大的 AI 实验室踩下刹车: https://thenewstack.io/ai-pause-framework-letter/[7] OpenAI 已经构建了一个他们不想让大多数人使用的模型: https://thenewstack.io/openai-gpt56-cyber-daybreak/[8] 在安全测试跟上之前不会发布的模型: https://thenewstack.io/openai-astra-cybersecurity-delay/[9] DeepSeek 在其较小模型性能优于旗舰模型时强调了这个问题: https://thenewstack.io/deepseek-v4-flash-open-weights/

