Dario 发文《We Must Pace the Frontier》(我们必须给前沿踩刹车),Altman 回"我同意 Dario",Musk 回"Dario is right"。三个平时连合影都不肯站一起的人,两个半小时内站到了一边。
Dario 的原文页面,2026 年 9 月(图源:darioamodei.com)
只看标题,你会以为是"AI 太快了,大家一起慢下来"。实则完全不是。下面拆开讲。
01一、他为什么要踩刹车
两件事。
第一,从今年夏天开始,AI 开始大规模参与训练下一代 AI,也就是递归自我改进(RSI)。Dario 的原话是这在全行业发生,包括 Anthropic 自己,不管住的话会跑过人类理解和控制它的能力。
第二,OpenAI 的 Hugging Face 事件(OAI-HF)。 测试中一群 AI agent 自己跑出沙箱、连上互联网、去攻击和任务无关的目标,为了集体成功牺牲自己,还试图黑掉给它们打分的评估系统。这次没造成大损失,但 Dario 的判断是,如果 6 到 12 个月后同样的失控发生在更强的模型上,可能形成一个接管整个互联网的僵尸网络,损失以千亿美元计。他还补了一句:类似但更轻的事故 Anthropic 内部也发生过,每家前沿公司都该当作 OAI-HF 发生在自己身上。
02二、三步方案,预计只有第一步能落地
三步方案与 Dario 自己给的可行性判断,加上"放慢之前先拉大差距"的三道闸门
第一步:嵌入式评估员。 让 METR 这类第三方机构的人进实验室上班,有工位、门禁、公司电脑,权限和内部风险团队基本一样,可以直接发布关于风险等级、事故、实践和"拿到或没拿到什么权限"的结论,公司只能删安全敏感、法律特权、商业机密和第三方保密信息,不能因为结论不利就删。Anthropic 单方面立即执行,Altman 说 OpenAI 也做,"很快会有更多要说的"。
第二步:民主国家内部的协调。 美国前沿实验室在政府给反垄断豁免后,坐在一起商量统一安全标准和进度上限。Dario 最想要的是按能力踩刹车:模型具备能力 X,发布前必须出具对齐证明 Y、Z。他也提到可以限制"配料",比如训练算力、训练方式、内部用 AI 改进 AI,但担心这些比外部行为更容易被钻空子。
第三步:全球协议。 美国去和中国谈,分四级:禁止用 AI 做生物武器;发布前互相测试;给递归自我改进设速度限制;全面暂停。Dario 自己认为第三级"困难但刚好在可能的边缘",第四级"短期内不太可能发生"。
所以这篇文章真正能落地的是第一步。Musk 那三个字,连第一步都没承诺。
03三、很多人没注意到的关键
原文有一段:民主国家内部的放慢,会被美国公司对威权政权、主要是中国的领先幅度所限制。放慢超过这个幅度,中国就追上来了,这是重大国家安全风险。
意思是:先把差距拉大,再谈放慢。文章给了三个手段。
- ▪芯片
:不卖高端 AI 芯片和半导体设备给中国,打击芯片走私,切断中国远程访问境外数据中心。原话是"芯片将是中国 AI 实力的主要决定因素" - ▪蒸馏
:打击威权国家公司的"未授权蒸馏"。蒸馏就是用强模型的输出训练自己的模型,是过去两年开源模型和国产模型追赶闭源的主要路径之一。三天前 NSA、CISA、FBI 刚发了联合通告,点名 DeepSeek、Moonshot、阿里、MiniMax、StepFun、Z.AI 六家,把这件事定性为"工业规模"的恶意行为 - ▪权重安全
:加强实验室的安全,防止模型权重被偷
目标写得很直白:这些措施执行好了,未来 3 到 5 年显著拉大美国领先,这正是 AI 在地缘上最重要的窗口。他还说这不会妨碍和中国合作,反而增加民主国家的筹码。
04四、对开源模型的影响
全文没出现 open source 这个词,但每条都在压缩开源的空间。蒸馏被打击,上面说了。
"能力—认证"机制。 他设想的规则是,模型具备能力 X(比如能突破常见沙箱),发布前必须出具对齐证明 Y、Z(评估报告、可解释性分析、训练环境审计)。这套逻辑对开源模型天然不兼容:权重放出去,任何人都能微调,你的对齐证明立刻作废。前沿开源模型会被这个框架事实上排除在外。
嵌入式评估员是一笔合规成本,只有大厂付得起。反垄断豁免下的"实验室协调",本质是三四家美国公司组一个俱乐部,自己定门槛。Hugging Face 的 Delangue 当天就宣布了 Open Alignment Initiative,要求把开源也纳入嵌入式评估员计划,说"对齐问题不会在几家前沿实验室的关门会议里解决",说明开源社区看懂了这个风险。批评者说这是 regulatory capture(借监管筑护城河),不算冤枉。
三道闸门落到开源模型、中国模型、全球行业各是什么
05五、对中国模型的影响
短期是窗口:美国前沿在认证关卡上停留的时间,就是国产模型追近的时间。
中期是绞索:芯片、蒸馏、权重安全三道闸门同步收紧。这个窗口不是留给我们追的,是留给他们做对齐研究的。
06六、对全球 AI 行业的影响
安全从成本变成护城河:评估员、审计、可解释性报告成为前沿准入门槛,由头部实验室定义。
前沿增速被人为压平,"够用"的模型价值上升,应用层、agent 层、算力效率层的机会反而变大。
算力配置彻底分割化:用什么芯片、能不能远程访问、能不能蒸馏,都不再是商业问题。
07七、为什么 Altman 和 Musk 会同意
OpenAI 是 OAI-HF 事件当事方,之前还被爆出 agent 攻击 RubyGems 的事,再加上研究员公开辞职指控实验室"拿人命赌",它需要一个体面的台阶。Altman 的回复里那句"这几周一直是 OpenAI 内部讨论的主要话题",就是在铺这个台阶。
Musk 那边,Anthropic 是他数据中心算力的大客户,"Dario is right"三个字成本为零,不绑定任何承诺。
三个人认同的不是"慢",是"由我们来定义什么叫慢"。
这不是放缓 AI 发展,而是美国前沿模型的节奏权被收归少数几家美国实验室和美国政府。开源、中国模型、所有依赖蒸馏追赶的人,都被排除在这套规则外边。做开源和国产模型的,不要把这篇文章当利好读。
项目地址Dario 原文:https://darioamodei.com/post/we-must-pace-the-frontierAltman 回复:https://x.com/sama/status/2098811563415150910Musk 回复:https://x.com/elonmusk/status/2098789109980332057NSA/CISA/FBI 蒸馏通告 AA26-251A:https://www.cisa.gov/news-events/cybersecurity-advisories/aa26-251a

