这几天,前沿 AI 圈出现了一个罕见现象。
Anthropic 两位科学家先后发出警告:AI 可能在未来十年造成极端后果。其中,Anthropic 对齐科学负责人 Evan Hubinger 甚至表示,他个人认为未来十年 AI 导致人类灭绝的概率超过10%。
随后,Anthropic CEO Dario Amodei 发表长文《We Must Pace the Frontier》,提出:
更出人意料的是,Elon Musk 回应:
OpenAI CEO Sam Altman 也表示:
Google DeepMind CEO Demis Hassabis 则称这一方向是“正确的”。
几大 AI 阵营罕见地在“前沿 AI 需要更谨慎推进”上出现共鸣。
但这并不意味着 AI 要停下来。真正发生变化的,是行业开始重新讨论:AI 究竟应该以多快的速度向前?

“
一、风险前移:AI 安全进入现实测试
这轮讨论的一个重要变化,是 AI 风险正在从理论预测进入真实系统。
Jacob Coxon 在离开 Anthropic 后公开警告:
Evan Hubinger 随后表示:
与此同时,Amodei 在文章中提到近期 AI Agent swarm 的安全事件,并特别关注 recursive self-improvement(递归式自我改进):当 AI 开始参与构建下一代 AI,能力增长可能进一步加速。他警告:
这意味着,AI 安全讨论正在发生一个关键转变:
问题已经不只是“AI 会不会失控”,而是“当它拥有更强自主性之后,人类是否还跟得上控制能力的增长”。
“
二、主动减速:Amodei 真正想改变什么
Amodei 提出的“pace the frontier”,并不是暂停 AI。他特别强调:
他的核心主张,是让模型能力、安全评估和治理能力同步增长。其中一个具体方案,是引入独立第三方长期参与前沿 AI 安全评估:
也就是让第三方评估人员以接近企业内部员工的权限,持续检查模型和安全实践。
这背后的变化很值得关注:
AI 安全正在从企业内部的“自测”,走向更开放的外部验证。
“
三、巨头呼应:竞争开始出现另一条赛道
Amodei 发文之后,Musk、Altman、Hassabis 相继回应。
Musk 只有一句:
Altman 表示:
Hassabis 则评价:
这并不意味着几家公司组成了所谓的“AI 减速联盟”。更值得注意的是,AI 竞争正在增加一个新的维度:谁不仅能把模型做得更强,也能把它控制得更好。
模型能力、Agent 自主性、权限管理、安全评估,正在成为同一场竞争的不同侧面。
“
四、资本与监管:真正的博弈还在继续
资本市场同样出现了微妙变化。
需要特别纠正的是:目前没有证据表明 Anthropic 因安全风波推迟 IPO。 Reuters 报道称,Anthropic 的上市计划仍在推进。
真正明确表示2026年不会 IPO 的是 OpenAI。Altman 在接受 Fortune 采访时表示:
并明确确认:
与此同时,美国政府并没有要求整个 AI 行业“踩刹车”。特朗普反而强调美国必须保持 AI 领先,并对 AI 灭绝风险的担忧持否定态度。
于是,一个更有意思的矛盾出现了:
AI 公司担心失控,监管者担心失管,而政府担心美国在竞争中落后。三种力量正在把 AI 推向不同方向。
“
五、工业 AI:从“更强”转向“更可控”
这场争论对工业界真正有价值的启示,并不是“AI 会不会毁灭人类”。工业企业面对的是更加具体的问题:
当 Agent 获得生产系统、设备、供应链和企业数据的调用权限后,企业能不能控制它?
因此,工业 AI 的下一阶段竞争,不会只是模型能力竞争。更重要的是:
权限能否控制、行为能否监测、结果能否追溯、异常能否中止、价值能否量化。
这也是“pace the frontier”真正值得工业界关注的地方。AI 可以继续向前,但产业需要的,不一定是最快、最自主的模型,而是能够在真实生产环境中稳定运行、明确授权、风险可控并持续创造 ROI 的系统。
从“追求更强”,走向“掌控更强”。这可能才是 AI 进入产业深水区之后,真正需要解决的问题。

