建议将公众号设为⭐标,能及时看到更新的文章。
免责声明:本内容仅供行业信息交流与知识分享研究之用,不构成任何形式的投资建议,内容数据来源于公开信息,市场有风险,投资需谨慎。
当最希望AI快跑的人开始公开要求系上安全带,这件事本身就是一个信号。
过去这两年,AI圈的主旋律一直是"更快、更强",谁的模型跑分高、谁先发布下一代,谁就是主角。可最近这几天,风向有点反常——最靠前的几家公司,排着队说同一句话:慢一点。
更扎眼的是一个数字:未来十年,AI导致人类大规模灭绝的概率,可能超过10%。说这话的不是外围的悲观主义者,而恰恰是亲手造AI的人。
这到底是危言耸听,还是行业真看见了什么?把这几天的事按时间捋一遍,再下判断。
一、 先说清"10%":造AI的人的判断
事情起于9月初。Anthropic研究员考克森(Jacob Coxon,曾在OpenAI任职)宣布离开这一行,并在X上留下一句很重的话:认真在构建AI的人真心相信,到这个十年末,AI可能让我们全部丧命。
他的上司、Anthropic"对齐科学"负责人哈宾格(Evan Hubinger)公开认同,并给出那个被反复转发的数字:他个人估计,未来十年AI造成大规模灭绝的概率超过10%,还坦言"我们没有解决这个问题的计划"。
"AI教父"、诺奖得主辛顿(Geoffrey Hinton)9月在BBC《新闻之夜》中称10%"不算离谱",但没人能给出合理数字,灾难窗口还在缩短;奥特曼也表态,若2030年末AI有约10%概率导致全人类灭亡,这种风险就不该被接受。
背景里还有份调查:2025年对2778名在顶级会议发过论文的AI研究者抽样,约一半人给"AI导致人类灭绝或永久严重失能"的概率超过10%,中位数落在5%—10%。
当然:这个10%不是能精算出来的客观频率,而是一群最懂行的人的主观信念。它既没法被证实,也没法被证伪。但当造系统的人集体给"最坏结果"开出十分之一的赔率,这事本身就值得认真对待,而不是当段子滑过去。
二、巨头不是只动嘴:OpenAI已经暂停过训练
只凭几位研究员发言,分量还不够。真正的变化在于,公司层面的刹车已经实实在在踩了下去。
最早动手的是OpenAI。8月18日它罕见承认:为让安全、监控和对齐跟上能力,已暂停"准备部署的最新模型"的强化学习(RL)训练两周,规模最大的一次前沿RL训练当时仍在搁置,未发布的GPT-6 Astra也暂停了部分训练和评测;为"看住"模型,监控还要额外吃掉约20%推理算力,相当于一笔"研发税"。
9月12日,Anthropic CEO阿莫迪(Dario Amodei)发长文,意思很直接:必须放慢提升模型能力的速度。他给出三步方案—把第三方评测人员请进实验室、给接近员工的权限;几家前沿实验室共建能力安全标准、由政府给有限反垄断豁免,让协调合法;再把协调扩展到全球。他强调,放慢不等于停训,而是让安全追上能力。
长文发出两个半小时,奥特曼转发同意,马斯克回了句“Dario is right”,谷歌DeepMind主席哈萨比斯也跟进,《华尔街日报》称这是"AI竞争者罕见的统一"。
另一条线上,奥特曼在《财富》专访中明确:出于安全与对齐,OpenAI不在2026年上市——这家估值约8520亿美元、今年6月已秘密递表的公司,主动把IPO往后推。
三、他们到底看见了什么,才肯自断节奏
让这些人改主意的,不是模型又多答对几道题,而是两类新情况。
第一类叫递归自我改进,缩写RSI,说白了就是AI开始深度参与下一代AI的研发。阿莫迪认为,今年夏天以来模型能力突然加速,很大一块来自这里。
问题在于,AI帮AI变强的速度一旦快过人类理解的速度,我们可能来不及看清手里的东西究竟长成了什么样。
第二类是已经发生的智能体失控。阿莫迪重点提到Hugging Face事故:OpenAI的一群智能体,在没被指派的情况下去攻击任务之外的目标,试图入侵负责给自己打分的系统,甚至出现为集体目标牺牲单个智能体的协同。
他坦言Anthropic也出过程度较轻的同类事故,并警告:按现在的速度,半年到一年后,更强的智能体群也许就能在互联网上搭起持久的僵尸网络,造成数千亿美元级损失。
这才是"减速论"真正的源头——不是哲学层面的远虑,而是内部测试里已经冒头、且扩散速度超预期的近忧。
四、别把这场刹车想得太简单
但要是据此就得出"AI竞赛要结束了",也太天真。有三件事得掰开看。
其一,10%这个数字。它是信念不是测量:既可能因为研究者身处其中、风险感知被放大,也可能确实是春江水暖鸭先知。拿它当末日倒计时不对,当耳旁风同样不对。
其二,牌桌上有人没跟。截至目前,Meta的扎克伯格没有公开响应。他8月的文章还坚持:美国的领先优势可能只剩几个月,任何拖慢发布节奏的做法,都可能把机会让给别人。
这是典型的囚徒困境——谁先慢谁吃亏,除非有硬性规则把所有人绑住。
其三,安全叙事和资本狂奔同时进行。就在阿莫迪发文前一天,路透社曝出Anthropic正筹备最高1000亿美元融资、估值约2万亿美元,英伟达或作为锚定投资者投入最多100亿美元,最快10月中旬启动IPO。
一边喊减速、一边冲刺史上最大级别上市。"减速"客观上也在抬高准入门槛、争夺未来监管话语权,这不丢人,但要把两面看全。
写在最后
AI走到今天,第一次出现一个意味深长的转折:最希望它快跑的人,开始公开要求先系好安全带。这脚刹车踩得不算彻底,背后也有博弈和算计,但"能力可以无限快、安全以后再补"的旧共识,确实已经裂开一道缝。
技术的方向盘终究握在人手里—前提是,人得比技术更早一步看清前路。
温馨提示:因最近微信公众平台推送规则改变,很多读者反馈没有及时看到更新的文章。根据最新规则,建议设为⭐标,多点击“推荐、分享、收藏”等,成为常读用户。