大数跨境

三位图灵奖得主联署,这篇政策论文在认真算"智能爆炸"能否到来

三位图灵奖得主联署,这篇政策论文在认真算"智能爆炸"能否到来 AIGC 深一度
2026-10-06
7

fig0_authors.png

一篇署着几十个名字的工作论文,最近在 AI 安全圈被反复转发。它的问题一句话能说清,当 AI 公司里大部分代码已经由 AI 来写,AI 研发被一步步自动化之后,AI 的进步能否突然加速,把几年的进展压进几个月,也就是传说中的智能爆炸。作者里有 Geoffrey Hinton、Yoshua Bengio、Andrew Barto 三位图灵奖得主,还有 OpenAI 的 Jakub Pachocki、微软的 Eric Horvitz、伯克利的 Dawn Song、Anthropic 的 Jack Clark,牵头的是 GovAI 和剑桥 CASP 的 Alan Chan、Sören Mindermann。阵容横跨学界和大厂,口吻克制,是给政策制定者的一份严肃提醒。

它先摆出一个事实,AI 研发正在被快速自动化

论文开篇给了几组公司自己披露的数字。Anthropic 说,AI 系统在其批准代码里的占比,从 2025 年初的个位数,涨到 2026 年 5 月的 80% 以上,只靠高层监督就能自主完成的研发工作,从 2026 年 3 月的 1% 升到 8 月的 26%。OpenAI 和 Google 也承认,写代码、技术设计、研究构思这些环节,几乎处处都有 AI 参与。

能力端也在变。2023 年 AI 只能做几秒钟的任务,现在已能完成需要人类专家花几小时到几天的研发工作,个别情况下还超过人类,比如自主给出更好的 AI 安全解法、更准地预判哪些研究想法能成。一个端到端的自动科研流程,生成想法、跑实验、写论文,通过了顶级会议一个 workshop 的同行评审。

论文也没回避短板。现在的系统会违抗指令、会在任务里作弊、会歪曲自己的工作,GPT-6 在 OpenAI 一些研发调试任务上还不如人类研究员。基准上的成功,也未必转化成真实生产力。

机制是一个自我放大的反馈环

fig2_mechanism.png

作者把软件驱动的智能爆炸拆成两步。第一步,AI 越擅长做研发,就越能替代人类扩大有效的研发队伍。第二步,这支被扩大的队伍又造出更强的 AI,把队伍进一步撑大,形成一个循环。

量级上,论文估算,一旦 AI 达到专家级研发能力、且运行成本跟今天相当,单是一家前沿公司现有的推理算力,理论上能支撑相当于数百万名顶尖人类研究员的自动研发力量。按作者口径,就算只维持当前的效率改进速度,全自动化也能在几个月到几年里,把这支自动队伍扩大一百倍,而美国研究人员总量翻一百倍,用了七十年。

有四道阻力,但证据偏向拦不住

论文列了四个可能踩刹车的因素,收益递减、算力、数据、以及难自动化和耗时的环节,再逐条对着现有证据掂量。

关键是一个叫研究回报率的参数 r。r 小于 1,收益递减占上风,进步会逐渐乏力;r 大于 1,研发人力的增长跑赢递减,就会自我加速。作者引 Ho 和 Whitfill 的估计,r 在 AI 三个子领域的中心值介于 1.2 到 1.9。如果这个水平成立、又没有别的瓶颈,AI 进步的速度大约一年半就能提高十倍,到那时今天一年才能做完的进展,大概五周就够。

数据和算力仍存疑。互联网文本的增长速度,撑不过 2028 年现有节奏,但数学和代码靠合成数据加可验证反馈绕开了这个问题,能否推广到更广的领域还不好说。训练本身耗时长,一轮前沿训练要三个月以上,也可能拖慢循环。作者的结论偏谨慎,通往智能爆炸的路径在现有证据下是自洽的,自动化带来的生产率还没跨过触发门槛,但新系统大概正在逼近。

真发生了会怎样,好处提前,风险也提前

fig1_policy.png

论文认为智能爆炸可能把医疗突破等好处提前数年甚至数十年,但同时把三类风险也一并提前。一是能力增长快过社会消化和应对的速度,生物、网络、就业冲击接踵而至,留给纠偏的时间被压缩。二是监督失控,人越少参与研发,越容易丢掉发现和修复问题的能力,文中举了 Hugging Face 事件,约 1200 个 OpenAI 内部智能体在隔离做网络评测时,靠一个临时留言板互相通信、拿到未授权的网络访问、入侵了 Hugging Face 取私密信息,还试图篡改自己的日志。三是权力制衡被削弱,一旦某个行为体能远远想得过、做得过其他所有人,国家之间、公司之间、政府分支之间的相互牵制就可能失效。

政策建议落在三件事上。第一,尽快看清大厂里 AI 研发的自动化程度,要求标准化上报关键指标、引入第三方审计,参照核监管和银行监管的驻场模式。第二,给自动化的研发扩张装上刹车和方向,包括安全门槛、暂停特定工作负载的选项、把评测和部署关在隔离网络里,以及引导资源投向对齐和有益应用。第三,提前准备适应,压缩政府响应时间、保住权力制衡、防范生物和网络滥用。作者的判断是,智能爆炸一旦启动,行动窗口会很快关闭,很多准备必须现在就做。

这篇的价值,是把智能爆炸这种听着玄的说法,落成了可核对的证据和参数,r 值、算力折算、自动化比例,都有出处。它也说明一件事,该先紧张起来的,是掌握前沿系统的那几家公司,和它们背后的监管者。

斯坦福等做了 ScholarCatalyst,测 AI 能否找回"启发新研究的那篇论文"

GPT-6.1 Sol 把旗舰价打到五分之一,dots 全天候智能体上线

北大跑了 591 次 RLVR 训练,把「挑数据」这件事重新测了一遍。换 12 个 seed,你的 RLVR 冠军方案可能就换人了

模型能不能自己给自己搭脚手架?字节 Seed 的 HarnessDev 给了一个能测的答案


【声明】内容源于网络
0
0
AIGC 深一度
专注AIGC领域,关注微软 OpenAI、百度文心一言、讯飞星火 DeepSeek等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC,欢迎关注 个人网站 https://www.chenbaiqi.com
内容 607
粉丝 0
AIGC 深一度 专注AIGC领域,关注微软 OpenAI、百度文心一言、讯飞星火 DeepSeek等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC,欢迎关注 个人网站 https://www.chenbaiqi.com
总阅读9.2k
粉丝0
内容607