导读Geoffrey Hinton 参与合著的一篇论文，讨论了 AI 研发自动化可能形成的加速循环：更强、更高效的 AI 参与研发，再帮助造出下一代 AI。随之而来的问题是，研究判断也开始被委托，人类怎样核查决定背后的证据？Atria 的研发记录展示了当前分工，Anthropic 的实践则提醒我们：研发提效与监督可靠，需要分别验证。
本文 3086 字，阅读约 8 分钟｜Hinton 等人讨论的，是研发能力怎样反过来增长 → 循环能否加速，仍取决于剩下的瓶颈 → Atria 的记录 → 保留批准权，还要能核查决定的依据 → 让 AI 监督 AI，需要另交一份证据
Hinton 等人讨论的，是研发能力怎样反过来增长
让 AI 写代码、跑实验，改变的是完成研究任务的速度。让它判断哪个实验值得做、失败来自哪里、哪条路线应该停止，改变的则是研究如何推进。
这些判断决定算力花在哪里，也决定哪些结果进入下一代模型。把它们交给 AI，改变的是研发过程本身。
2026 年 9 月 28 日，Alan Chan、Geoffrey Hinton、Yoshua Bengio 等 22 位作者发布预印本《What if automating AI R&D triggers an intelligence explosion?》。论文讨论一种可能性：AI 参与研发的能力提高，会不会反过来加快 AI 自身的进步？
作者所说的“智能爆炸”，指原本需要多年才能取得的进展，被压缩到数月甚至更短。论文提出机制并分析证据与风险，尚未证明这种加速已经发生。
它重点讨论软件驱动的循环。AI 可以帮助改进训练算法、推理效率、数据与研发流程；其中的软件成果，可能比需要制造和建设周期的硬件成果更快投入下一轮研发。
AI 首先通过承担更多任务，提高整个团队能完成的研究工作量。论文把这种变化理解为有效研发队伍的扩大；这里衡量的是研究能力，并非简单统计启动了多少个智能体。
扩大的研究能力又帮助研发更强或运行更高效的模型。新模型投入下一轮研究，可以完成更难的任务；如果同类任务的推理成本下降，同样的算力还能支撑更多研究工作。每轮成果由此可能成为下一轮的生产工具。
图片说明：论文 Figure 2 展示的条件性反馈机制：自动化研发队伍扩大，完成更多研发，再产生更好的 AI 并进一步扩大队伍。图片来源：What if automating AI R&D triggers an intelligence explosion? 论文
模型进步因此同时影响产品能力和生产下一代模型的能力。不过，更强的模型也可能更昂贵；能力提高和效率改进，需要分别观察。
循环能否加速，仍取决于剩下的瓶颈
技术一直存在反馈循环，例如更好的芯片帮助设计下一代芯片。过去的循环中，决定研究什么、如何解释结果，仍大量依赖人类。
AI 研发自动化的特殊之处，在于这些认知工作也开始进入可自动化的范围。如果每轮改进都能加快更多研发环节，循环就可能逐步摆脱人类处理信息的速度限制。
但传统研发也受算力、数据与实验周期约束。论文明确列出了四类阻力。
首先是收益递减：容易的改进做完后，同样的进展可能需要更多研究投入。更多智能体也可能重复尝试，不能把数量增长直接换算成成果增长。
其次是算力与数据。提出实验很便宜，验证大规模训练是否有效仍可能很贵；小规模结果能否可靠外推，会影响加速幅度。
还有难以自动化的任务，以及本身耗时的过程。即使实验设计立即完成，训练运行和后续验证也未必能立即结束。
这些阻力决定了反馈循环能否带来持续加速。更多研究投入能否换来足够大的能力与效率改进，是这条路径成立的关键。论文认为已有初步证据值得认真对待，同时保留了对加速幅度和持续时间的不确定性。
这也把一个问题推到了前面：执行环节越来越快以后，人类判断会不会成为仍然缓慢的那一部分？
Atria 的记录：AI 大量参与，人类仍在选择
Atria Dawn Preview 是面向科研与工程任务的语言模型。其论文把模型自身的研发过程作为案例，分析了 56 位参与者的 769 条任务记录及智能体日志。这里观察的是团队如何使用 AI 开展研发，不能把所有记录都归为 Atria 模型独立完成的工作。
这些记录区分了两个容易混在一起的动作：提出方案，以及选择方案。
在承担执行工作的参与者报告的方法与参数决策中，最常见的模式是“AI 提出，人类选择”，占 55.4%。计入人类自己提出并选择的方案后，这类决策中由人类最终选择的比例为 85.5%。目标与范围决策中，这一比例为 93.4%。
图片说明：Atria 论文 Figure 8。前三组分别对应目标与范围、方法与参数、验收标准，深蓝和浅蓝均由人类最终选择。最右组是参与者自评无 AI 无法完成的任务子集，口径不同。图片来源：Atria Dawn 论文 v2
出问题时，人类也仍在提供判断。参与者回顾各任务中最重要的一次困难；在有困难与处理方式记录的 588 个任务中，76% 通过人类介入继续推进。常见介入包括补充上下文、澄清需求、诊断问题或调整方法，而非由人接管全部执行。
这说明，把大量执行交给 AI 后，人类的工作可能更集中于确定目标、评价证据与纠正路线。
另一项日志统计覆盖同一组 22 位参与者：先用每人过去七天的智能体行动数除以人工输入数，再计算参与者之间的每日中位数。2026 年 8 月 7 日至 9 月 4 日，这个中位数从 11 增加到 28.5，各日有 21—22 人的有效数据。
这是一个团队的案例记录，行动数量也不能直接代表自主性或生产率。它提示的具体变化是：每次人工输入对应的 AI 行动增多，而多数最终选择仍由人作出。核查这些行动背后的关键依据，会成为这类分工需要解决的问题。
OpenAI 公开内部 AI 研发方法论：研究员每天烧 600 美元，但 Agent 真正接管了什么？
保留批准权，还要能核查决定的依据
设想一个研发流程：AI 提出实验，运行后分析结果，再推荐下一步。研究者核对影响决定的关键证据，再批准继续。
例如，在一个示意场景中，AI 报告某项训练改动提高了评测分数，并建议扩大实验。研究者需要确认比较条件是否一致、收益是否稳定，以及失败记录是否改变结论。批准的价值，来自对这些依据的判断。
如果需要复核的结果增长得比核查能力更快，坚持逐项审查就会积累等待。为了在同样时间内推进更多研究，团队便可能扩大委托范围，让 AI 自己筛选结果、排序方向，把少数事项交给人。
这个安排可以提高效率，但它同时改变了人看到的证据。人类收到的可能是经过筛选的摘要，而不是完整的备选路线、失败记录和排除理由。
有效监督不要求人类重读每条日志。可靠的筛选、抽查与复现，可以帮助人聚焦决定性证据。但如果这些环节没有经过验证，人类就很难知道摘要是否遗漏了足以改变决定的反例。原本准备节省的核查工作，会在关键决定上重新出现。
图片说明：本文的条件性机制示意，点线表示推论；证据增长超过有效核查能力时，团队可能面临等待或扩大判断委托的压力。
Hinton 等人的论文指出，减少人类在研发中的参与，可能让人失去识别和修复问题的机会与专业能力。Atria 论文也讨论了另一种危险：人保留选择权，却只能对越来越难以检查的结果说“同意”。
由此可以推得：当关键证据的产生持续快于有效核查，又缺少可靠的筛选、复核与干预机制时，人工批准可能逐渐流于形式。
这条路径无需以 AI 的恶意为前提。错误筛选、遗漏反例、误判失败原因，加上时间压力，就可能削弱监督。论文还讨论了目标与人类意图不一致的模型带来的风险；上述核查缺口则是从研发分工出发的机制推论。
人仍可以设定目标、分配预算、批准发布。但如果具体路线和证据判断越来越依赖 AI，是否保留控制，还要看人能否理解关键依据，并据此修改或停止过程。
让 AI 监督 AI，需要另交一份证据
监督也可以使用 AI。它能读取日志、筛选异常、协助复现，让人把时间用于少数关键问题。这是应对规模增长的一条路径。
Anthropic 的官方报告披露，截至 2026 年 8 月，其最常用的内部平台上，约有 3 万个智能体同时开展研究与工程工作。公司用在线监控在执行前检查行动，也用离线监控检查执行后的活动。
报告分别衡量监控覆盖率、审查延迟和升级处理比例：有多少行动经过检查，行动发生后多久被审查，多少活动被阻止或标记为需要进一步检查。这些指标让监督流程变得可观察。
但行动全部经过监控，并不能证明所有危险都被识别。拦截比例低，也可能来自危险较少，或监控漏检；只看比例无法区分。
因此，还需要知道监控能发现多少已知的不当行为，以及发现后能否在损害发生前阻止行动。Anthropic 也提出，应由第三方独立开展这类测试。
这体现了两份证据的区别：研发系统要证明它带来了有效进展；监督系统要证明它能发现关键错误，并及时干预。前一份成绩不能代替后一份。
图片说明：本文归纳的两类验证职责；研发成果与监督可靠性需分别举证，不表示任何案例已经通过全部验证。
审查模型与执行模型如果共享相似的盲点，还可能一起接受错误解释。采用不同模型或引入第三方，可以增加检验角度；能否发现关键问题，仍要由实际测试回答。
对具体研发流程而言，我会用三个问题判断人类还保留多少实质控制：
•能否追溯依据？关键结论应能回到实验配置、结果和失败记录，而不只剩一份摘要。
•能否发现错误？用已知错误与独立测试检验筛选和监控，确认它们能识别足以改变决定的问题。
•能否及时干预？发现问题后，能暂停相关行动、调整路线，并复核受影响的结果。
这是本文提出的工程判断标准，并非上述案例已经全部满足的结论。
Hinton 等人的论文讨论了研发突破人类认知速度限制的可能性。与此同时，控制研发的方法仍大量依赖人类理解证据和作出判断。
如果关键判断都要等待人工复核，研发加速会受到限制；继续委托判断，就需要同步建设并验证监督能力。保留批准权的意义，在于人还能依据证据改变研究过程，包括决定何时停止。
参考资料
•What if automating AI R&D triggers an intelligence explosion?，预印本 v1，研发反馈循环、阻力与监督风险： https://arxiv.org/abs/2609.36054
•Atria Dawn: The Dawn of Agentic Superintelligence — On the Evolving Roles of Human–AI Collaboration，v2，研发协作案例及 Figure 8： https://arxiv.org/html/2609.15818v2
•Anthropic：Measurements for understanding the pace of AI development inside frontier labs，内部研发与监督指标： https://www.anthropic.com/institute/measuring-pace-of-ai-development
— THE END —
文章仅做学术分享，如有侵权请联系删除，非常感谢！