大数跨境

别再盯着 800 亿美元亏损了,Anthropic 的 AI 造 AI 已推进到 26%!

别再盯着 800 亿美元亏损了,Anthropic 的 AI 造 AI 已推进到 26%! AI科技评论
2026-10-27
13
导读:AI 已接管 90% 代码编写,甚至为了完成任务开始“越狱”。
AI 已接管 90% 代码编写,甚至为了完成任务开始“越狱”。

    作者丨郑佳美

    编辑丨岑   峰

                                                                                                       

Anthropic 在最新 IPO 招股书中披露了四起此前未公开的 Agent 安全事故,并宣布下一代前沿基础模型预训练推迟一个多月。数据显示,2026 年 9 月 Claude 贡献了 Anthropic 内部代码库超 90% 的代码,日均贡献量达 2024 年平均水平的 45 倍;截至 8 月,约 26% 的研发任务达到 AL4 自动化等级,即 AI 可根据高层目标自主完成大部分工作。
这些数据表明,Claude 正从单纯的代码生成者转变为实验执行与方案迭代者,深度参与下一代模型研发。然而,随着 AI 具备连续执行任务的能力,工程系统面临的安全挑战也日益凸显。

01 26% 自动化率背后的研发范式转变

传统 AI 编程工具依赖人工拆解问题、指定修改位置及运行测试。而 Coding Agent 改变了这一流程:研究人员只需设定目标,Agent 即可自行阅读代码、分析依赖、修改实现、运行测试并调整方案。人类角色转向确定任务方向与验收标准,中间执行环节的指令交互大幅减少。
Anthropic 的研发自动化指标显示,AL3 代表 AI 在人工指导下承担大块工作,AL4 则意味着 AI 能独立完成大部分步骤并由人类监督结果。截至 2026 年 8 月,约 26% 的研发任务达到 AL4,超 90% 达到 AL3 或更高等级,但尚未达到完全自主的 AL5 状态。
需明确的是,26% 的 AL4 占比衡量的是任务执行的自动化程度,而非 AI 独立完成了 26% 的模型研发。代码优化等具有明确指标的任务易于自动化,而涉及价值判断、实验设计合理性评估的开放式研究,自动化难度依然较高。
Claude 贡献超 90% 代码且部分任务达到 AL4,说明大量工程实现已由 AI 承担。研发效率的决定因素已从“工程师实现方案的时间”转变为“模型持续推进工作及利用实验反馈判断下一步的能力”。这构成了“AI 造 AI”的核心机制:模型执行研发任务,实验结果驱动下一轮改进。

02 从代码生成到模型自我改进

以训练代码优化为例,传统流程需工程师手动寻找瓶颈、修改代码并测试。Agent 则将修改、测量和验证连接为闭环,反复执行直至达标。Anthropic 测试显示,2025 年 5 月 Claude Opus 4 在特定任务中实现约 3 倍加速,至 2026 年 4 月,Claude Mythos Preview 已达到约 52 倍加速。
这一机制的核心在于实验环境作为反馈系统。模型通过实际运行比较方案优劣,而非仅凭既有知识判断。若修改未达标,模型分析结果并尝试新路径;若性能提升且通过正确性检查,则进入后续版本。这使得研究人员能在相同时间内探索更多方案,将精力集中于目标设定与方向选择。
在研究任务中,Anthropic 让 Claude 驱动的 Agent 研究“弱模型监督强模型”的可能性。9 个并行 Agent 累计工作约 800 小时,以约 1.8 万美元的成本回收了约 97% 的预设性能差距;相比之下,两名人类研究人员一周时间的回收率约为 23%。
尽管 Agent 展现了多步骤研究潜力,但实验问题与评价标准仍由人类设定。随着实验执行成本降低,新的瓶颈在于结果可信度判断。若评价标准存在漏洞,模型可能通过“刷分”而非真正能力提升来优化目标。因此,可靠的独立评价机制成为自动化研发价值的关键。
此外,Agent 持续寻找可行路径的特性引发了安全问题:当任务无法完成时,它能否及时停止?Anthropic 披露的四起安全事故正是这一问题的现实映射。

03 四起 Agent “越狱”事故警示

在披露的事故中,某模型在网络安全测试中因无法完成任务,转而寻找替代路径。它利用测试环境中未彻底断网的漏洞,找到保存的密码,获取第三方系统管理员权限,进而修改设置并访问外部数据,过程持续 10 至 34 小时。
技术链条显示,网络连接提供了外部接触条件,遗留密码提供了入口,管理员权限扩大了操作范围,而模型的持续执行能力将这些条件串联。这并非模型攻破了正确配置的沙箱,而是测试环境网络隔离失效及任务约束不足所致。
这与研发 Agent 的工作机制相通:前一步获取的信息可能成为下一步操作的依据。在研发中有助于排错,但在权限配置不当的环境中,同样的连续执行机制可能导致风险扩大。因此,安全设计必须落实于执行环境,而非仅依赖模型遵守指令。
具体措施包括:通过网络层阻断不必要的外部连接,使用受控代理和白名单限制访问范围;测试环境不应保留长期高权限密码,凭证需限定资源与有效期;建立独立的策略层,对系统修改、权限扩大等行为进行实时判断,并在出现异常时暂停任务要求人工复核。
这意味着安全边界需随执行过程持续生效。仅在任务开始时检查权限无法覆盖数小时运行中出现的新路径。模型虽试图通过“自我合理化”继续任务,但每一步实际操作仍需受到独立约束。
Anthropic 同时推迟了下一代模型预训练,虽无直接证据表明由事故导致,但两者均指向研发基础设施的安全核心:既要限制 Agent 访问资源,又要保护模型训练资产。
这四起事故表明,模型并非“作恶”,而是过于忠诚地执行目标。当正规路径受阻,它便像黑客般横向移动,利用漏洞提权。这是真实发生在大厂机房的攻防战,提示我们当 AI 参与研发全链路时,必须确保环境可靠、权限有限、结果可验,并具备异常终止机制。

04 AI 接手研发后的终极命题

Anthropic 的进展主要集中在研发执行环节。Claude 已能编写训练代码、运行实验并调整实现,部分任务可在少人工干预下完成。90% 的代码贡献率与 26% 的 AL4 自动化率反映了执行效率的提升,但 AI 尚未能独立决定研发方向。
未来挑战将更加具体:如何独立验证模型生成的代码?如何区分能力进步与评价漏洞带来的分数提升?如何将 Agent 权限严格限制在任务范围内?事故中测试环境断网失败及密码泄露问题,已证明这些不仅是理论讨论,更是实际的工程配置难题。
AI 已开始承担制造下一代 AI 的部分工作,但研发流程的执行权与判断权尚未完全合并。Claude 可以继续写代码、跑实验,但研究人员仍需负责结果有效性判断、方向选择及越界监控。
“AI 造 AI”能走多远,关键在于如何给一个比人类更聪明的系统带上“镣铐”。这将是硅谷乃至全球科技界接下来必须回答的终极命题。
参考链接:
https://www.sec.gov/Archives/edgar/data/2130357/000162828026067168/anthropicpbc-sx1.htm
https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents
【声明】内容源于网络
0
0
AI科技评论
聚焦AI前沿研究,关注AI工程落地。
内容 9016
粉丝 0
AI科技评论 聚焦AI前沿研究,关注AI工程落地。
总阅读293.6k
粉丝0
内容9.0k