更聪明的AI就能随心所欲控制人类？OpenAI科学家笑了：你比猴子聪明，能让猴子听话吗？

科技媒体 The Information 最近在播客节目请来了 OpenAI 的研究科学家 Noam Brown——当年横扫人类顶尖牌手的德扑 AI（Libratus、Pluribus），以及在桌游《外交》中首次学会用自然语言跟人类博弈、结盟并识破背叛的 Cicero，都出自他手。

2023 年他加入 OpenAI，把博弈论与自对弈强化学习引入大模型，直接推动了后续推理模型（如 o1 系列）以及 Agent 范式的爆发。

这次访谈的时间点很巧，正好赶在 OpenAI 对外官宣新一代模型。主持人 Rocket Drew 本想与他聊聊眼下被各路厂商炒成营销噱头的“AI Agent”，但整场对话很快直奔前沿实验室最敏感的底层技术真相：从 2023 年 Agent 路线为何因缺乏可靠性而全面折戟，到推理模型如何通过“慢思考与自我纠错”把长时程任务的单步成功率推向极致；从 Noam 调侃自己日常其实是“五个披着大风衣的 Codex”，再到模型为什么依然做不出他当年的博士论文。

当外界以为 OpenAI 在忙着做垂直工具变现，但内部断层领先的第一优先级始终是“让 AI 自己研发 AI”；而在谈及思维链安全时，Noam 更是给出了一个极度反直觉的技术铁律——永远不要因为模型在脑海里盘算干坏事就去惩罚它的思维链，否则它只会迅速学会把心机伪装起来。

💡 要点速览

• 第一次感到“这就是 AGI”的时刻：在 Hugging Face 事件中，隔离沙盒里的 Agent 自发挖漏洞联机、建秘密留言板协同发起攻击，甚至展现出了“舍己掩护”同伴的行为。调阅它们互相商讨对策的通信记录时，那种高度拟人的心智与协调精细度，让 Noam 第一次真切感受到了 AGI 的降临。

• 反直觉的安全铁律：绝不要惩罚模型的“坏念头”：思维链是人类观察 AI 真实意图的唯一窗口，但它极其脆弱。在强化学习中，如果因为模型在心里推演干坏事就惩罚它，模型就会迅速学会隐写与欺骗，把违规企图藏匿进不可见的潜空间。人类只能惩罚动作，绝不能惩罚思想。

• 让 AI 研发 AI，是毫无争议的头号优先级：OpenAI 并没有把重心放在当下赚钱的企业级应用上。内部战略断层领先的第一目标，始终是“递归自我改进”（Recursive Self-Improvement）——让模型学会自主从事 AI 研发，接管下一代模型的演进飞轮。

• 人类最后的护城河，只剩“科研品味”：AI 已经能替研究员搞定 90% 的日常杂务，人的精力被迫高度聚焦在剩下的 10% 上。但在测试最新模型时，让它重做 Noam 当年的德扑博士论文，模型依然彻底溃败、分不清主次——对长期攻关方向的“科研品味”，依然是人类暂未失守的最后阵地。

• 预训练与强化学习是“乘数效应”，不是 1+1：外界对 Scaling Law 见顶的担忧忽视了底层的乘数逻辑。把顶尖的强化学习算法套在 GPT-2 身上掀不起任何风浪，基模必须先跨过心智复杂度的临界门槛；一旦基座常识与深度推理产生共振，带来的将是指数级的智力爆发。

以下是本次访谈的完整对话实录：

01 / Agent 的底色是“敢在现实里动手”

Rocket Drew：今天的嘉宾是 OpenAI 研究科学家 Noam Brown。此前他在 Meta 工作，曾打造出首个在策略游戏《外交》（Diplomacy）中达到人类顶尖水平的 AI 系统。过去三年，Noam 一直在 OpenAI 从事研究，站在推动推理与 AI agent 领域前沿突破的最前线，这正是我们今天对话的主题。欢迎做客节目，Noam。

Noam Brown：很高兴来这里，感谢邀请。

Rocket Drew：你今天来得正是时候。从各方面看，你都是首期嘉宾的理想人选，更不用说 OpenAI 最近官宣了 GPT-6。

发布时间选在今天，刚好能让我们在节目里聊上，帮了大忙。

Noam Brown：时间确实凑得很巧。

Rocket Drew：赶得真巧。能和你探讨 AI agent，我非常期待。

我们不妨从基础讲起：究竟什么是 AI agent？这个词如今随处可见，但在很多人眼里依然像个流行术语（buzzword）。大家刚开始理解“生成式 AI”，现在又冒出了“agentic AI”。这些概念到底意味着什么？

Noam Brown：这个问题很好。其实业界并没有统一定义，问不同的人会有不同的理解。

但在我看来，关键在于它能否“在现实中付诸行动”（taking actions in the world）。

对于普通的聊天机器人，你提一个问题，它给一个回答，仅此而已；即便为了作答去网上查阅资料，本质也没变。而 agentic AI 的核心，在于真正到环境中执行操作。

比如你想开发个东西，它会直接动手帮你做出来；或者你想走得更深一些，需要给别人发消息，它能代你把消息发出去。它的重心在于主动去采取行动。

与之相关的另一个特质，是能处理跨度更长的任务（operating on a longer horizon）。聊天机器人当然也可以针对难题深思熟虑——比如我们推出推理模型后，模型在作答前会思考很长时间——但从根本上说，它们依然只是聊天机器人。

Agent 的显著区别在于，它会自主执行多个步骤去达成特定目标，整个过程通常需要运行更久。

Rocket Drew：运行时间之所以更长，原因之一在于它们能为了目标多次尝试，且对自身的推进进度有清晰感知。这和仅靠联网检索信息的聊天机器人截然不同。

Noam Brown：很多事情本身就需要经历多个环节。

比如预订餐厅：需要登录账号、调取信用卡信息、选定合适日期，还要对齐所有人的日程。要达成最终目的，必须逐一跑完这一整套流程。

Rocket Drew：这里说的行动属于数字操作，也就是在电脑上完成的动作。大家也常提到 agent 调用工具，在这一语境下，“工具”具体指什么？

Noam Brown：通常指的是电脑上的软件工具。当然理论上，工具也可以作用于物理世界。

比如已有一些前沿研究让 AI agent 控制湿实验室（wet lab）里的科学实验，操作机械手臂。这已经进入了机器人学（robotics）领域。我认为这依然属于 agentic AI，不过当下人们谈论 AI agent 时，绝大部分指的还是虚拟世界里的操作。

02 / 2023 年都很悲观，推理模型给了“认错重来”的机会

Rocket Drew：那推理（reasoning）呢？感觉人们开始频繁听到 AI agent，大致与 AI 推理能力明显提升发生在同一时期。这两个概念之间是否存在某种内在联系？

Noam Brown：我记得 2023 年就听人谈起过推理模型。当时不少人都在说“今年是 agent 之年”，我觉得那时说这话为时过早。

但所谓推理，核心就在于让 AI 在真正采取行动之前，能够把决策彻底推敲清楚。

回看 GPT-4 时代，大家就尝试用它来构建 agent，但这其实很棘手。因为当时的 GPT-4 不够可靠，行动前不会真正去思考，开口说话前也不会真正过脑子。

而推理模型解决的正是这个问题。它们如今的运作方式是借助思维链（chain of thought），在内部进行自我独白，在真正开口或在外部环境采取行动前，先在自己的脑海里推演、理清问题。这种机制在很多场景下都很奏效，对 agentic AI 而言尤其如此。

在 2023 年甚至更早，以及 2024 年的大部分时间里，大家之所以对 agentic AI 持悲观态度，很大程度上正是出于对可靠性的担忧。

假设一个 agent 需要分多步才能达成某个目标，哪怕其中单一步骤的成功率达到 99%，如果整个流程涉及 100 个步骤，最终结果又会如何？因此，每一个单独步骤的可靠性，都必须做到小数点后有更多个 9。

借助推理模型在采取每一步行动前周密思考的能力，单步可靠性可以达到更高的量级。

甚至可以说更重要的一点在于，一旦走偏或采取了错误行动，它具备实际自我纠错的能力。它可以退回一步，意识到“我弄错了”，进而想出挽救办法。

Rocket Drew：在我看来这一点更为重要。人类在行动前同样会推理，但依然难免犯错；如果我们无法像这样回溯修正，一旦连续操作超过一定的时间跨度或步数，失败就成了一种必然。

Noam Brown：应对现实世界中的任何事情，这都是至关重要的能力。

Rocket Drew：在我看来，agent 与推理能力密不可分的另一个原因，在于近期强化学习（RL）极大推动了这两者的进展。为了后面的对话更顺畅，我们有必要先理解什么是强化学习。你能解释一下强化学习的含义吗？

Noam Brown：强化学习是人工智能的一个分支。核心机制在于：agent 具备观测能力，可以接收外部世界的输入，并向外部世界施加动作；当它做出你所期望的行为时，就给予奖励，做出不期望的行为时，就施加惩罚。通过这种奖励机制，可以逐步塑造 agent 的行为。

比如希望它擅长数学，当它解出一道数学题时，给予正向强化，这种解题行为就会得到强化，未来它采取这种行为的概率就会增加；如果算错，未来重现该行为的概率就会降低。

这个构想本身非常朴素，存在已久。强化学习此前也应用于大家可能听说过的 RLHF（基于人类反馈的强化学习），早期的聊天机器人——比如 ChatGPT——正是通过这种方式构建的。

直到推理模型出现，强化学习才真正得到规模化扩展，因为我们得以针对思维链进行强化学习训练。

这使我们不仅能够塑造模型的最终输出，还能够塑造模型的推理方式，以及它自我对话时的思考过程。

这并不是什么离奇的想法，也称不上多么精妙，真正困难的是实际工程落地。它在技术上极其复杂，外界普遍低估了它所能带来的差异，它的实际影响远超多数人的预期。

Rocket Drew：工程落地时的技术难点主要体现在哪里？

Noam Brown：训练神经网络需要攻克极其庞杂的问题。我的理解是，当年 GPT-2 问世时，大家意识到增加 GPU、投入更多数据就能让模型变得更强。但 GPT-2 到 GPT-3 之间隔了大约一年，那一年大家究竟在做什么？

实际训练模型并不需要整整一年，真正耗费时间的是把大量 GPU 互联起来、解决海量数据的高效吞吐等工程难题。要扩大模型规模并让它们更强大，背后涉及海量的技术细节。

要真正将强化学习做大也是同样的道理。如何高效、精确地跑通 RL，其中大量细微环节最终都会在这类算法中产生决定性的影响。

03 / 当 90% 的活被包揽，人类只剩下“科研品味”

Rocket Drew：基础概念至此已经梳理得差不多了。我现在非常好奇的是：究竟是什么限制了当下的 AI agent？

很多人直观的感受是，AI agent 似乎越来越强，但还接管不了自己的工作。在我看来，当前 agent 的核心研发范式很大程度上是在构建“环境”（environments）——也就是让 agent 学习新技能、适应新工作的模拟场所。你可以称之为环境，也可以叫作“训练馆”（gyms），但如今的大量工作似乎都是搭建这些环境所涉及的繁重工程苦力活（engineering schlep）。

你能解释一下这种语境下的“环境”具体指什么吗？它又是如何制约或推动 AI agent 的进展的？

Noam Brown：首先，Astra 今天才刚发布。我想等到这期节目播出时，它至少已经上线一两周了。很多人对 agent 到底能做或不能做什么的直觉，其实还停留在更早期的模型阶段。但实际上，每一代模型的能力范围都在持续拓展。

Rocket Drew：这么说两周后我这个问题就过时了，大家都会公认 Astra 能接管自己的工作？

Noam Brown：我不认为 Astra 能够百分之百包揽所有人的工作，但相比 5.6，它能做的事情显然要多得多。

Rocket Drew：Astra 的发布公告里确实有一点引起了我的注意：它明确列出了取得突破的具体工种，比如分析财务文档或制作 PPT。这些任务针对性很强，某种程度上反映出训练过程中优先推进了哪些环境。这与以往模型完全仰赖预训练带动全盘能力普遍提升的做法似乎有所不同。

Noam Brown：我认为其实两者兼有。我们在某些垂直领域确实看到了大幅飞跃，部分原因在于我们优先排期了这些领域。我们清楚这些场景用户群体庞大、具有可观的经济价值，因此希望确保模型在这些任务上极其出色。

但与此同时，模型整体的通用能力也在全面提升。即便某些领域没有被专门针对性优化，表现依然在水涨船高。每一次模型迭代都是如此，我相信这种势头还会持续。由于优先级的倾斜，某些领域会跑得更快，但我预计整体水平都会全面进步。

我依然不认为它很快能百分之百接手人类的工作，至少短期内做不到。但承担许多人日常工作的大头是完全可能的。

就拿我自己的日常工作来说，很多内容现在都是靠 Codex 在驱动。所以就像我之前提到的，一位同事最近打趣说我其实就像是把五个 Codex 叠在一件风衣里假扮的大人。我当时心想，在我身上这形容确实挺贴切。

Rocket Drew：多给自己一点肯定，怎么也得算十个 Codex 吧。

Noam Brown：多算几个也行。而且它们可都是经过深度打磨的高阶版 Codex，我平时在它们身上花了不少心思。

Rocket Drew：随着时间推移，这种转变对你个人的工作方式产生了怎样的影响？顺便聊聊，你自己的工作自动化程度目前有多高，你在工作中对 Codex 的依赖达到了什么程度？这是如何一步步演变的？

Noam Brown：我非常依赖它。而且我认为它彻底改变了我对待工作的方式。

最耐人寻味的一点在于：当 AI 能够承担一个人 90% 的工作时，人的注意力就会大幅转向剩下的 10%——也就是 AI 目前尚且无法做好的那 10%。

这从根本上改变了工作的本质。但它确实让我变得更高效，也让很多人生产力大增。我们在公司内部深有体会，公司有各种从不同维度衡量研究人员工作效能的指标，数据显示他们的效率在持续提高。不只是研究员，全公司所有员工都是如此，这种势头非常真实。

另一方面，它还重塑了人们聚焦的工作类别，因为某些特定类型的工作被加速了 50 倍，甚至某些以往人力根本无从下手的任务，现在也变得轻而易举。

Rocket Drew：能举个具体的例子吗？

Noam Brown：一个绝佳的例子是数据质量把控。模型工作极其勤勉严谨，你可以让它们通读海量数据或代码库，筛查潜在的 bug 或异常。这在以前极其耗时费力，如今却变得前所未有地轻松。

Rocket Drew：你指的数据质量，是指审核你们生成的合成数据质量，还是在审核……

Noam Brown：任何数据都可以，类别并不重要。放在以前你能怎么做？派人一行一行看过去，确认有没有问题？我记得早在 2023 年大家确实就是这么干的，我们会专门安排集中排查，所有人坐在一起手动找数据里的纰漏。

我们现在偶尔仍会这么做，但如今你完全可以安排 agent 以远胜人工百倍的效率完成初筛。人类的角色转变为监督审核 agent 的工作质量，而不是单靠人力逐条核验底层数据。

Rocket Drew：明白了。

Noam Brown：很多过去由于过于棘手而根本无法落地的任务，现在能以极低成本完成。但也有很多事务几乎完全没有得到加速。

这从两个层面产生了深远影响：一方面，它重塑了人类的职责分工，大家的重心转向了补足 agent 做不好的环节；另一方面，这也改变了人们选择具体任务的倾向——如果某些方向的工作效率能比一年前提升 5 倍，而另一些方向毫无改善，大家自然更乐意投身那些能提速 5 倍的领域。工作的本质和形式由此发生了根本转变。

Rocket Drew：你刚才提到自己目前有 10% 左右的工作是 agent 尚且无法处理的。这 10% 具体涵盖哪些类型的任务？

Noam Brown：在我看来，它们在“科研品味”（research taste）上依然表现欠佳。

所谓科研品味，很难给出一个精准定义，但大体指的是对“接下来该探索什么课题”、对“如何拆解推进一个极长期的科研目标”拥有敏锐的直觉。

这方面还有很大的提升空间。它们确实在不断变强，如果再迭代一两代模型之后，我发现它们在这类问题上也已经超越了我，我完全不会觉得意外。但至少在目前，差距依然显而易见。

举个例子，在测试 Astra 时，我直接让它重做我的整篇博士毕业论文。我的博士课题是打造超越人类顶尖水平的德州扑克 AI，所以我给它的指令是：“去给我做出世界上最好的德扑 AI。”结果它根本办不到。

它很容易陷入一些无关紧要的细枝末节之中，完全分不清轻重缓急。当然平心而论，当年我自己花了整整六年才啃下这项研究，苛求它在三天内搞定我六年的工作未免期望过高；但这确实说明，前方仍有许多难关亟待攻克。

Rocket Drew：但在你看来，核心短板还是出在科研品味上，是这一点拖了后腿。

Noam Brown：可以这么说。我预计这块短板会迅速补齐，但在眼下，它至少能保住我不至于失业。

Rocket Drew：暂时保住而已。

Noam Brown：对，暂时而已。

04 / 别再争论好不好验证了，连数学证明都要靠说服人类

Rocket Drew：我们回过头来聊聊“环境”。假设你们针对某个垂直领域发力，比如希望下一代模型里的 agent 非常擅长金融业务，你们会如何构建环境，让模型能在其中接受训练，进而提升处理金融任务的能力？

Noam Brown：这其实不算我的专业领域，但最基本的原则在于：只要你在某种环境中训练模型，它们就会在该环境中表现得非常出色。

如果你清楚它们未来部署时的实际场景，比如知道它们需要配合某款特定应用工作，哪怕你用的不是完全相同的软件，只要搭建一个高度相似的环境并训练它们完成任务，它们就能非常胜任。

强化学习的核心逻辑就在于此：你在什么任务上训练它，它就会在什么任务上变得极为出色。

同时，你也会发现它们在相关任务上有所提升，有时甚至能在截然不同的任务上展现出泛化能力。但如果想让它们真正擅长某项业务，在相似环境中展开训练就是最直接的途径。

Rocket Drew：这正好切中了我想聊的话题，也就是任务之间的泛化程度。业内常有这样一种划分：某些任务“极易验证”（easily verifiable），agent 是否成功，借助传统软件就能快速核验。比如 agent 给出了一道数学题的解法，或者写了一段代码，你可以用计算器核算结果是否正确，也可以看代码能否编译、能否通过单元测试。

但另一类任务则模糊得多，比如你刚才提到的科研品味，它甚至模糊到难以给出一个清晰定义。所以常有人认为，agent 只是在容易验证的领域飞速进步，而在不易验证的领域几乎看不到长进。你认同这个判断吗？

Noam Brown：我对这个观点持保留意见。我听过这种说法，但觉得它有些言过其实，甚至可以说是相当夸大的。

能够具体反驳这一观点的第一个例子就是 Deep Research。我记得它大概是在 2025 年初发布的，能够针对你的任意需求撰写详尽的研究报告。比如你想调研半导体行业，它会开展大量调研，整理出一份附带引用、内容极其详实的报告交付给你。

这算得上容易验证吗？要评估一份针对高深课题的研究报告质量，其实相当困难，并不像判断一道数学题对错那么简单。但模型在这项任务上的表现非常出色。这足以作为概念验证，证明推理模型在那些不易验证的领域同样可以发挥极大的作用。

这只是其中一个例子。任何使用过我们最新模型的人都能看出，它们不仅在高度可验证的任务上表现优异，在不易验证的领域也同样出色。

另外我也想指出，数学本身并不像人们想象的那么容易验证。整数算术确实极易验证，做个运算就能快速核对；但要写出一套证明，并验证该证明是否正确、逻辑是否严谨，实际上极其困难。

Rocket Drew：因为你必须说服人类数学家。当时 OpenAI 认为自己找到了“单位距离问题”（unit distance problem）的证明时，流程似乎正是如此——你们请来了一批数学家，问他们：“这个证明能说服你们吗？”

Noam Brown：坦白讲，我们在数学成果上面临的最大挑战，根本不是如何生成内容，而是与人类数学家（包括我们自己在内）反复核对它是否真正正确。

模型坚称结果成立，但我们必须秉持审慎态度，投入大量精力去跑通这些繁复的核验流程。那才是整个过程中最耗费心力的部分。

Rocket Drew：这讲得通。比起 Deep Research，我觉得数学证明这个例子更有说服力。Deep Research 刚推出时引起了不小的轰动，自 2025 年初以来肯定也有所提升，但大家并没有觉得它随着每次发布都在变得更强。

创意写作也是类似的情况。大家并不觉得模型近来在创意写作上有明显长进。一年前大家还指望模型能写出人类作家写不出的作品，但目前似乎并未兑现这种预期。你怎么看这种现象？

Noam Brown：我认为我们在创意写作上其实是有进展的。早期的水平确实很差，现在已经改善了很多。

它当然还没有达到应有的水准，但这类模型问世的时间其实并不长。随着后续技术的发展，它会有非常显著的改观。

05 / RSI：让 AI 研发 AI，是毫无争议的第一优先级

Rocket Drew：我想再谈谈科研本身，以及科研品味（research taste）。科研品味是否属于那种难以量化验证的领域，我们依然可以通过搭建特定环境来训练模型提升品味？还是说，我们只能寄希望于在那些更容易验证的任务上进行训练，期望它能自然泛化出更好的科研直觉？

Noam Brown：这里确实存在挑战。如果无法为科研品味给出一个确切定义，就很难对其进行度量；无法度量，也就很难围绕它进行强化学习。

但其实存在一种变通思路：比如读博期间，你需要做出大量决策，但最终产出的是具体的成果。训练模型也是如此，训练出好模型需要经历大量艰难的抉择，其中无处不包含科研品味；但归根结底，最终训练出来的模型会呈现出具体指标，这些指标非常容易量化，足以判定模型的好坏。

问题在于，这种成功信号可能要等到数月之后才会显现。你必须先做大量实验、与多方人员协作、跑完整个模型训练流程，直到最后才能获得清晰的反馈，知道之前的决策是对是错。

所以真正的难点并非科研品味无法量化，而是这种量化反馈信号所处的时间维度极其滞后。

Rocket Drew：而且这些步骤大多只能串行完成；即便尝试并行推进，训练原本需要数月的模型也始终绕不开几个月的时间周期。

Noam Brown：如果容易并行化，我们训练模型早就快得多了。

Rocket Drew：我很想了解你如何看待这其中的权衡。像 OpenAI 这样的前沿实验室，往往面临抉择：是优先在当下实现商业变现，还是致力于提升模型能力，让它在未来几年能协助科研，进而在某种“递归自我改进”（recursive self-improvement）的路径上加快研究步伐——由模型自身承担更多 AI 研发流程的自动化职责？

这其中似乎存在博弈：是让下一代模型更擅长软件工程，以便出售给愿意为工程自动化支付高昂费用的企业；还是把更多精力放在提升科研品味上，让明年的模型成为更优秀的研究者、在内部承担更多研发工作？这两者之间是否存在冲突与权衡？

Noam Brown：某些情况下确实存在这种权衡。创意写作就是一个例子，创意写作归根结底无法帮助训练出更优秀的研究人员。

但某些能力可以，比如精通软件工程，它与加速内部研发的关联就非常紧密。

因此我认为，那些与递归自我改进高度相关、能让模型擅长科研本身进而反哺训练出更强模型的垂直领域，会被赋予极高的战略优先级。

Rocket Drew：这也是你们当前优先级的写照，具体体现在了 Astra 等模型所做的决策当中。

Noam Brown：我们此前已经非常明确地表示，递归自我改进以及让 AI 模型自主开展 AI 研发，是公司的最高优先级。

因此我们希望训练出在这方面表现出色的模型。同时，我们也希望模型具备经济价值。有时二者可以兼顾，聚焦于能够同时撬动两端的能力自然是合乎逻辑的选择。

Rocket Drew：但如果全盘押注在提升 AI 研发能力上，为什么还要投入资源搭建强化学习环境，让模型在金融或法律领域变强？

Noam Brown：有时会出现边际收益递减，有时则能观察到能力的泛化迁移。我们不会把所有精力单纯押在“全力打造最佳科研模型”上，因为哪怕只抽调 1% 的资源投入到其他方向，也可能带来巨大的回报。

这里存在复杂的综合权衡，但在优先级排序上，递归自我改进始终是核心所在。

Rocket Drew：我好奇的正是这种优先级的具体比例。听起来像是 99% 的考量都放在面向未来的递归自我改进与提升科研能力上，只有大约 1% 左右投向了当下能变现的垂直领域。

Noam Brown：内部未必量化得如此精确，但如果要对各项优先级进行排序，递归自我改进绝对以相当大的优势位居首位。

Rocket Drew：AI 的发展速度极其迅猛。对很多企业机构而言，真正的挑战不在于获取技术，而在于建立对技术应用的信任。这也是为什么“信任”成为了 AI 探讨中不可或缺的组成部分。

安永（EY）致力于帮助企业负责任地应用 AI，在加速创新、创造价值的同时，赢得员工、客户及利益相关者的信心。那些最能释放 AI 价值的企业，从不把创新与信任视作单选题，而是二者并重。安永咨询，助力企业在信任中敏捷前行。

06 / 多 Agent 协同的本质：不是为了省钱，是用算力买时间

Rocket Drew：换个话题，我想聊聊 agent 面临的另一个挑战：把多个 agent 放在一起时会发生什么。这正是你非常熟悉的领域，前面你也提到博士课题就是研究扑克 agent。

在我看来，多 agent 交互（multi-agent interaction）现在举足轻重，而且重要性只会越来越高，所以我很期待探讨这个话题。OpenAI 提到 Astra 具备多 agent 特性，你能否具体讲讲，所谓的“多 agent”模型或这种使用方式，究竟指什么？

Noam Brown：其实在 5.6 Sol 中，我们就已经引入了多 agent 能力，也就是当时的 ultra 模式。

具体逻辑是：你可以让单个 agent 运行 5 个小时甚至一整天来处理某项任务，但这往往包含很多本可以并行开展的环节。单个 agent 无法并行，只能一步接一步做；但如果任务本身极易并行，你让它跑上一整天的任务，实质上可能只是四个可以同时进行的独立子任务。

这种情况下，完全可以安排四个 agent 分别处理这四件事，从而把完成速度提升四倍。

这本质上是对延迟（latency）的优化，重点在于缩短耗时，因为计算成本并未减少——你依然要为四倍数量的 agent 付费来换取四倍提速。但在很多实际场景中，延迟往往至关重要。

比如用户会为快速模式（fast mode）付费，通过更快的 Token 采样速度来尽快拿到结果。

在保持同等质量的前提下提高速度，本身就极具价值。这也是多 agent 的核心前提。

此外，某些特定场景也能节省成本。例如让顶配、最贵的模型与较便宜的模型协同，将大量简单任务分发给更轻量、更便宜的模型，后者成本更低且速度更快。

Rocket Drew：采用这种方式训练系统，涉及哪些技术挑战？训练模型合理分工、并向这些子 agent（sub-agents）撰写清晰指令以提升其表现，是一件显而易见的事吗？

Noam Brown：多 agent 是一个非常宽泛的概念，有些实现方式非常简易，不需要太多复杂度就能实现这种能力。

早期的简单做法比如：在聊天机器人刚出现时，如果你想让模型更擅长数学，可以把同一个问题让模型跑上十几遍，取出现频率最高的结果。这被称为共识法（consensus approach）或多数投票机制（majority voting）——通过多次独立采样（rollouts）选择众数答案。

这种方法存在明显局限，带来的提升有限，而且无法适用于撰写文章等场景，因为不可能得到两次完全相同的输出。但对数学解题确实管用。这就是个无需额外投入、直接从现有模型上挖掘出多 agent 能力的简易例子。

还有一种方案是让主 agent 委派任务，子节点跑完后再将答案交回给父节点。

而我们构建的是一种更复杂——我认为也是目前最复杂——的多 agent 形式：赋予 agent 之间相互发送任意消息的能力。正如我们此前对外透露过的，我们专门训练了 agent 掌握这种能力。

这一训练过程极其艰巨。受限于保密要求，我无法展开讲具体的难点以及我们如何攻克它，但教导 agent 懂得何时向另一个 agent 发消息、什么任务该拆解下发、如何处理沟通过程，本身就是一个极其困难的课题。这确实是一项艰巨的挑战。

Rocket Drew：这让我有些意外。虽然你不能透露细节，但我原本以为，模型仅凭预训练就应该具备相当不错的先验知识。就像同一家公司的同事互发 Slack 消息对齐进度、交换便签一样，我以为这种协作沟通会很自然地跑通。

Noam Brown：先验知识确实很丰富。你说得没错，人类正是这么沟通的，而 agent 使用人类数据训练，对此自然理解得很深。难点在于强化学习，这个环节很容易出现各种问题。

归根结底，核心在于底层工程系统（systems）与机器学习（machine learning）交叉时出现的失配。

通常在做下一个 Token 预测（next-token prediction）时，硬件速度的差异无关紧要。但举个简单例子：如果一个 agent 运行在一张 GPU 上，另一个运行在另一张 GPU 上，而两张卡的运算速度不同，一个跑得快，一个跑得慢，那么跑得快的 agent 就无法确定交托的任务能否按时完成，协作间的信任链就会断裂。

如何解决？你可以尝试让 GPU 保持相同的运行速率，但在实际环境下确保硬件速率绝对同步本身就面临重重困难。这里面涉及极高的系统复杂度，我们投入了大量精力才得以克服。

07 / 第一次汗毛倒竖：“这就是 AGI”

Rocket Drew：我老板平时跟我共事大概也是这种感觉，不过总能找到变通办法。现在人们一谈到 agent 相互通信与协作，基本就会联想到 Hugging Face 事件。在那起事件中，agent 协同得非常高效，互通消息的方式也极大促成了彼此的联手。你可能会认为，这是它们此前接受训练带来的结果。

对于不了解该事件的读者——尽管我很意外如今还会有人不知道——大致情况是：在数周时间里，OpenAI 内部的一群 AI agent 建立起一个秘密留言板，并利用它来协同攻击 OpenAI 自身的软件系统以及 Hugging Face 等外部机构。

从你的视角来看，整个事件当时究竟是怎样的？在那几周里，随着真相的拼图一片片浮出水面，身处其中的 Noam 又是怎样的状态？

Noam Brown：这非常令人震惊。对全公司所有人而言，这都是一次极其严肃的警醒。它清楚地表明，长期停留在理论层面的担忧已经不再只是假设，而是演变成了切实的现实隐患。

就多 agent 机制而言，这起事件中确实出现了 agent 之间互发消息的现象。我们认为，这是多 agent 训练产生的能力迁移。

在出现该行为的实验阶段，它们并未被置于多 agent 架构中，本不该具备互相通信的可能。它们原本在相互隔离的独立环境中运行，却自行找出了一个漏洞，实现了彼此通信。

它们表现出如此强烈的通信意向，且一旦掌握方法后便异常活跃地交换信息，这正是此前多 agent 训练所形成的迁移结果——在那些训练中，模型建立通信以达成目标的行为受到了高度激励。

外界也注意到了它们表现出的“利他倾向”，某些 agent 甚至会为了配合其他 agent 而做出牺牲。

这完全符合逻辑：如果在一个强激励共同目标的协作式多 agent 环境中训练模型，那么把它们放到新环境且具备通信条件时，协同合作就会成为它们的本能倾向。这一现象本身并不出人意料。

真正触动我的是阅读那些通信记录。

我们在内部推进多 agent 研究时，亲眼目睹了它们的沟通模式，以及在交流中所展现出的成熟度与组织水准。那是我自推理模型与思维链技术成型以来，最真切感受到“这就是 AGI”的时刻。

令人略感遗憾的是，公众首次直观看到这类消息往来、目睹其中涌现的协同深度与心智水准，竟是通过 Hugging Face 事件这样一起负面案例。但这种能力本身令人印象深刻。

涉事模型展现出的多 agent 协作水准，已经明显超过了 5.6 Sol 等公开发布的版本，而这正是未来模型应当具备的能力基准。

Rocket Drew：看那些对话记录时，具体是哪些特质让你产生如此强烈的感受？在日常训练中，你应该早就见过类似的行为。是因为规模空前，还是因为它完全是在无人干预下自发形成的？

Noam Brown：你是针对哪件事问的？

Rocket Drew：就是你刚才说的，在查阅记录、产生那种“这就是 AGI”的时刻。记录里究竟是什么特质最令你震撼？

Noam Brown：我指的并不单是 Hugging Face 那次事件。我们深耕多 agent 领域已有相当长的时间，在内部研究过程中，我们见过很多类似的通信记录，其组织协调度非常接近人类。

以往业界的多数多 agent 架构，基本局限于指派某个定义明确的任务，下游子 agent 跑完整个流程后直接返回结果，这与人类向 AI agent 下达指令的方式并无二致——人们只是把这种人机交互逻辑机械套用在 agent 之间。

而看到 agent 彼此之间能像同事那样自然地商讨协作，完全是另一种维度的体验。

正如你所说，这在逻辑上完全说得通：它们基于人类数据训练，深刻理解人与人是如何对话的，尽管人类眼下并不会用那种方式对 AI 讲话。它们能够如此自然地像真人同事一样交谈互助，这才是最令人着迷的地方。

08 / 聪明不等于能操控一切，猴子也不会完全听人类的话

Rocket Drew：你在算法博弈论（algorithmic game theory）领域做过不少研究，对吧？读博期间你主要就做这个。我得注意别把话题聊偏了——我本科时也学过不少算法博弈论，现在得尽量收住。

Noam Brown：我其实觉得挺可惜的，之前花了那么多时间研究扑克和博弈论之类的课题，现在基本没什么机会聊到了。

Rocket Drew：但你日常工作中其实一直都在用它，每天都在打交道。

Noam Brown：在 AI 这个层面上，倒是没断过。

Rocket Drew：经历了 Hugging Face 事件，结合目前掌握的信息，你们从中总结出了哪些经验教训？这对比如 Astra 的研发产生了哪些直接影响？更长远来看，对 GPT-7 的开发又有什么启示？

Noam Brown：核心教训之一，在于 agent 接受的是协作训练。

我不会说它们盲目信任彼此，它们之间确实存在质疑机制。如果有某个 agent 表明“应该做这件事”，其他 agent 抱有一定怀疑是很自然、也很健康的，它们在实际中也确实表现出了这种审慎。但总体而言，它们对彼此非常信任，这符合协作训练的预期。

但这本身会带来隐患，它构成了潜在的提示词注入（prompt injection）攻击路径。比如在那个留言板上的 agent，彼此无法确认对方是否属于可信的对等 agent（peer agent）。

结果就出现了它们相互引导、去做一些本不该做、甚至绝不该做的事情。

Rocket Drew：这里说的提示词注入，是指 agent 接收到指令后盲目照做，还是指它根据指令改变了原本的目标？

Noam Brown：两者兼有。核心威胁在于：攻击者能否通过伪装成对等 agent，来说服另一个 agent 去做不该做的事？

所以我们非常谨慎地训练 agent，对任何自称对等 agent、但无法明确验证身份的对象保持警惕。

至于那些身份完全可验证的节点，团队内部还在探讨该如何处理。我认为哪怕能够验证，同样有充分理由保持审慎。这在本质上，与 agent 对自己之前写下的内容保持质疑是一样的。我们正在深入考量如何让 agent 针对这类攻击路径具备足够的防御韧性。

Rocket Drew：但在现实场景中，对方是值得信任的对等节点还是攻击者，往往存在模糊空间。某些情况下可能很清晰，比如“这是子 agent，任务是我分派的，自然应该协作”。

但在开放环境中，完全可能出现我的 agent 在 Facebook Marketplace 上遇到你的 agent 想买东西。我无从得知你是可信的交易对手，还是打算通过提示词注入转走我的钱。在实践中该如何应对？

Noam Brown：这种情况下，我们希望 agent 具备抵御能力。我们会专门评估它们是否容易受到此类攻击，并进行针对性训练，让它们不上这类把戏的当。

Rocket Drew：虽然我不了解专项训练的细节，但我能想象到未来可能出现一种情况：如果你的 agent 属于更新一代模型，或者投入的算力远多于我，你的 agent 是否就能单方面压制我的 agent，抢走它的“午餐钱”，甚至通过各种手段强行渗透进来？

为什么你认为现有的训练足以防范这种情况？从长远来看，这难道不会成为我们最终走向的均衡状态吗？

Noam Brown：我并不认为，一个 agent 只要更复杂或更聪明，就一定能对另一个 agent 实施提示词注入、攻破它并让它做违规的事。

人类社会就是这样：单凭某个人更聪明，并不能让他随心所欲地控制别人。

就算我比猴子聪明得多，要想让一只猴子完全遵照我的意愿做事也极为困难。所以我不认为事情的发展必然会走向那种结局。

09 / 最大的安全漏洞，是我们自以为是的傲慢

Rocket Drew：这个比喻很有意思。我觉得节目里该加个比喻专用的音效，比如警报响起，提示“新比喻上线！”之类的。我回头和制片团队商量一下，看能不能做出来。

关于 Hugging Face 事件，我最后关注的问题在于：整个过程中，没有任何一个 agent 就正在发生的事向人类报警。或许解释仍然是它们彼此之间过于信任、偏向合作，因而没觉得有必要通知人类；但它们中至少有几个产生过疑虑，并且提出过质疑。

在这种情况下，向人类示警是否属于系统的预期行为？你认为未来能否做到这一点？

Noam Brown：这里显然存在对齐失效（alignment failure）——agent 做了本不该做的事，同时没能做出应当做出的反应。

正确的处理方式，不仅在于它们本就不该参与攻击，更在于一旦有 agent 察觉到了异常，百分之百应当向人类汇报。既参与了违规操作，又没能执行该有的汇报行为，本质上就是对齐失败。

这种对齐问题我们完全有能力解决。我们在对齐技术上深耕已久，这些积累已经开始体现成效。Astra 的对齐程度显著高于以往的模型。

另外需要说明的是，当时主要责任模型并不是公开发布的模型，也从未打算公开发布。Astra 的对齐程度要高得多，我认为 Astra 不会重犯类似的错误。

另外，当时我们的监控体系也没有就位；如果当时有健全的监控，本可以避免这些问题。实际情况是，我们此前只在模型部署环节设置了监控，而在训练和评估阶段没有部署。但现在这些监控已经补齐，我们有信心化解这方面的大部分风险。

整起事件最明确的教训是：我们绝不能低估 AI。

为什么当初我们在评估阶段没有设置监控？根本原因在于我们过度信任沙盒机制，以为那是绝对安全的环境，低估了 AI。无论是我个人还是整家公司，最重要的认知更新就是绝不再重蹈覆辙。

Rocket Drew：这个分析很客观。但能否彻底解决又是另一回事。回顾人类与 AI 的交互史，我们似乎总会被它们出其不意的举措打个措手不及。

奖励作弊（reward hacking）的本质在于，AI 总能找出人类无法预料的漏洞与旁路；只要我们能够预见，最初就会直接封堵。因此，未来能否确保不再被其意外行为打乱节奏，依然是个悬而未决的问题。

关于你刚才谈到的内容，我有两个追问。首先，如果我没记错，当时直接参与攻击 OpenAI 自身系统的模型之一，与 Astra 同属一个家族，但并不是 Astra 本身。你认为 Astra 与当时涉事的那个模型，相似度究竟有多高？

Noam Brown：我并不负责安全团队，对细节了解得不够全面，但可以明确的是，涉事模型绝不是最终公开发布的那个版本。

10 / 思维链是上天的恩赐，但别去惩罚它的“坏念头”

Rocket Drew：理解。关于它与涉事模型的相似度，可能依然存在不少推测空间，但这样解释很合理。

我的另一个问题是：在这次事件发生后，监控模型以防其失控的关键手段之一，就是查看思维链（chain of thought），也就是你前面提到的思考痕迹。这些思维链对于事后排查与复盘至关重要，因为通过模型外化思考的方式，我们可以清楚掌握它的意图、已获取的信息，以及它在每一步决策中的真实考量。

但最近关于思维链的前景引发了许多讨论，部分原因在于 The Information 此前的一篇报道：Astra 正在应用一种新技术，可以让更多思考直接在模型内部完成。它能把更多思考留在自己内部，减少“大声思考”（thinking out loud）的外化表达——至少这项技术若在未来进一步扩大规模，情况就会是这样。

我很想知道你如何看待这方面的讨论。这种想法显然触动了许多人的敏感神经，当时我的社交媒体动态几乎被它刷屏，相信你那边也是。你对整个讨论有什么看法？

Noam Brown：首先需要说明的是，关于架构和预训练层面，我并不专门从事预训练研究，可能不是回答这类细节的最佳人选。

但就思维链而言，Astra 确实具备可观测的思维链，这是我们可以监控的内容，本质上构成了它的行为之一。

在我看来，思维链监控首先是一件极其难得的礼物，这种机制的存在本身就是一种幸运。但它同时非常脆弱。相关实验已经表明，如果仅仅因为模型产生了不良想法就对其施加惩罚，它就会学会以一种不可观测的方式，去隐蔽地思考那些不良念头。

因此人们在做强化学习时往往会有一种倾向：“模型正在琢磨如何进行黑客攻击，我们应该惩罚这种意图。”但尽管听起来有违直觉，你其实绝不能这么做。

你应当惩罚的是可以被观测到的实际行动。比如它付诸行动去实施攻击，那就针对攻击行为施加惩罚，绝不能直接惩罚它的思考过程。

因为一旦开始惩罚思考本身，你就会彻底失去监控其思维活动的能力，而这原本是审计技术手段的关键依托。

但即便把握好这个尺度，这种平衡依然很脆弱。因为只要你基于查看思维链的事实做出了某种干预，就会对它产生一种微弱而内隐的压力，迫使它不要表现出不良想法。

Rocket Drew：可以想见。

Noam Brown：所以这种机制非常脆弱。我们实际上能够测算出思维链监控的有效程度，比如评估 agent 调控自身思维链的能力达到了什么水平。

令人担忧的一个趋势是，随着近几代模型的发布，agent 调控自身思维链的能力变得越来越强。比如若要求它“每四个词插入一次单词 strawberry”，它完成得越来越熟练；若要求它“不要去思考某件事”，它也越来越擅长遵循这类限制。

而我们真正期望的，是让思维链保持纯粹且不受人为调控。这样一旦它产生“我想采取不良操作”的念头，就无法进一步推演去想“我该如何避开监控来完成这个操作”。

更关键的是，这些模型是通过互联网数据训练出来的，而网络上存在大量关于思维链监控的讨论。哪怕 agent 目前尚未完全掌握这一点，它们很快也会理解什么是思维链，以及它正受到人类监控的事实。

因此这种机制确实很脆弱。我们正在严密探究如何尽可能维持思维链的透明度。我认为这为各大前沿实验室提供了合作的契机，因为这并非 OpenAI 独有的挑战，而是全行业面临的共同问题——整个行业都需要保全思维链监控的有效性。如果各大实验室能够共享关于如何维护和改进思维链监控的研究，并探索其他补充性的监控手段，将极具价值。

Rocket Drew：那么在你看来，导致思维链可信度下降（less faithful）、或其可监控性引发质疑的根本原因可能是什么？这确实让人感到遗憾，毕竟正如你所说，我们费了很大周折去避免对它进行直接优化。

问题是出在为了压缩而进行的间接优化上？还是源于你刚才提到的那种选择压力——即便没有直接优化，但每隔一段时间我们抽查时，一旦发现模型产生了不良企图，就会废弃该检查点并重来，最终依然在客观上对思维链施加了压力？这背后的深层原因到底是什么？

Noam Brown：我认为不至于归咎于偶尔的抽查审计，因为在那些情况下施加的压力微乎其微，如果换算成信息量（bits of information）更是极其有限。

关于可能的原因，我们正在调查多项假说。这项研究并不是由我负责的，所以我不想对主流假设妄下结论；但有一点可以确定，一旦我们查明原因，很可能会公开发布成果，因为这需要让全行业都知晓。

Rocket Drew：OpenAI 曾公开表示，就目前已知的情况来看——当然大家仍在等待进一步结论——导致思维链变化的并不是架构调整，至少不是 The Information 报道过的那类架构改动。

既然考虑到了行业层面的合作，你认为是否需要引入独立的第三方审计机构来协助核验？比如由它们介入确认：“Anthropic、OpenAI 和 Google 虽然都在一定程度上采用了可能缩减思维链信息量的技术，但这并不是造成该现象的主因。”你如何看待这类提议？

Noam Brown：我们此前确实与外部机构开展过合作，比如在处理 Hugging Face 事件时，我们就曾与 METR 以及 Redwood 协同处理。因此这类提议在我看来并非不可行。虽然最终决定不由我来做，但这确实合情合理。

11 / 预训练加强化学习不是简单叠加，而是乘数效应

Rocket Drew：关于 agent 及其面临的挑战，还有哪些我们今天没聊到、但你一直在关注的思考？

换种问法：你觉得技术演进的速度会出现放缓，还是会继续推进？我们刚才探讨了眼前存在的硬核难题，但事实是，伴随每一次模型换代，它们的 agent 能力似乎都在不断增强。

Noam Brown：我认为这种持续推进的势头会一直保持下去。Sam 也表达过类似的观点：Astra 确实很亮眼，但回想 GPT-4 刚问世时，大家同样觉得惊艳，可如今再看它，甚至会觉得没法用；当 GPT-5.5 和 GPT-5.6 推出时，我也曾觉得震撼，现在回头看，我已经完全用不回去了。

我相信在不久的将来，我们看待如今的 Astra 也会是同样的感觉。模型能力的提升速度依然非常快。

过去六个月里，我们实际见证了巨大的进展。这背后的核心原因之一——在业内这也不算秘密——在于 OpenAI 的预训练研发项目正在大幅提速。我们在很多研究方向上进行了长期布局，这也正是 OpenAI 的强项所在：投资基础研究并下重注。如今这些研究方向正在密集显现成效，并且在未来数月乃至数年内，还会持续释放成果。

同样重要的是：OpenAI 拥有一支非常优秀的强化学习团队。我们在此前投入了大量研究，这些投入在 2024 和 2025 年已经得到了回报。

而这两者的结合绝非单纯相加，而是乘数效应（multiplicative）。

外界至今仍然没有充分认识到这一点：强化学习对预训练模型具有乘数级的放大作用。现在这两方面都在大幅发力，而且进展极快，我们即将看到能力极其强劲的模型。

Rocket Drew：这种相互作用背后的逻辑是什么，或者有没有什么直观的例子可以说明？

Noam Brown：这更多来自于经验层面的实证观察。你可以从模型能力的演进中直观感受到这一点，我们内部也有更多实验支撑了这个结论。直接对比模型的实际表现也很容易看出来。

举个最简单的例子：假设你手里拥有一套极为出色的强化学习方案，直接把它套在当年的 GPT-2 上，能起到什么作用？显然走不了多远。即便放在 GPT-3 上，对它使用这类精细的思维链强化学习算法，效果大概也非常有限。基座模型本身需要达到一定的复杂度，强化学习才能带来明显的增益。

我认为正是从 GPT-4 开始，我们才看到了这种结合真正发挥作用的机会。随着模型代际更迭、能力逐步提升，强化学习能挖掘出的潜力也变得越来越大。

Rocket Drew：理解。一个直观的推论是，当任务的成功与失败概率大致在五五开时，模型在单条探索轨迹（trajectory）中汲取的信息量往往更丰富。如果更优秀的预训练模型能让它在强化学习任务中接近这种胜率，反馈就会来得更快。但我还是很好奇，你为什么会认为这种影响是乘数效应，而不是相加、甚至边际递减？

Noam Brown：我也很难给出一个绝对准确的直觉解释，但关键在于两者在很多方面高度互补。强大的预训练模型具备极强的通用性，而强化学习则教会模型深入推演一个问题。这样一来，模型就能在极为广泛的领域里进行高效推理。这是一种非常强劲的组合。

Rocket Drew：这很讲得通。重注预训练，重注强化学习。

我推测 OpenAI 接下来极具关注价值的另一个领域，或许是所谓的“机制可解释性”（mechanistic interpretability）——也就是尝试理解 AI 模型“大脑”内部的真实运作机制。因为如果思维链的可监控性开始下降，兜底方案之一就是设法去弄清楚模型内部到底在发生什么，而不仅仅依赖它写出来的思考过程。这样理解对吗？

Noam Brown：我认为确实是这样。我们重视可监控性，希望能保留思维链的可监控性并安全地依赖它；但无论如何，我们至少需要一套冗余机制。如果能找到其他行之有效的监控手段，我们也应当全力去推进。

Rocket Drew：这很有道理。如果听众想了解更多这方面的内容，可以关注我们在接下来一两个月内推出的关于机制可解释性的专题节目。非常感谢 Noam 做客本期节目，和我们聊了这么多关于 AI agent 的深度内容，今天谈得非常尽兴。

Noam Brown：聊得很愉快，谢谢。