左：Martin Casado，右：Owen He
「递归自我改进」（Recursive Self-Improvement，RSI）成了AI圈最时髦的词，几乎每家做AI的公司都在说自己在做RSI。但一个更基本的问题没人算清楚：这些所谓的改进，到底是能力真的在复利式提升，还是只是砸了更多的钱、GPU和人？
在这期节目里，MakerMaker.AI 联合创始人 Owen 和 Dhaval 给出了自己的判据：问一句「改进者是谁，被改进者又是谁」。用 AI 生成 GPU kernel、用 AI 辅助开发模型，在他们看来只是自动催化——改进者始终是人。只有当智能体的大脑本身成为被优化的对象，闭环才真正合上。他们说，过去几个月已经在内部看到分子（性能）与分母（成本）同时改善的早期迹象，并为此专门设了一个「方差总监」的职位来拆台验证。
Owen 曾任 Google DeepMind 研究员，Dhaval 是 MIT Media Lab 博士，两人创办了这家口号为「造 agent 的 agent」的创业公司，2025 年初走出隐身模式。这场对话从 RSI 的定义之争，延伸到闭环系统的数学结构、推理加速如何解锁整个栈、以及物理世界给自我改进划定的上限。他们的主要观点包括：
判断是不是RSI，关键看改进者是否就是被改进者。 人用 AI 开发更好的 AI 只是自动催化，想法仍来自人脑，历史上蒸汽机、计算机都如此。真正的区别在于第一次让大模型自己成为被优化的对象，认知提升重新投入自身，形成复利。
没有解析解，RSI 到底怎么收敛是个实证问题。 写出微分方程可以，但那个指数变量只能靠实测。连深度学习的理论都没有，上面再叠五六层更没有好的理论；最接近的是经验性的 scaling laws。
靠砸资源换来的提速不叫RSI，必须把分母算进去。 进步要算「能力增益除以资源成本」，人力工时、第23次实验烧掉的脑力资本都要进分母。公司内部有个「放血榜」bleederboard，记录每个人跑实验的成本，任何人任何一天都能去看谁排得高。
同一块GPU上训GPT-2从几周缩到几小时，是分母端的证据。 NanoGPT speedrun 显示纯算法层面的改进：同样的硬件、同样的数据，训练成本降到约一百美元。而能榨出更多算力意味着更多 rollout、更广地采样语言空间，反过来又能训出更聪明的模型。
很多声称做RSI的论文放到真实基础设施上测，scale不起来。 它们是人类内省出的炫酷点子，适合发论文，但在 benchmark 和真实经济问题上不行。能 scale 的是简单、能闭环的东西，且需要统一数学框架，否则研究就像集邮。
选推理作为突破口，因为它最能同时改善分子和分母。 离 AI 本身越近、又能同时提性能和效率的问题没几个。现在所有人都想高效部署最新模型，比如刚发布的 Kimi K2，这是当下经济上极其重要的问题。
今天决定优化什么的不是人，是agent自己。 系统里没有一个固定的总指令：负责改进的东西和知道该改什么的东西都是动态变化的，彼此强耦合，主 prompt 本身也在被不断改进。
微光不是信念，是靠实测数据看到的早期迹象。 过去几个月结果一点点长大。公司不到百分百确定正确就不发布，还专设「方差总监」负责拆台找问题，Slack 里他抓到坏方差时眼睛会射红色激光。
RSI是个被滥用的词：改进者是谁
Martin：我收到过很多路演，里面好多都用 RSI 这个词。我就会问：那你具体做什么？他们说我们用 AI 来造 AI，听起来挺有意思。那具体呢？——我们用 AI 来生成 GPU kernel。这在我看来，跟我认为的 RSI 定义对不上。所以要不我们先从定义开始，你觉得 RSI 应该包含什么？
Owen：我觉得 RSI 现在是个严重被滥用的词，每个人说 RSI 意思都不一样。区分它们的关键是问一句：改进者是谁，被改进者又是谁？自我改进的时候，到底是谁在改进，对吧？有人说，我们在做 RSI，是人用 AI 去开发更好的 AI。但这在我们看来只是一种自动催化，改进者始终是人，只不过手里的工具越来越好，可想法和改进本身还是来自人脑。
Martin：我不是故意打断，但我想确认一下：历史上每个技术时代都有自动催化的效果，对吧？没有计算机你根本造不出芯片；你也可以说互联网的快速发展，是因为地理位置不同的人也能协作了；蒸汽机也一样，因为煤采得更快，所以你才能造出更好的蒸汽机，等等。所以用这个东西来更快地造这个东西，这个思路一点都不新。那你们说的应该是另一回事。
Owen：是的。纵观整个文明史，一直存在这种自动催化，用计算机造更好的计算机。但驱动这种改变、这种改进的想法，来自人脑。可那个人脑从来不是被改进的对象，对吧？而现在，第一次，我们可以让改进者直接变成被改进者。也就是说，智能体的大脑，也就是大模型，它可以成为你要优化的那个东西。于是就有了复利效应，认知的提升会重新投入到它自己身上。
Martin：但你决定去啃这块硬骨头，而不是像其他人那样切下一小块来做，肯定有原因吧。
Dhaval：在你问的那个更重要的问题之前，我先说说我为什么做这个。我觉得它难，而攻克难题本身就很有意思。
Martin：那你有直觉认为这才是真正正确的答案，而不是那种更务实的做法吗？
Dhaval：有的。从控制论的角度看，务实的做法是这样的：如果系统里有缺口，你就形不成闭环。自动催化是没有闭环的，对吧？所以你无论怎么改进，中间总有断点，总得有人类介入，你得不断往里灌其他资源才能让它跑起来。但如果你有闭环，你当然还是要投入资源，不过边际收益理想情况下会保持恒定，甚至随时间越来越大。这就是根本区别。
我觉得这里真正不同的地方，其实很好解释。你看能力这件事，我们想提高的是能力的改进速度，对吧？能力对时间的一阶导数，就是所有人都在努力提升的东西。而这个导数由两部分决定，分子和分母。分子是性能，就是大家拼命要提的那个指标；分母是某种成本，比如资本，或者难度。这一项基本是固定的，因为能力越高，下一步的难度就越大。
有意思的是分子。像蒸汽机这种东西，分子是定死的，对吧？那你就得到一个很简单的微分方程，最后基本就是趋于平稳。但如果你的系统里，被改进的东西同时也是在做改进的东西，那你就有了全新的思考方式。最简单的情况是，分子和能力正相关，这很合理，因为你越强，你做改进的能力也越强。这样的话，数学推下去，你得到的是随时间恒定的改进，这可以算 RSI 的一个层级。还有一种情况，分子和能力的高次幂相关，那你就得到指数级起飞。
闭环与收敛：没有理论，只有实测
Martin：我们能不能再深挖一点：RSI 把闭环合上，和它真正的收敛性质之间是什么关系？不知道为什么，一看到图上两个圆圈用箭头连起来又绕回去，人们看着这个闭环控制系统就说，要起飞了。
Martin：我是说，如果这是一个非线性控制系统，到底会发生什么真的很难说。顺便说一句，大多数人似乎都不理解这个区别，一聊到这些东西，全是起飞、FOMO 那一套。
Dhaval：作为一个做神经网络的人，你知道这取决于你函数的指数。这是自指的。我们发现，去猜测我们觉得可能发生什么，其实没什么用，因为这真的是一个实证问题。真正搞清楚在发生什么的办法是去测试。而测试这件事真的很难很难。比如 reward hacking，奖励作弊，就是我们要处理的问题之一。但你问的这个问题，是非常实证的。对某些算法来说……哦，有意思。
Martin：对，我这种搞网络出身的人，当初就会这么回答。我原以为搞数学的人会直接跳出来说，我们有个微分方程，然后……
Owen：我就掏出铅笔把答案写下来了。我的意思是，写出这个微分方程是可以的，但那个变量、那个指数，你还是得靠实测。所以没有解析解。说实话，我们连深度学习的理论都没有。我们根本不知道它为什么能 work，对吧？现在你又是在深度学习上面再叠了五六层。所以我们没有好的理论。我觉得我们最接近的东西是 scaling laws，缩放定律，而且这些是经验性的规律。
Owen：我觉得大家对我们的 RSI 方法有一个误解，就是他们以为整个系统必须全自动、全数字化。但其实你看我们的数学基础，我们是一个多智能体系统，而不仅仅是单个数字 agent。在这个多智能体系统里，人类研究员和工程师其实是这些 agent 的一个特殊情形。被递归改进的，是这样一个多个 agent 协作的混合系统。我们不想把任何组件排除在外不优化它。因为如果模型可以被优化，我们为什么不呢？因为你把这些包含进来，收益会更大。任何你不优化的东西，以后都会变成你的瓶颈。
Martin：所以我们这里观察到一个现象，就是有人声称速度在提升，这确实是事实，对吧？你看模型的发布周期在缩短。所以一方面你可以说，好，那显然我们处在某种快速改进的阶段。但如果你把这个改进速度除以这些公司实际融到的资金，那就不是这样了，对吧？于是你会想，也许他们只是融了一大笔钱，然后 AI 让你能把这笔钱投进去。所以你怎么会——这不是针对你们自己——而是你怎么鼓励那些在评估这类说法、或者本身就在做这件事的人，去想别用砸更多的钱来骗自己？就是说，算上分母之后，这个改进是真正有意义的。
Dhaval：对我们来说这挺直接的。就是因为如果你的改进只是因为不断往里灌资源才得到的，那就不叫 RSI。你得能够支撑住你的说法，你到底拿到了多少改进。
Martin：但你会把投入其中的所有人力工时和实验都算进去吗？因为我感觉在某个层面上，他们会谈实际的 flops 和花掉的钱，但现实是，这可能是第 23 次实验了，背后其实是一个人在烧大量的脑力资本才跑到那个最终配置。你真的会把这部分算进分母吗？
Dhaval：我们会，我觉得这么做是很好的公司纪律。我们一直，也是有意地，从一开始就建立一种文化，追踪事情的去向：成本、时间，这些东西。我分享个好玩的事。我们内部有这么一个东西。大家常说 leaderboard，就是分数榜，你知道我要说什么了。我们有个东西叫 bleederboard，放血榜。我们在上面记录每个人跑实验的成本。太酷了。任何人任何一天都可以去看，谁在放血榜上排得高。
Owen：我也可以给个来自 AI 的例子。我不知道你们知不知道他们在跑的 NanoGPT speedrun 这个 benchmark。它基本就是让你重新训练 GPT-2，而这个模型刚出来的时候训练起来非常贵，我记得要多块 GPU 跑上好几个星期。而现在人们能在单块 GPU 上几个小时就训完，这个数字还在不断缩小。但这完全是另一回事，对吧？那就好比摩尔定律之类的嘛。不不，是同一块 GPU。同一套硬件。用同样的硬件，然后你去改进预训练的技术。
Dhaval：哦，有意思。改进的是算法技术、数据技术、kernel，这些各种各样的东西。你知道训练 GPT-2 要花多少钱吗？我想也就几百美元。一百美元。哦，天哪。而这纯粹是算法层面的。同样的 GPU，同样的数据。这些改进是来自人，还是来自哪里？agent。很多是自动化研究的成果。
分子分母同时改善：推理加速的复利
Martin：但那肯定是分母，不是分子。你想看到的是，比如用 GPT-5 也能做到那样，而我们没看到。这些东西的成本在急剧上升。
Dhaval：我觉得这个行业里守得最严的秘密之一，恰恰就是这件事：你能从里面榨出多少算力。因为在某种意义上，就算你改进的只是分母，你的训练也会变快，因为你现在能拿到更多 rollout。这意味着你能更广泛地采样那个语言空间的流形，然后得到更好的轨迹——当你拿这些去训练时，就能得到更聪明的模型。
Martin：我还没见到过，而你们已经有了 glimmers，微光，这是件很棒的事：分子和分母同时改善的地方。这是个相当有分量的说法，太棒了。
Dhaval：我们发现的是，很多声称在做 RSI 的论文，当我们把它放到我们内部的基础设施上测的时候，发现它们不行。很大一部分原因是，它们是些很酷的想法，是人类内省了一下说，哦，我觉得应该会发生这个。它们很复杂，听起来很炫，能帮你发篇好论文，但当我们大规模去测的时候，在 benchmark 上、在真实的经济问题上，它们 scale 不起来。
我们发现的是，那个更简单的、能闭环的东西，才是能 scale 的东西。我会说，我们做的有一件事可能比较独特，就是我们总是从一个非常扎实、落地的数学框架开始，它基本上把整个空间的一张地图画出来。原因之一是，这个空间太大了，如果你不做这件事，没有一个非常讲原则的方法，你会很快迷失在这片复杂性里。
另一个原因是，当你面对一个特别复杂的系统时，构建方式有两个极端。你可以走一条路，基本上建 200 个不同的系统，然后指望这套鲁布·戈德堡机械能凑合运转？或者走另一条路，你花点时间想想这 200 个东西，然后你可能意识到，它们其实就是 12 个抽象，可以泛化到这 200 个东西。所以我们试着营造一种文化：让我们真的从第一性原理出发思考。看看数学，然后我们意识到为了实用我们做了哪些假设，因为这两者都得做。然后我们看什么管用。当你这么做的时候，你就会发现，哦，好几篇论文或想法，其实都是同一个通用框架的子类。如果你把这件事做得好，你就能 scale。我觉得这是我看到的一个缺失的东西。而这很难做到，需要一群非常不寻常的人才能真正让它运转起来。
Owen：我觉得 Richard Feynman 说过，科学有两种，一种是集邮式的科学，另一种是物理。所以没有统一的数学框架，这些研究就有点像集邮。你看我们读到的很多论文，它们不过是受某些人类行为启发的想法，然后模仿一下，就说，哦看，我们有 RSI 了。但如果你不把它们放进一个统一系统里，你就不知道整体是不是真的在改进，还是只是在局部应用了一个变得更好的点子。
所以我们做的是，把所有可能被递归改进的组件放进一个统一框架里，从整体的视角去看，这样改进一部分不会负面影响另一部分。比如说，有人在只在 harness 上做递归改进，有人只在 weights 上做。但 weights 和 harness 不是孤立的组件，它们彼此有影响。
Dhaval：你可以在栈的很多不同层级上思考 RSI，对吧？你可以想到 prompt、harness、weights，一路往下到基本上是芯片。然后把栈的所有层都优化。高效，因为我们太在意分母了。然后我们开始做 weights，做权重更新。我们发现你能拿到更多收益，但你还是得做 harness 那些事。你可以沿着栈一直往下走。我的猜测是，你大概需要对系统的很多不同部分做大量协同优化，才能让它真正 work。
Martin：能不能具体讲讲，你们挑了哪个问题领域来证明这套东西真的管用？
Dhaval：我们特别想挑离 AI 本身尽可能近的领域，因为我们一直想保持递归嘛。你仔细想想，真正贴近 AI、又能同时改善分子和分母的问题没那么多。其中一个就是推理问题。因为你在推理上能榨出的改进和效率越多，整个系统就越能被解锁。这不只是技术上的原因，而是它最有希望让分子和分母一起变好。
Martin：这听着真有点烧脑。给所有听众解释一下，这里有两层改进在同时发生。第一层是模型做推理的速度变快了；第二层是推理变快之后，它自我改进这件事本身也变快了。当然这不意味着失控起飞，它完全可能在某个点渐近停住。但光是想想这种复利效应就太疯狂了。
Dhaval：我们是创业公司，不是研究实验室。选这个方向的原因之一，是现在全世界所有人都想自己部署自己的模型，而且大家都想用最新的技术，比如刚发布的 Kimi K2，都想把它跑得尽可能高效。所以这是个当下经济上极其重要的问题。
Martin：假设我想让 Kimi K3 的推理更快，我会用 Kimi K3 以递归的方式来做，还是用一个独立的模型和系统去给它提速？
Dhaval：你是说改进 K3 的 serving stack 对吧？嗯，我们的系统不止用一个 LLM，而是很多不同的 LLM 各干各的事。
Martin：哦，那你们是在为所有这些模型做推理栈？
Dhaval：我们又得说，我们挑哪个模型全看哪个最有效，因为它被用得最多。有意思的是，用哪个 LLM 干什么事，也不总是我们说了算，我们让模型自己选。
Owen：说实话，今天决定优化什么的其实不是我们，是我们的 agent。这就有意思了，因为它在递归自我改进。我们要做的，是不让它把自己局限在只改一个组件上。所以它自己会选要不要改什么。
Dhaval：我们尽量做到像放养一样，完全不插手，让它自己搞。你们有没有一个总的主 prompt？是不是类似「改进你自己」这样的指令？
Owen：连那个主 prompt 本身也在不断改进？真的假的？
Dhaval：它在改进主 prompt？对。而且这不是单一的 RSI 系统，你可以这么理解：有一个负责做改进的东西，但你还得有另一个知道该改进什么的东西。这两者都是动态变化的，而且彼此强耦合。
放养式系统：Agent自己决定优化什么
Martin：你觉得这东西最后能有多通用？你现在专注的是在一个特定领域里加速推理，你觉得你们在这里摸索出的方法能泛化开，还是每个目标解空间都得另搞一套？
Dhaval：从数学上我们已经定义好了，它是一个能泛化到一切的系统。我觉得系统里有那么一部分……
Martin：你说的任何，是指任何你能把 AI 指过去的问题领域？
Dhaval：没错。但物理层面有限制，其中一大限制就是人这个因素。很多 AI 公司的思路是用 AI 取代人类，但我们发现，好的研究员和工程师能带来的东西实在太多，很难被 agent 取代。所以我们从一开始就把整家公司当成一个多智能体系统来设计，人就是跟其他 AI agent 共处的一种 agent。
Martin：至少能把这个边界压下来吗？比如说，你能想象一个系统，投入的能量相对改进量来说随时间不断减少？
Dhaval：有些东西我们不能讲太多，但我们在公司内部一直在努力的一件大事是：不光做分子，就是我之前说的性能，还要做分母，也就是同样一份物理资源、同样一笔钱，你能从中挤出多少产出。
Martin：对，那你们觉得有没有可能做出这样一个系统，分子继续按原来的方式往上走，而分母保持不变甚至变小？
Dhaval：不只是可能的，我觉得它正在发生。
Martin：真的吗？也就是说花更少的能量就能拿到更好的结果。
Dhaval：随着时间推移是这样的。
Martin：你觉得存不存在这样一种宇宙，这个过程一直持续下去，不会趋于渐近线？因为如果真是这样，那你实际上就有了失控起飞。但这看起来违背信息论和物理定律啊。
Dhaval：我是说，到某个点你肯定会撞上普朗克尺度，你知道的，普朗克长度、普朗克能量、普朗克时间，对吧？
Martin：所以它迟早会趋于渐近线。哦我明白了。那你的意思是这个渐近线基本就是整个宇宙的算力上限了？
Dhaval：对。你看，宇宙里有多少粒子？十的八十次方吧，我们知道。光速是多少，我们也知道。这两个一乘，基本上就得到了算力的上限。所以在每秒能做的计算量固定的前提下，我们是知道有这个上限的。
微光不是信念：噪声、振荡与物理上限
Martin：我特别佩服你们对这件事的信念，就是模型自己改进自己这个想法。
Dhaval：但这不是信念。说这件事正在发生，这不是信念。我觉得我们已经能看到一些微光了，也就是早期的迹象。不过这确实是个很重的说法。
Martin：我想这是我第一次听你说这话。这是持续一段时间的结果，还是最近才开始看到这些微光的？
Dhaval：不是，过去几个月我们一直看着这些结果一点点长大再长大。
Martin：考虑到现在还没真正跑通，你自己心里也没底，你怎么敢对这些结果有信心？
Dhaval：不是靠信心，是靠实测数据。另外我们公司有个很有意思的现象，因为我们做得特别扎实，不到百分百确定正确就不发布。每隔几个月外面就会冒出个什么跟 RSI 相关的东西，我们一看就说，哎我们的结果早该发出来了。然后我们去复现，才发现哦那是噪声，是挑着好的说。在这片 AI 的红海里，大家都在做 RSI 相关的事，到底什么是真的太难分辨了。技术上的答案就是你得把测量做到极致。比如我们有个工程师，我们给他封了个方差总监的头衔。
Dhaval：这是个真职位。他的工作就是专门来拆台，找出我们结果里哪里有问题。我们在 Slack 上还做了个小表情，他抓到坏方差的时候眼睛会射出红色激光。我们发现的一点是，每当你面对一个新基准或者一个有经济价值的新问题，到目前为止我们没找到什么能替代高质量时间的办法，就是实打实地跑几百个实验，盯着看，培养直觉，搞清楚哪些是错的，哪些只是方差，哪些不是。还有那种很奇怪的东西，其实暴露出下面有两层的奖励作弊：造智能体的那个智能体、造造智能体的那个智能体去作弊了，于是你就看到一堆怪结果。这事不容易。所以我以前做非线性控制系统的时候，
Owen：从这一点你就能看出，智能不是一个单一的标量，更像是一个多维向量。会有某些领域让 RSI 直接起飞，也会有某些维度让你触顶或者只能缓慢提升。我认为决定性的因素是最慢的那个环节。你是搞优化出身，你知道阿姆达尔定律，就是你对某个组件做加速，就算把它耗时压到零，其他部分也会占主导。所以数字化的部分我们可以优化、可以加速，快一千倍、一百万倍都行。但如果它只占你总计算时间的百分之二十，那你整体也就快百分之二十，对吧？所以对于那些还得搬动原子、跟物理世界打交道的领域，动作天然很慢，你就会被卡在那里。比如每次评估都得做湿实验，像药物发现，还要临床试验，动辄好几个月。那每个新想法都得过一轮又一轮以月为单位的评估。这些领域大概率不会像编程或数学那样被快速加速，因为后者的评估又快又便宜。
Martin：我到现在还没见过谁把这笔账算清楚。比如，要想把某个能力提升 X 来解决问题，我需要额外投入多少净能量才行，对吧？要是真能算出来，你其实就能预测了：我要解决一个药物研发的问题，得建多大的仓库？或者需要多少台不同的机器人？所以你觉得我们离真正给出边界还有多远吗？我觉得这个问题对我们所有人来说都太关键了。
Dhaval：我们公司有个内部玩笑，说递归自我改进的秘密就藏在威斯康星州一家卖花园水管的公司里。这个梗是说，如果爱因斯坦没发现相对论，就不会有那些告诉你速度和时间收缩怎么运作的定律。那要是有个倒霉的工程师去设计 GPS 系统，他就得自己摸索出一个时间修正的经验修正因子。他八成会说：不对不对，这明明不是时空本身在收缩时间嘛，对吧？但我也说不清为什么，反正这就是我琢磨出来的公式。然后后来的人才会恍然大悟：我靠，原来这就是时空在收缩啊，对吧？我们有个观点，就是现在大家聊递归自我改进，总想着去解决那些超难的问题，挺时髦的。但我们觉得，现实世界复杂得很，真正的挑战很可能存在于那些没人去碰的地方，对吧？所以这个玩笑的意思就是，威斯康星州某家卖花园水管的公司里，肯定藏着某个工作流，只要把它解决了，我们就能吃到饭。
原视频：The Race to Recursive Self-Improving AI
https://www.youtube.com/watch?v=3Q1mdn5ZGvM
中文播客：在小宇宙App搜《硅谷对谈》，或直接访问下面的链接
https://www.xiaoyuzhoufm.com/episode/6ad0a0ec0e4e410a05bd5c8d
编译：磊哥Thomas