左：Alan，中：Ravid，右：Yuandong
强化学习曾经冷落了很长时间，只能解决玩具问题；Coconut 那类潜空间推理最终也没有成为前沿模型训练思维的方式。一个从围棋做到大模型的研究者，会怎么看这条路上到底什么留下来了、什么没有？
田渊栋在 Meta 的最后一篇论文是跟 GPT-5 合作完成的，研究神经网络里的顿悟行为。他说这次合作让他效率提升了六到十倍，做完这个项目他就意识到：也许五年之内我的工作就会被取代。于是他说，与其被动地丢掉工作，不如干脆往这个方向开一家公司。
田渊栋 2013 年获 CMU 机器人研究所博士，2013 到 2014 年在 Google 自动驾驶团队，之后加入 Meta FAIR 做到研究科学家总监，代表作包括 2015 年的围棋程序 DarkForest 和 2018 年单卡复现 AlphaZero 的 ELF OpenGo，并在 Meta GenAI 期间共同负责 Llama 4 推理。这场对话从他 2008 年赴美读博讲到围棋强化学习、无梯度优化、Coconut 与潜空间推理、递归自我改进的现状、新架构为什么难放大，以及开源和招人。他的主要观点包括：
在真实问题上做强化学习，起作用的不是算法，而是动作空间和状态空间的设计。 他解释为什么架构搜索里算法不是关键：如果 AI 一上来就搜第一层卷积核大小，各条分支性能都差不多，搜索规模指数爆炸，用什么算法都没用；只有重排动作空间、让深度这类关键区别显现出来，搜索才会往前推进。他做的是潜空间架构搜索。
无梯度方法的优势是梯度方法从来不会做的那件事：探索。 他说零阶方法在不带高层信息时，等于在梯度没什么信息量的地方做探索。函数极不平滑时，会有一些有意思的局部最优凭空冒出来，梯度反而把人带向错的地方、困在局部极小值里；而无梯度方法通常配上探索的手段，也就是开放式搜索，既有利用也有探索。
他更愿意把赌注押在内部的隐藏表征上。 Coconut 那篇是他实习生做的，起因是他自己的直觉：他思考时从不用语言，而是先有想法再翻译成语言。他认为人的内部表征差异很大，但隐藏表征很可能囊括所有模态和形式；连续思维链最后没走通，一是缺数据，语言里的思维数据量比潜空间大太多，二是潜空间表征很可能是个人化的，学习会非常难。
可能存在一种非常好的表征，但当前的梯度下降学不到。 他说每个正则项都会给出不同的表征，可能没有一个是对的，而这些问题根本没法在明确定义的指标上做爬山。表征世界的方式太多，也许某种方式占用更少比特、从压缩角度看更好，但梯度下降能不能学到它、这套学习范式的边界在哪，现在完全不知道。这就是他做可解释性的真正动机。
现在是相变时刻，不行动以后可能就无关紧要了。 他说自己在 Meta 的最后一篇论文跟 GPT-5 合作研究顿悟行为，他给 GPT-5 布置证明定理、头脑风暴的作业，效率提升了六到十倍，而且这个估计还是保守的，因为当时代码还是他自己写的。做完这个项目他意识到也许五年内工作会被取代，于是选择去当联合创始人。
让模型有更多上下文只是临时补丁，长远需要比 Transformer 强得多的架构。 他说现在的模型用互联网上的海量数据训练，里面包含大量重复性工作，所以它在重复性工作上做得非常好；但要让模型做真正跳出框框的创造性工作，它就没有足够的数据了。这时候需要的是学习效率高得多的新架构，只靠很少的数据就能飞快捕捉新信号。
要让小规模实验有效，得先知道网络内部在发生什么。 他解释为什么新架构总是小规模有效、大规模失效：小规模数据不够，架构里加的归纳偏置很有用；数据一多，最好的做法是让模型自己搞清楚。就像 Vision Transformer，用 ImageNet 训练可能还不如卷积网络，有了三亿、五亿张图才明显胜出。所以需要一部分可解释性工作，确认洞见能放大。
最糟糕的情况是一小撮精英掌控最强的模型，所以成果要开源。 他说公司之前那篇博客把内核和训练 nanoGPT 竞速的全部配方都开源了，基本上所有系统都会开源，理由是别人能检查、能在此基础上继续做。他判断开源模型会越来越强，Kimi K2 就很强，只是思考链条比闭源模型稍微长一点，但还是能用；只要模型过了那条能用的线，它就能用、你就愿意用，到那一步它就会被商品化。
从围棋到强化学习：那条被冷落的路
Yuandong：谢谢这个问题。我2008年来到美国，在机器人研究所读博士。那时候我特别痴迷机器学习。当时大家并不觉得机器学习是条靠谱的路，很多人反对这个概念，说机器学习效果不行，因为它会过拟合，而且大家根本搞不懂里面在发生什么。
不过我在读博期间还是做了一些优化和机器学习的工作，主要是计算机视觉里那些复杂的非线性、非凸优化问题，也证明了一些有意思的定理，说明就算问题是非凸的，只要加更多数据，某种程度上还是能证明它达到最优。所以这是数据驱动方法和优化的一种有意思的结合，到现在我还挺为这类工作自豪的。
等到2012、2013年快毕业的时候，我看到了一个大新闻，就是2012年的AlexNet。我还给Alex发邮件要了他的代码，当时挂在网上，我拿来玩了玩。当然那时候我完全不知道什么叫GPU编程。然后我就觉得，这东西很不错，它把数据分层地送进神经网络处理，能得到有意思的中间表征，效果也很好。所以当时我想，这可能就是我要追的方向，只是形式不太一样。因为读博时我论文的一个方向，就是用分层的方式去优化计算机视觉里的非凸优化问题。具体说，我是想恢复图像被水造成的畸变，这类问题维度很高。我尝试用分层的方法来做，理论上证明了这样能做得更好，实验上效果也很好。这就串起来了，也是我最初对深度学习的信念来源。
不过那时候还发生了很多有意思的事，因为大家并不相信这条路，都说这就是过拟合。大家跑到办公室里，在CMU的Smith Hall里激烈争论，讨论AlexNet的结果到底是胡说八道还是真正的突破。当时大部分人觉得就是胡说八道，因为它说不通。但我当时在想，也许我该转到深度学习了。所以我面试了几个地方，也拿到了一些offer，比如Allen实验室，他们想做深度学习，但最后我去了Google的自动驾驶团队。一是因为那地方名声很响，二是我有一群朋友在那儿，是他们内推我的，某种程度上我不想断了这层关系。所以就去了，而且我那时也想做深度学习。可惜在那一年零三个月里，我没机会做深度学习，因为那更像一家创业公司，你得真正盯着自动驾驶的活。那种情况下更适合用很成熟的方法，科学探索可能不是刚加入时该干的事。所以我决定跳船，去了FAIR。
Yuandong：那是我当时做过的最好的选择之一。我到了FAIR之后开始做研究，特别有意思，也很棒。我记得是从计算机围棋的深度学习项目开始的。某种程度上这还挺成功的，因为在AlphaGo之前我们就做出了一些很不错的结果。2015年，我们做了第一个机器人，叫黑暗森林，用卷积神经网络，能在网上打败顶尖的业余棋手。这挺有意思的。当然AlphaGo 2016年春天出来了，打败了职业棋手，那当然非常非常强。那时候我的团队只有两个人，我自己加一个实习生。
Ravid：但你看到AlphaGo的时候，会不会想，我怎么没想到这个？还是说，哎，人家就是比我强太多？
Yuandong：首先，AlphaGo肯定有很多创新。他们有而我们没有的东西之一就是价值网络，我们当时只有策略网络。另外他们用了蒙特卡洛树搜索，这让棋力强了很多，这是优势之一。第二个差别是，我当时基本没有强化学习的背景，我基本上是一边做一边学，这段经历特别有意思。
Ravid：等于你自己在强化学习。
Yuandong：对对对，所以是很有意思的一段经历。也正因为这样，后来我基本上就转到强化学习这边了，之后的工作都是做强化学习。
Ravid：那个时候，我想再在这个话题上多待一分钟。当时这件事让你意外吗？因为强化学习已经冷落了很长时间，感觉是个很酷的想法，但就是不太行，只能解决一些玩具问题。所以你意外吗？
Yuandong：我会说，我们选这个方向，是因为我感觉到卷积网络、神经网络能够捕捉棋盘上的很多模式，而这些模式正是人类下棋时依赖的东西。所以某种程度上，这并不那么让人意外。真正让人意外的是它能打败职业棋手，这才是意外的部分。如果你看它的方法，其实没那么疯狂，更像是卷积网络成功之后的一个自然结果。
Alan：我很好奇，那个年代有没有哪些方法，你觉得今天被忽略了？
Yuandong：有很多。那时候大家在强化学习上做了很多东西，其中很多方法在今天的大模型时代可能还没被用起来。比如说，有人考虑从未来拿更密集的奖励，这叫分布强化学习，不是只用一个数字，而是用所有奖励的一个分布来调模型。现在的强化学习可能也在用，但形式不一样，比如说他们用的是语言，而不是回传标量奖励。还有很多别的想法，有人用Q-learning，有人用不同的形式化方式。但现在大多数时候我们用的主要还是策略梯度，差别很大。
说回2016年，然后到2018年，我们实际上复现了AlphaZero。你们可能知道AlphaZero，就是没有人类棋谱，从一开始就自己跟自己对弈。我们复现了它，某种程度上还做得更高效一些，做出了一个叫OpenGo的机器人。这个机器人轻松打败了职业棋手。我们还跟韩国棋院办了一场正式比赛，四名棋手我们每个人都是五比零赢，也就是说他们一盘都没赢。而且我们只用了单张GPU，一张V100，就跑完了这个对局。我想那大概是第一次有人用单张GPU打败职业棋手。
Ravid：这对你来说意外吗？你会不会觉得，去了这个比赛，我们肯定能把所有人赢下来，我们就是强太多？还是你心里也有点没底？
Yuandong：正式比赛开始之前，我们请了一些朋友来评估它到底有多强，他们也是职业棋手或者半职业棋手。这盘棋其实特别有意思。开局还好，到后面就没人看得懂了。他们会说，这看起来很强，非常强。但我也不知道它到底是不是真的强，因为我自己也看不太明白这盘棋。所以当时我说，行，那就赌一把，直接跟韩国棋院真正的职业棋手下一场，我们在那边有些关系。结果证明这个机器人真的非常非常强。
无梯度优化：被忽略的另一条技术线
Alan：我很好奇，你怎么看零阶无梯度优化方法？我一直觉得这也是一类某种程度上被忽略的技术。历史上是这样，甚至到今天也是，尤其是现在。
Yuandong：对，这其实跟我在FAIR时的一个研究方向有关。在做完棋类强化学习那些方向之后，我们开始想怎么让强化学习更通用、能解决更实际的问题。这就涉及我们可能也要探索一下无梯度的方法。
因为强化学习你可以理解成一种基于梯度的方法，但它的信号非常稀疏，想高效地拿到信号很难。所以我们就在想，它是不是有局限，是不是该往前走一步。零阶也就是无梯度优化这块，我觉得它确实更灵活。而且现在模型这么大，它可能更有潜力，因为大模型现在对系统、对要优化的目标函数，有了更好的高层理解。而这种高层理解，其实比局部的梯度信息信息量更大。
Ravid：那无梯度这块，实际到底发生了什么？
Yuandong：这得看你说的是哪种无梯度方法。如果只说零阶，比如进化算法这种零阶方法，在没有高层信息的情况下，其实你做的就是在梯度没什么信息量的地方去探索。当函数特别特别不平滑的时候，会有些有意思的局部最优凭空冒出来，你顺着梯度根本走不到那儿。这种时候梯度信息可能是误导性的，它会把你带向错的地方，把你困在局部极小值里。
但无梯度方法通常会配上探索的手段，就是我们说的开放式搜索。既有利用，也有探索。利用是跟着已有的好信息走，探索是说，行吧，局部搜索可能真不怎么样，那我们换个方向试试。这个恰恰是梯度方法从来不会做的，这就是它巨大的优势。
Alan：对对。我早期学神经网络是怎么工作的，很大一部分就是自己从零把网络写出来，然后意识到我根本不可能从零手写自动微分、手写通用的反向传播。所以我就想，那就看看只做前向的方法吧。然后我就发现了你说的这些：如果你不去假设奖励长什么样，你就能得到很好的探索。我其实很在意创造力这件事。所以我想问的是，你觉得这些无梯度的方法，是不是我们得到更多样化结果的原因？另外，我知道扩散模型内部是有梯度的，但我认为看它怎么被优化，比如去噪器，据我了解那些地方有不少无梯度的做法。我的说法是，扩散模型和扩散语言模型，我听很多人说它们更多样。那如果这个说法成立，你觉得这和无梯度方法更擅长多样性之间，是不是有某种联系？
Yuandong：我觉得对扩散类的做法，首先我不是这方面的专家。其次我现在的理解是，扩散方法好，是因为它用了很多不同的掩码去训练模型。你可以把自回归看成一种特例，你只是用一种特定的方式使用注意力掩码，让它变成因果的，然后学到一些模式。而扩散方法里掩码通常是随机生成的，生成一个掩码，然后去填空。这当然会带来一个优势，就是你被迫去预测中间的东西，哪怕这个信息在自回归那边已经给出来了。
我觉得正因为这种打乱，你能学到数据里更多隐藏的关联，这可能是它的优势。但扩散模型本身还是用梯度下降训练的，所以还是不一样。
Ravid：好，所以你花了不少时间理解和开发更强的围棋程序。那是2018年，差不多那个时候吧？2018年，那时候语言模型基本上没什么用，某种意义上说。我知道。但当时的普遍认知是，深度学习在视觉上超强，文本和语言还在等。那接下来呢？现在你说围棋这个游戏挺有意思，我们搞出了一些强化学习方法来打赢它。然后呢？你有没有试着去做别的领域，把它泛化到不同的强化学习问题上？
Yuandong：那之后肯定有两个方向。游戏上的强化学习某种程度上算解决了，因为你总能设定一个奖励，让它自己跑，它就能给你点东西，这挺好。这是大家必须考虑的。我觉得在18、19年前后，当然有两条路。
一条是，我们做搜索优化，强化学习是其中一部分，去解决真正难啃的现实世界问题。现实问题很难搞，我们在这上面花了很多时间。因为我们发现，在真实问题上做强化学习，真正起作用的不是算法。有意思。起作用的是动作空间和状态空间的设计，这是我们在研究的东西。所以你看我的简历、我的Google Scholar，会看到一堆新的架构搜索论文。你还是要去搜这个大空间，但这个搜索未必走强化学习，可能是别的路子，比如你刚说的无梯度方法。
但真正的问题是，我们怎么自动学会设计这个空间和动作空间的方式，让搜索变得高效得多？这个方向上我们有一批工作。核心想法是，我们能不能自动找到合适的动作空间，让整个路径、整个目标函数的搜索有效得多？举个例子。比如架构搜索，人会说，我们都知道深度很重要，浅层网络跟深层网络比就是不行。这是我们想加到搜索里的先验。但AI不知道。如果AI一上来就搜这些小细节，那永远搜不出有意思的东西。假设AI一开始去搜卷积网络里第一层的卷积核大小，那其实无所谓，除非你正好撞上一种特殊的数，性能都差不多。这种情况下你所有的搜索分支都差不多，你在上面算个更好的目标函数，它们讲的都是同一个故事。那你就得往每个分支里深挖，搜索规模就指数爆炸了。这时候用什么算法都无所谓，强化学习也好，无梯度也好，都给不了你有用的东西，因为你面对的是指数级的搜索空间。
但如果你有办法重排动作空间，神奇地发现深度是关键，那深层和浅层之间立刻就能看到非常鲜明的对比。你不需要走遍所有路径，抽几个样本就明显看出差别很大，然后你就往深的那条路走，搜索就往前推进了。这个想法可以落地，也可以写成数学形式。我们做的东西叫潜空间架构搜索。核心就是找到那个能把你带到最有区分度的搜索子空间的动作空间。这个凭直觉就能做。一旦你找到这样的动作空间，就能保证搜索有好的进展。
Ravid：你觉得那段时间，我们几周前跟Frank Hutter聊过，他很迷AutoML，就是自动找超参数这件事。那你怎么看？至少在那时候，你觉得做搜索时真正重要的组成部分是什么？或者说，哪些部分对结果影响最大？
Yuandong：那时候重要的部分仍然是人工设计的动作空间。你看Google的AutoML工作，通常他们说的是，我要设计这些很漂亮的cell，一个cell里有六到七种不同的动作序列，然后你把它们堆叠起来，就得到一个神经网络。堆叠方式是固定的，关键是设计这种cell，让它有可扩展的潜力。你可能会问，为什么不是八种九种？答案当然是，那会指数级地贵，你做不起。所以这些允许的小动作，在我们让它真正跑起来之前，基本上都要靠大量人工设计。通常就是这么回事。
潜空间里的思考：Coconut 与表征之争
Alan：那说到动作空间，你觉得要做出好的机器人、好的物理 AI 系统，路该怎么走？我特别想提一句，你其实有一篇论文讲的是连续空间里的推理。我在想它的准确名字，是你的一篇，对，就是 Coconut 那篇。我还想说，Yann LeCun 和其他人都在讲 JEPA，讲潜空间推理，不是 token 空间那一套。所以我特别好奇你怎么看这些。
Yuandong：Coconut 这篇其实是我实习生做的，他来 Meta，我们一起头脑风暴了一些随机的想法。我其中一个观点是，我自己思考的时候从来不用语言。我能很清楚地感觉到，我思考用的是大脑的另一部分，然后我得把想法翻译成语言，才能顺畅地跟别人交流。我就是这么运作的。所以这基本是建立在我自己的直觉上。
然后就冒出了这个想法：干脆把 token 完全去掉，直接用潜空间来做思考。因为潜空间显然是个很有意思的表征，值得我们采用。有了这个火花之后，我其实先做了一些理论上的推演，这些推演给了我不错的直觉：也许潜空间的表征是一种叠加，把多个想法叠加在一起，用这种叠加来做思考，你可能会获得指数级的优势，比如你要遍历某个图的时候。大概是这样的思路。当然，这未必是指数级，但确实能给你带来一些优势。然后实习生 Shibo 来了，他负责把它实现出来，我们也看到了一些初步有生命力的迹象。
Alan：你刚才提到，你大部分思考并不会语言化，我也说一句，我说话之前也不会把一切都在心里默念一遍，这可能正是我话说太多、想得太少的原因之一。但我认为人类的差异非常大。我认识很多人，他们几乎把所有事都用语言过一遍，这叫内部独白；也有人只是偶尔这样。图像也一样，有些人脑内图像特别清晰，能在脑子里旋转图形，有些人完全做不到，而其中一些做不到的人反而是很棒的艺术家。我很好奇这种存在方式上的多样性，你怎么看它跟这件事的关系？是不是说，既然人类都这么多元，那 AI 通向同一个结果也应该有很多不同的路径？
Yuandong：我觉得完全是这样。学习可能有一些共同的底层机制，但不同的人表征想法的方式不同，在内部呈现出来的模态也不一样。对我来说，我思考的时候有时候是图像式的、视觉式的，有时候是一种很奇怪的感觉，然后你突然就有了一个想法。而想法一旦成形，外化出来基本就是语言。
但如果是这样，那我认为最好的赌注还是内部的隐藏表征，因为它很可能囊括了所有可能的模态、所有可能的形式。这是我愿意下注的地方。
Ravid：但最后它没走通，对吧？今天那些前沿模型并不是用连续的思维链训练的。你觉得是为什么？
Yuandong：首先是缺数据。语言里有大量的思考、思维模式，语言是交流的方式，也是把人的想法以书面形式存下来的方式。正因为这样，语言的数据量比潜空间大了太多太多。所以你总得把这么多数据用起来，这就是我们在做的。其次，潜空间的表征很可能是个人化的，每个人多多少少都用自己的那套表征。就像 Alan 说的，人在这方面的差异很大。那样的话学习会非常难，因为人类的学习效率比计算机、比我们的大模型高太多太多了，这点我必须说。如果大模型学新概念的效率没那么高，我们就只能用语言当替身，让模型去学。
Ravid：那你觉得这跟 JEPA 遇到的问题是一回事吗？就是到最后，连续空间很难做正则化。所有自监督方法的主要问题都是你需要一个好的正则项，做法有很多种，但哪种是对的并不清楚。而且这类问题本身定义得很模糊，你没法在一个明确定义的指标上做爬山。你觉得这里是不是同一个问题？
Yuandong：某种程度上是的。我觉得有两点。第一，梯度学习可能效率不够高，所以需要大量数据。数据不够，就是正则不足，你就得加正则项。但真正的问题是用哪些正则项。每个正则项都会给你不同的表征，可能它们没有一个是对的，这就造成了麻烦。第二，我们根本不理解什么叫表征，也不理解表征怎么随时间形成，这才是问题所在。这也正是无梯度的方法可能非常有用的原因：在元层面，我们被卡在梯度下降的那类解里了。也许学习表征应该有别的路径。
Ravid：你觉得存在一个最优表征吗？就是那种柏拉图式表征的范式？
Yuandong：这现在还是个没解决的问题。表征世界的方式有太多太多，我觉得可能存在某种方式比其他方式更好，比如占用更少的比特，也就是从压缩的角度看，某种方式生成东西可能好得多。真正的问题是，梯度下降、现在这套神经网络学习，能不能学到它？这个学习范式的极限在哪里？可能存在一种非常好的表征，但当前的梯度下降学不到。边界在哪，我们现在并不知道。现在我们只是说，看起来能用，那就拿来用。但从科学上讲，我们完全不知道边界在哪，也不知道怎么碰到那条边界。这就是我做可解释性、去理解神经网络的真正动机。
Ravid：你觉得这能做成吗？你觉得我们有一天真的会有这种理解吗？
Yuandong：我觉得总有一天我们该有信心，会有这种理解。这就像炼金术和化学的区别，这个故事一直都在。当然，因为现在的模型非常强，大家都在追模型的效果，我们可能没有足够的时间、足够多的人投入到这个方向上。但长期看，这对人类、也许对 AI 来说，都是非常难又非常重要的问题。
Ravid：我想问你一个更个人的问题。你在深度学习和视觉、强化学习上做了很久，然后到了 2022、2023 年前后，突然之间，我们所有人都明白了，语言和文本模型会长期存在，就是下一件大事。你是怎么处理这个转变的？怎么调整你原来做的东西，和你真正在意的那些问题？
Yuandong：对，我觉得首先，我从 2018、2019 年左右就开始做可解释性了，当时我在试着分析深度神经网络里的梯度动力学。所以某种意义上，这是一条一直在稳定推进的主线，而且这条线本身是相当一致的。所以到了大模型上，你照样可以做同样的事。模型换了，但你做分析的方式是类似的。所以从这个角度说，它对我并不构成什么颠覆，基本上你还是在做你真正想做的事。
但另一方面，所有偏经验的部分就麻烦了，因为现在作为研究者，我们得彻底改变思考方式。以前研究者通常是先有自己的想法，然后用实验去验证这些想法，最后得出一些结论。这个过程有点像一两百年前人们写论文做研究、自己动手做实验。但有了大模型之后，因为模型越来越强，它本身就能给你一些思路。所以研究者可能被迫要在更元一点的层面去想问题，而不是把时间花在提出一个个具体假设上。这是大家要面对的第一个挑战。
第二个挑战，我觉得是那时候我们得强调，工程的卓越性和研究能力同样重要。因为大模型领域很多好的工作，其实是半研究半工程。如果你工程做不好，结果大概率就不行，别人也就不会把它当回事。所以这其实是当前研究面临的另一个挑战。2022 年到大概一年前，情况就是这样。但现在因为大家都在用 AI coding agent，情况有点不一样了。有了 coding agent 的帮助，那些动手能力强、经验足的研究者，可能想出好点子之后，很快就能让 agent 实现出来，然后迅速找到关键问题并解决掉。于是这些研究者突然就有了一种超能力，可以去探索非常深的东西。所以这里面是有来回的。
递归自我改进：现在到了什么阶段
Ravid：好，那我觉得现在正好可以聊聊递归自我改进了。就像我们看到的那些超级用户、超级工程师，我们会拥有能自我改进的超级 agent。
Yuandong：对，理想情况下这就是目标，对吧？
Ravid：这件事会发生吗？
Yuandong：会，我觉得会。先说下我为什么觉得现在是开公司的时机。我在 Meta 的最后一篇论文，是跟 GPT-5 合作完成的。那篇论文研究的是神经网络里的顿悟行为，也就是涌现泛化。网络一开始基本是在死记硬背，然后变、变、变，突然就变成泛化了。这种顿悟行为非常迷人、非常有意思。
那篇论文里我跟 GPT-5 合作，我问它很多问题，还给它布置作业，我说请你证明这个定理，请你确认这个定理是对的，请你帮我一起头脑风暴一些想法和思路。我发现这比我以前做类似问题高效得多，它大概给我带来了六倍到十倍的效率提升。
Ravid：六倍到十倍？
Yuandong：而且这个估计还是保守的，因为当时代码还是我自己写的。但现在的代码编写和实现，当然也可以交给一个强的 AI agent，这会让速度快得多。做完那个项目，拿到一些挺有意思的结果之后，我突然意识到，哦，好吧，也许五年之内我的工作就会被取代。很明显我快要失业了。那与其被动地丢掉工作，不如干脆往这个方向开一家公司。所以你就看到这件事发生了。
通常研究者不太愿意去小公司当联合创始人，因为有太多事，太多工程，除了研究之外还得操心很多东西。但我觉得现在是相变时刻，如果我不做任何行动，以后可能就无关紧要了。
Alan：你知道吗，我有时候会在镜头外跟 Ravid 吵得很凶，尤其是我状态不太好的时候，我也会说类似的话，主要是惊叹 coding agent 进步得有多快，同时也对自己的前景非常悲观。到 2040 年代，我总觉得 AI 最后得找我谈话，跟我说，其实要是所有 prompt 都我来写会更好。我特别担心这件事。最糟的是，我觉得你的应对方式，也就是自己去开公司，才是对的。而我的应对方式是去学做手工。偏偏我还特别不擅长做手工。所以等奇点来临的时候，我完蛋了。
Ravid：我就说一点，这你到处都能看到，对吧？比如软件工程，对软件工程师的需求一直在涨，到处都能看到。现在也没有更多的好产品了，对吧？或者更好的应用之类的。也许某天模型会变得更强，强到不再需要我们。但至少现在，我们还没看到，还没看到，而且现在也不可能端到端地做出好产品。所以你觉得，先说，你同意吗？如果同意，你觉得这情况会变吗？
Yuandong：对，首先我想说，现在还处在没有完全自动化的阶段。我不认为现在的模型能在没有任何人工干预的情况下给出很好的结果，我觉得还没到那一步。哪怕是我在 Meta 那篇论文，我也是给出了高层的思路和想法让模型去 follow，而不是让模型自己想点子。因为那部分太难了。如果你自己没想法，它给你的就是那些非常平庸的想法，基本上人人都知道，也不是个有意思的方向。所以我认为到今天，模型还是在做这些事。
我们还是需要人来发起，需要人来想清楚哪些事值得做，这是我们必须做的。同时我们也需要人来判断 AI 给出的解法到底靠不靠谱。这些其实都是我们面临的问题。希望将来 agent，我是说模型，能实现更多自动化，人就能越来越少地花时间在重复劳动上，把更多时间用在更有创造性的方向上。人也能有更宏大的目标。人会说，哦，也许我该去土星看看，然后我把大量执行和工程的工作交给我的工程师、我的 agent，让它们去想怎么造火箭。
Ravid：但你怎么看现在有很多论文和在做的事，都是在研究自我改进、递归自我改进？比如给一个 agent 两个小时加两张 GPU，让它去做 post-training，或者就让它去提升某个指标，比如 nanoGPT 之类的。至少据我所知，这些工作大多表明，agent 当然什么都能做，你想让它做的优化之类的它都能做，但它们提出的想法空间非常窄。最后它们在点子上效率很低，也不太会去泛化一个问题，而是对着指标过拟合。现在有很多 Kaggle 比赛，大家试着用 agent 写代码来提分，其实就是在过拟合训练和验证指标。你怎么看？你觉得这是我们不知道怎么衡量，还是一个暂时性的问题，很快就能解决？
Yuandong：对，我觉得某种程度上是暂时性的，因为你总有办法让 agent、让模型去关注更高层的问题，这是可以做到的。我觉得现在模型做不好，是因为你让它做的都是很细的活，它没有上下文。如果模型有更多上下文，它可能会给出一些比单纯调参更有意思的想法，而不是只去调各种超参数、模型配置这些。
Ravid：那让模型有更多上下文呢？
Yuandong：这大概只能算个临时补丁，能给你一些提升。但往长远看，我们可能真的需要比现在这套基础 Transformer 架构强得多的东西。
眼下的关键区别在于，现在的模型是用海量数据训出来的，而这些数据都来自互联网，里面包含大量重复性的工作。对于重复性工作，模型做得非常好，因为它有足够的数据知道发生了什么，也有足够的数据想出新的点子。但往后，如果你想让模型做非常有创造性、跳出框框的事，那它可能就没有足够的数据了。这时候你就得想想，什么样的新架构能带来高得多的学习效率，只靠很少的数据就能飞快捕捉到新的信号。所以这基本是两个阶段。从我刚才说的那种日常的、重复性的工作，再往上走一个台阶，我觉得需要一次大的跃迁。
Ravid：没错，需要一次大的跃迁。
Yuandong：不过现在的范式还能撑很久，因为总有各种补丁可以把模型做得更强。这是我的感觉。
Alan：要让模型变得更好，你觉得什么最重要？预训练、后训练，甚至推理时的优化，这些未来可能提升模型的路子里，哪个最关键？
Ravid：也可能是完全不同的架构，对吧？完全不同的架构、优化器之类的。
Yuandong：对，正是这样。完全不同的架构、优化器，还有数据配比等等。这些都很有意思，都可以成为自我改进的对象。这正是我们现在在做的事。
Transformer 之外：新架构为什么难放大
Ravid：那你怎么看这件事？到目前为止，确实有很多公司、很多人、很多创业公司在尝试提出不同的架构，Transformer 之外的架构。其中一些在小规模、小问题上确实效果不错，但从来没真正放大到真正的大模型上。你觉得这是为什么？这事有解吗？
Yuandong：这是个好问题。首先，为什么小规模上能看到很多不错的提升，大规模上却看不到？因为小规模通常是数据不够，所以你必须在架构里额外加一些归纳偏置，而这种偏置在小规模下效果很好，正因为你没那么多数据。但到了大规模，数据量很大，最好的做法就是让模型自己去搞清楚发生了什么。
一个很有意思的例子就是 Vision Transformer。当年读那篇论文会发现，如果你用 ImageNet 这种级别的数据训练，Vision Transformer 可能还不如卷积网络。但当你有了多得多的数据，比如三亿、五亿张图，Transformer 最终就明显强过卷积网络了。因为卷积网络带着那套归纳偏置。
Ravid：你确定 Tian 会同意你这个说法吗？
Yuandong：我不确定。不过我觉得现在的直觉大概是这样的：Transformer 可以关注局部，也可以关注非局部的东西。但卷积网络必须先盯着局部，再一点点往上搭。所以这两者非常不一样。
Ravid：但我的问题是，你的策略是什么？你是觉得我们应该从现在开始，像你说的，我有了关于不同范式的新想法，那我先做小规模实验，再一步步放大？还是说值得一上来就搞个一万亿参数的模型，直接在它上面迭代？
Yuandong：当然要先从小规模试起，再逐渐放大。但我觉得真正重要的是，这是我个人的看法，我们需要在一定程度上知道网络内部在发生什么。也就是说要有一部分可解释性的工作，让我们知道它能在大规模上泛化得好——这可能是我们需要额外考虑的一个环节。如果我们知道这里面有些有意思的洞见能放大成很多能力，那我们才有信心这条路能走通。
否则，如果只是盲目跟着缩放定律走，那结果就是，你永远无法证明小规模上有效的东西能带来很多能力。如果你做不到这点，没有这种信心，那当然只有算力最多的公司会赢，那是唯一的解法。但如果你真的在小规模实验里看到了某些深层的东西，那就有可能把这些东西用到更大的规模上。
Ravid：那如果你看这个循环，出想法、写代码、跑实验、分析结果，你觉得哪一部分最难自动化？
Yuandong：我会说，想法这一环可能非常重要，也非常难。如果你问模型要想法，它给你的都是些很平庸的点子。比如把两个东西凑到一起，看看行不行，做做消融实验，这些其实都不是特别有意思的想法。而且我猜别人也都会想到同样的事。所以真正的问题是，怎么才能想出对的想法？那个想法要能指向正确的洞见，这非常关键。
当然，你也可以做迁移。如果你从别的领域拿到一个好想法，也许可以迁移到你正在做的领域，那种情况下可能非常有效。我觉得最近数学上的突破，数学 AI 这块，很多想法就是从某个领域迁移到另一个领域，然后发现它真的管用。
Ravid：比如说，你之前试过跑 nanoGPT 竞速，对吧？
Alan：对，对。
Ravid：那你觉得这类比赛，包括你现在把纪录又缩短了两秒，算是真正的发现吗？还是说只是在一些已知技巧上做了很好的搜索，其实本来就不难找到？
Yuandong：我觉得某种意义上，它是有趣的发现和已有方法的结合。比如在架构里加入 bigram 和 unigram，这本身就有点意思。当然有人会说，这不是 DeepSeek 那边来的吗，或者来自别的地方，也许像 Gemma 3n 的做法。其实我在 Meta 的时候也有一篇叫 STEM 的论文，思路非常类似。所以它有点像把这些东西迁移到这场比赛里，确实把成绩推上去了。
所以我会说，它基本是迁移已有想法，再加上一些创造力把它们组合起来，让它们能跑得好。比如不同的层可以用不同的 embedding 表，这些组合方式各不相同。
Alan：那 AI 的未来是什么？我们聊了几个可能的候选方向，比如世界模型，也聊到了递归自我改进，聊到了具身智能。未来还有什么我们没提到的吗？继续扩大规模？我觉得扩大规模大概……
Yuandong：现在这完全是常识了，对吧？大家都说，规模，规模，还是规模。但正因为它是常识，我们这些人的理解跟那个泛泛的常识是不一样的。作为一项新技术，还得去探索别的路径。
递归自我改进之所以重要，是因为模型现在已经到了这个阶段，它在一定程度上能理解自己内部在发生什么。哪怕这种理解还很浅，但它毕竟是理解，我们就能利用它来做自我改进，所以时间点到了。再加上它已经有很实际的应用场景，比如我们在很多场合展示过的内核优化。这是一方面。
另外我一直说，未来还是得去找新架构，找新的学习方式，找一种更接近人类数据效率的办法。不管做哪个模态，不管解什么问题，关键还是在神经网络的学习机制和学习算法上，这大概才是核心。一旦我们把这个问题解决了，假设我们现在有一个新算法，效率跟人一样——人只用二十到三十瓦的算力，人只用百分之零点一的数据，人还能在极短的时间里把事情想明白。
Yuandong：如果我们有了那种学习机制，那突然之间，所有问题都能解决得很好。这就是我所说的机器人。现在机器人领域的问题其实是，你说，好，需要大量数据。我记得 Fei-Fei 也提过，机器人需要大量数据。但那只是针对当前这个范式。当前范式因为需要大量数据，所以我们就得去提供大量数据。
可你想想人类是怎么做的，想想那些猫、狗，所有生物，它们都是具身智能。它们不需要大量数据，对吧？它们的处理器烂得不行，同时还能在这个复杂世界里活下来。那里一定存在一种新的算法，我觉得这才是关键。而我相信，自我改进大概是通往那里更快的一条路。
开源与自我改进的边界、招人
Ravid：最后几个问题。现在在 Anthropic 还有别的地方，有很多争论是关于要不要限制最新的模型，也有人呼吁围绕递归自我改进做协调。你怎么看？
Yuandong：这个我想说得实在一点，因为我觉得很难阻止人们去做这件事，边界太模糊了。你跟自己的 coding agent 聊，想出一些新点子，让它去迭代这些新点子，某种程度上你就在做自我改进。你跟别人交流，他们提出想法，跟你一起写论文，那也是自我改进。所以很难划出这条线说，不行，你不能这么做，因为这叫自我改进。太难了，而且也很难执行。
那条线到底在哪儿？再说现在还有这么多开源模型，这些开源模型都非常非常强，你也能拿它们去做研究、做探索。所以自我改进这个说法，你要怎么去管？这些问题都很难回答。
Ravid：你怎么看开源？你们的模型会开源吗？
Yuandong：对，我们的成果是打算开源的。比如之前那篇博客，我们把所有的内核都开源了，把训练这个 nanoGPT 竞速的所有配方也都开源了。基本上我们所有的系统都会开源。这很重要。首先别人能检查，还能在此基础上继续做，这是好事；另外我觉得开源对整个社区都很好。
最糟糕的情况就是一小撮精英掌控着世界上最强的模型，然后说其他人都得付很高的溢价才能用，这对整个社会不是好事。所以我们确实想让 AI 的力量民主化，让每个人都有平等的机会去做好的工作，用模型把自己变得更强。
Ravid：你觉得未来我们会看到跟闭源模型同一水平的开源模型吗？
Yuandong：会，我觉得现在就已经挺好了。比如 Kimi K2 就很强，能做好多不错的活儿，就是它的思考链条会比现在的闭源模型稍微长一点，但还是能用，在很多不同领域你都能拿它来干活。我觉得未来开源模型会越来越强，这完全不是问题。
另外，作为 coding agent，你本来也不指望 AI 牛顿、AI 爱因斯坦跑到你这儿来替你写代码。所以其实是有一条线的。只要模型过了那条线，它就能用，你就愿意用。现在一批前沿实验室已经过线了，开源模型也开始过线了。我觉得未来会有越来越多的人、越来越多的模型过线。一旦到了那一步，它就会被商品化，每个人都会用自己最喜欢的那个模型。我很高兴，这最终一定会发生。真正的问题就变成，我们怎么利用这个模型去做更好更大的事情？
Ravid：好。Yuandong，你还有什么想补充的吗？
Yuandong：差不多就这些了。
Ravid：你们在招人吗？要不要打个广告？
Yuandong：对，我想说，如果你对我们的公司感兴趣，欢迎给我们投简历。我们的邮箱是 talent@recursive.com，感兴趣的人都请给我们发简历。
Ravid：你们在哪儿招人？
Yuandong：我们主要是在旧金山和伦敦。三分之二的员工在旧金山，三分之一在伦敦。
Ravid：好。非常感谢你来参加，聊得非常开心。
Yuandong：谢谢你采访我，希望大家能从这些讨论和有意思的头脑风暴里有所收获。
原视频：Yuandong Tian on Recursive Self-Improvement
https://www.youtube.com/watch?v=bFphZD5Xtrk
中文播客：在小宇宙App搜《播客快译》，或直接访问下面的链接
https://www.xiaoyuzhoufm.com/episode/6acac9d1195d838e2aeff64b
编译：磊哥Thomas