访谈整理
Ilya Sutskever：如果 AI 替我们做完一切，人类还算参与世界吗？
主持人：Dwarkesh Patel 嘉宾：Ilya Sutskever
精彩摘录
对于长期均衡，有一种方法是说，也许每个人都会拥有一个 AI，替他们做事，这很好。如果这种状态能够无限期维持，那确实没问题。但它的缺点是：AI 会替这个人赚钱，在政治领域为他的需求发声，也许还会写一份小报告，说“这是我做的事，这是现在的情况”。然后这个人说：“很好，继续保持。”但这个人已经不再是参与者了。你就可以说，这是一种不稳固的处境。
编辑导语
Ilya Sutskever 是 OpenAI 联合创始人，也是 Safe Superintelligence 的创始人之一。在这期 Dwarkesh Podcast 中，他没有把讨论停留在“模型还要不要继续变大”上，而是把问题推向了更深一层：当 scaling 不再足以解释下一阶段突破，AI 该如何学习、如何可靠泛化、如何被对齐，以及在一个人人都有 AI 代理的未来里，人类是否仍然是世界的参与者。
本次访谈围绕以下问题展开：
-
为什么模型看起来聪明，真实经济影响却还没跟上？ -
如果人类不是 AGI，模型到底缺少哪种泛化能力？ -
为什么 Ilya 说 AI 正从“规模化时代”回到“研究时代”？ -
SSI 为什么选择直接研究安全超级智能？ -
当 AI 越来越强，它应该关心什么？ -
如果 AI 代理替我们做完一切，人类还算参与世界吗？ -
AI 公司会如何竞争，连续学习会带来什么新局面？ -
Ilya 的研究品味：为什么真正稀缺的是不同的思维方式？
访谈记录
01
为什么模型看起来聪明，真实经济影响却还没跟上？
Ilya：我觉得最不可思议的是，这一切真的正在发生。
Dwarkesh：你指的是？
Ilya：这些 AI 进展，以及整个湾区围绕它发生的一切。它确实正在发生，而且很像科幻小说里的情节走进了现实。
Dwarkesh：是。另一个值得注意的地方是，所谓“缓慢起飞”竟然显得如此正常：我们正在把 GDP 的 1% 投入 AI，这本该让人觉得是一件极大的事，但现在感觉却像日常新闻的一部分。
Ilya：事实证明，人很快会习惯新事物。它也有些抽象：这到底意味着什么？在现实里，你看到的通常只是新闻标题——某家公司宣布了一笔巨额投资。
Ilya：到目前为止，普通人真正感受到的变化还不多。
Dwarkesh：我们要不要从这里正式开始？我觉得这是个有意思的讨论。
Ilya：当然。
Dwarkesh：我觉得你的意思是，从普通人的角度看，好像并没有什么真正不同；而且即使进入奇点，这一点也会继续成立。
Ilya：不，我不是这个意思。我刚才说的“感觉不到不同”，指的是：当人们看到“某家公司宣布一笔难以理解的巨额投资”时，并不知道该如何理解它。但我认为 AI 的影响最终会被感受到。它会扩散到整个经济之中，背后有很强的经济力量推动，而且这种影响会非常强烈。
Dwarkesh：你预计这种影响什么时候会出现？我觉得这些模型看起来比它们所体现出的经济影响要聪明得多。
Ilya：是的，这是目前关于这些模型最令人困惑的事情之一。我们该如何调和这样一个事实：它们在评测中的表现非常好。你看那些评测，会觉得那些评测相当难。
Dwarkesh：对。
Ilya：它们表现得非常好，但经济影响似乎明显滞后。而且几乎很难理解：模型一方面能做这些令人惊叹的事情，另一方面又会在某些情境下重复自己两次。举个例子，假设你用 vibe coding 做某件事。你进行到某个地方，遇到了一个 bug，然后你告诉模型：“能不能帮我修复这个 bug？”模型说：“天哪，你说得太对了。我这里有个 bug。我来修。”然后它又引入了第二个 bug。接着你告诉它：“你又有了这个新的、第二个 bug。”它告诉你：“天哪，我怎么会这样？你又说对了。”然后它又把第一个 bug 带回来了。你可以在这两者之间来回切换。这怎么可能？我不确定，但这确实表明有些奇怪的事情正在发生。我有两种可能的解释。第一种是比较异想天开的解释：也许 RL 训练让模型变得有点过于单一目标、过于狭隘聚焦，也许有点缺乏觉察，尽管它也会在其他方面让模型更有觉察。正因为如此，它们反而做不了一些基本的事情。
但还有另一种解释：过去人们做预训练时，“用什么数据来训练”这个问题已经有答案，因为答案就是一切数据。
Dwarkesh：是的。
Ilya：做预训练时，你需要所有数据。所以你不需要思考，到底是用这类数据，还是那类数据。
Dwarkesh：是的。
Dwarkesh：但当人们做强化学习训练时，他们确实需要思考。他们会说，好，我们想针对这个东西做这种强化学习训练，针对那个东西做那种强化学习训练。据我所知，所有公司都有团队专门产出新的强化学习环境，然后把它们加入训练组合。接下来的问题就是，那些环境到底是什么？这里有太多自由度了。你可以创造的强化学习环境种类极其庞杂。你可以做的一件事——我认为这也是人们无意中在做的事——就是从评测中获得灵感。你会说，我希望我们的模型发布时表现非常好，我希望评测结果看起来很棒。什么样的强化学习训练能帮助它完成这个任务，对吧？我认为这种情况确实会发生，而且它可以解释很多正在发生的事情。如果再结合模型的泛化能力实际上并不足够这一点，它就有可能解释我们看到的很多现象，也就是评测表现和真实世界表现之间的脱节；而今天我们甚至还不完全理解所谓“真实世界表现”到底是什么意思。
Ilya：我觉得这个想法是说，真正的奖励黑客行为，其实是人类研究人员过于专注于评测。我认为可以用两种方式来理解，或者尝试思考你刚才指出的问题。一种是：如果一个模型仅仅因为在编程竞赛中达到超人水平，并不会自动变得更有品味，也不会在如何改进你的代码库方面表现出更好的判断力，那么你就应该扩展环境套件，让你测试的内容不只是它在编程竞赛中取得最佳表现。它还应该能够为 X 事项、Y 事项或 Z 事项做出最佳类型的应用。另一种方式——也许这正是你在暗示的——是问：为什么一开始就应该认为，在编程竞赛中达到超人水平，并不会让你更普遍地成为一个更有品味的程序员？也许该做的事情不是不断堆叠环境数量和环境多样性，而是找出一种方法，让你能从一个环境中学习，并提升你在其他事情上的表现。
Dwarkesh：我有一个类比，一个关于人的类比，也许会有帮助。就拿你刚才提到的编程竞赛来说。假设有两个学生。其中一个决定自己想成为最好的竞赛程序员，所以他会在这个领域练习一万小时。他会解完所有题目，记住所有证明技巧，并且非常擅长快速、正确地实现所有算法。通过这样做，他成了最优秀的人之一。第二个学生想：“编程竞赛很酷。”也许他练习了一百小时，少得多。但他也表现得很好。你觉得哪一个人在以后的职业生涯中会做得更好？
Ilya：第二个。
Dwarkesh：对吧？我认为这基本上就是正在发生的事。模型更像第一个学生，而且程度还更甚，因为接下来我们会说：“好，模型应该擅长编程竞赛。那我们就拿到有史以来每一道编程竞赛题，然后做一些数据增强，这样我们就有更多编程竞赛题。”
Ilya：是的。
Dwarkesh：然后我们就在这些数据上训练。于是你就得到了一个很厉害的竞赛程序员。用这个类比来看，我觉得更直观。通过这个类比会更容易理解：是的，如果它被训练得这么充分，那么所有不同的算法、所有不同的证明技巧都触手可及。而且也更容易直观地理解，在这种准备程度下，它并不一定会泛化到其他事情上。
Dwarkesh：但第二个学生在进行那 100 小时微调之前，他所做的事对应的类比是什么？
Ilya：我觉得是他们已经具备了某种东西。我觉得就是那种“天赋特质”。
Dwarkesh：对。
Ilya：对吧？我记得我本科时，有一个和我一起学习的学生。所以我知道这种东西是存在的。
Dwarkesh：我觉得，把它和预训练所做的事区分开来很有意思。理解你刚才所说“我们不必在预训练中选择数据”的一种方式是：实际上，它和一万小时练习并没有那么不同。只不过你是免费获得了这一万小时练习，因为它已经在预训练分布中的某个地方了。但也许你的意思是，预训练中其实并没有那么多泛化，只是预训练里的数据量非常大。它未必比强化学习更会泛化。
Ilya：预训练的主要优势在于，第一，它的规模非常大。
Dwarkesh：对。
Ilya：第二，你不需要费很大心思去想该把什么数据放进预训练。而且那是一种非常自然的数据，其中确实包含了很多人类会做的事。包括人的思想，以及许多特征——它是人们投射到文本中的整个世界。预训练试图用海量数据捕捉这一点。预训练非常——预训练很难推理，因为我们很难理解模型依赖预训练数据的方式。每当模型犯错时，有没有可能只是因为某些东西恰好没有得到预训练数据的充分支持？“预训练的支持”也许是个比较宽泛的说法。我不知道还能不能补充什么更有用的内容，但我不认为预训练存在一个人类对应物。
Dwarkesh：有人提出过一些类比，来说明人类中什么对应于预训练。我很好奇你怎么看它们可能错在哪里。一个类比是，一个人生命中最初 18 年、15 年或 13 年，虽然他们未必有经济产出，但他们确实在做一些让自己更好理解世界的事情，等等。另一个类比是，把进化看作一种持续了 30 亿年的搜索，最终产生了一个人类生命周期的实例。我很好奇你认为这两者是否真的类似于预训练；或者，如果人类一生中的学习不是预训练，你会如何理解它？
Ilya：我认为这两者和预训练都有一些相似之处，而预训练也试图扮演这两者的角色。但我认为它们之间也有一些很大的差异。预训练数据的数量非常惊人。
Dwarkesh：是的。
02
如果人类不是 AGI，模型到底缺少哪种泛化能力？
Ilya：某种程度上，一个人类即便只经历了 15 年、接触到的预训练数据只是极小的一部分，他们知道的东西少得多，但无论他们知道什么，都以某种方式理解得深得多。而且在那个年龄，你已经不会犯我们现在的 AI 会犯的那些错误了。还有一件事你可能会问：这会不会和进化有关？答案是也许有可能，但在这个问题上，我认为进化实际上可能有优势。我记得读到过这样一个案例：神经科学家会做的一件事，或者更准确地说，神经科学家了解大脑的一种方式，是研究大脑不同部位受损的人。有些人会出现你能想象到的最奇怪的症状，这真的非常有意思。我想到一个相关的案例。我读到过一个人，他的某种脑损伤——我想可能是中风或事故——破坏了他的情绪处理能力。于是他不再感受到任何情绪。因此，他仍然很会表达，也能解一些小谜题，在测试中看起来完全正常，但他没有情绪。他不会感到悲伤，不会感到愤怒，也不会有兴奋感。然后他不知为何变得极其不擅长做任何决定。
他可能要花几个小时决定穿哪双袜子，还会做出很糟糕的财务决策。这很说明问题——这说明了我们内置的情绪在让我们本质上成为一个可行的智能体时所起的作用。回到你关于预训练的问题，也许如果你足够擅长从预训练中提取一切，你也可以得到这种东西。但这类东西似乎——能不能从预训练中得到它，可能还不一定。
Dwarkesh：这显然不只是直接的情绪。它看起来更像某种近似价值函数的东西，在告诉你应该做哪个决定、任何决定最终的奖励应该是什么。你认为这不会隐含地来自——
Ilya：我认为有可能。我只是说，这不是百分之百显然的。
Dwarkesh：是的。但那到底是什么？你怎么看待情绪？情绪在机器学习里的类比是什么？
Ilya：它应该是某种价值函数一类的东西，但我不认为机器学习里有很好的类比，因为现在价值函数在人们所做的事情中并没有扮演非常突出的角色。
Dwarkesh：也许值得为听众解释一下什么是价值函数，如果你愿意的话。
Ilya：当然，我很乐意解释。人们做强化学习时，以目前强化学习的做法来看，大家是怎么训练这些智能体的？你有一个神经网络，给它一个问题，然后告诉模型：去解决它。模型可能会采取成千上万、几十万次行动，或者进行这么多步思考之类的，然后产出一个解。这个解会被评分。随后，这个分数会被用来为你整条轨迹中的每一个动作提供训练信号。这意味着，如果你在做一件会持续很久的事，如果你训练的是一个需要很长时间才能解决的任务，那么在你提出一个候选解之前，你完全不会发生学习。这就是朴素强化学习的做法。表面上看，O-1、R-1也是这样做的。价值函数表达的是：好吧，也许我有时——不是总是——能告诉你现在做得好还是不好。价值函数这个概念在某些领域比在另一些领域更有用。比如下棋时，如果你丢了一个棋子，你就知道自己搞砸了。你不需要把整盘棋下完，才知道刚才那一步很糟，因此它之前的那些步骤也有问题。所以价值函数能让你不必一直等到最后。
假设你开始追求某种……好吧，假设你在做某种数学题或编程任务，并且试图探索一个特定的解题方向。比如说，在思考了 1000 步之后，你得出结论：这个方向没有前途。你一旦得出这个结论，就已经可以在时间上回溯到 1000 步以前、你决定沿着这条路走的时候，获得一个奖励信号：你会说，“下次在类似情况下，我不应该走这条路。”这远早于你真正提出候选解的时候。
Dwarkesh：这在 DeepSeek-R1 论文里提到过：轨迹空间非常宽广，所以也许很难学习从中间轨迹到价值的映射。而且比如在写代码时，你可能先有一个错误想法，然后退回去，再修改某些东西。
Ilya：这听起来对深度学习太没信心了。当然，这可能很难，但没有什么是深度学习做不到的。所以我的预期是，价值函数应该会有用，而且我完全预期它们未来会被使用，如果现在还没有被使用的话。至于我提到那个情绪中枢受损的人，我更想表达的是，也许这暗示着人类的价值函数在某种重要方式上受到情绪调节，而这种机制是进化硬编码进去的。也许这对人们在现实世界中有效行动很重要。
Dwarkesh：这正是我本来打算问你的。把情绪看作一种价值函数，这里面有一点非常有意思：它们虽然相当容易理解，却仍然有如此大的效用，这很令人惊讶。
Ilya：所以我有两个回应。我确实同意，相比于我们所学习的那些东西、以及我们正在讨论的那些东西，我们谈论情绪的方式相对简单。它们甚至可能简单到也许可以用一种人类能够理解的方式把它们描绘出来。我觉得这会很有意思。不过从实用性的角度看，我认为这里存在一种复杂性与稳健性之间的权衡：复杂的东西可能非常有用，但简单的东西在非常广泛的情境中也非常有用。所以我认为，对我们所看到的现象，一种解读是：我们拥有的这些情绪，本质上大多是从哺乳动物祖先进化而来，后来在人科动物阶段又稍微微调了一点点。只是一点点。不过我们确实有相当多的社会性情绪，而哺乳动物可能没有这些；但它们并不很复杂。正因为它们不复杂，所以在这个与我们过去生活的世界非常不同的世界里，它们仍然如此好地服务于我们。当然，它们也会出错。比如，我们的情绪——我不知道，饥饿算不算一种情绪？这有争议。但我认为，例如，在这个食物充足的世界里，我们对饥饿的直觉感受并没有成功地引导我们作出正确选择。
03
为什么 Ilya 说 AI 正从“规模化时代”回到“研究时代”？
Dwarkesh：是的，人们一直在谈论扩展数据、扩展参数、扩展计算量。有没有一种更一般的方式来理解扩展？还有哪些其他的扩展维度？
Ilya：这里有一个视角。我认为这个视角可能是对的。过去机器学习的运作方式是，人们会不断摆弄各种东西，尝试得到有趣的结果。过去一直是这样。后来，扩展这个洞见出现了，对吧？扩展定律、GPT-3，然后突然每个人都意识到我们应该扩展。这也是语言如何影响思想的一个例子。“扩展”只是一个词，但它是一个非常有力量的词，因为它告诉人们该做什么。人们会说，好，那我们试着把东西扩展起来。于是你会问，好，那我们要扩展什么？预训练就是一个可以扩展的东西。它是一种特定的扩展配方。
Dwarkesh：是的。
Ilya：预训练的重大突破在于，人们意识到这个配方是有效的。所以你会说，如果你把一些计算量、一些数据，放进某个规模的神经网络里，你就会得到结果，而且你会知道，只要把这个配方扩大，结果就会更好。这也很棒。公司喜欢这一点，因为它给了你一种风险很低的资源投入方式。
Dwarkesh：是的。
Ilya：对吧？把资源投入研究要困难得多。你可以对比一下：如果你是研究者，你需要让研究人员去探索、做研究，然后拿出某种成果；而另一边，只要获得更多数据、更多算力，你就能从预训练中得到一些东西。事实上，根据人们在各种场合的说法，也包括一些人在 Twitter 上的说法，Gemini 似乎找到了从预训练中榨取更多效果的方法。不过到某个时候，预训练会耗尽数据。数据很明显是有限的。那么接下来该怎么办？要么你做某种加强版的预训练，采用和之前不同的配方；要么你做 IRL；也可能是别的东西。但现在算力规模已经很大了，算力现在非常大，从某种意义上说，我们又回到了研究时代。所以也许可以换一种说法：到 2020 年为止，从 2012 年到 2020 年，是研究时代。现在从 2020 年到 2025 年，是规模化时代，或者大致如此。我们可以给这些年份加上误差范围，因为人们会说这太惊人了，你必须继续扩大规模，不断扩展。一个词：scaling，规模化。
但现在规模已经这么大了，大家真的还相信：它已经很大了，但如果再大 100 倍，一切就会完全不同吗？肯定会有所不同，但真的相信只要把规模放大 100 倍，一切都会被彻底改变吗？我不认为这是真的。所以我们又回到了研究时代，只不过这次有了大计算机。
Dwarkesh：这个说法非常有意思。不过让我问一下你刚才提出的问题。我们到底在扩展什么？所谓有一个“配方”又意味着什么？因为我觉得，在预训练中存在的那种非常清晰、几乎像物理定律一样的关系，我现在还没有看到。数据、计算量、参数和损失之间存在幂律关系。我们应该寻找哪种关系？又该如何思考这种新配方可能是什么样子？
Ilya：我们已经见证了一次转变：从一种扩展方式转向另一种扩展方式，也就是从预训练转向 RL。现在人们在扩展 RL。根据人们在 Twitter 上的说法，他们现在花在 RL 上的算力比花在预训练上的还多，因为 RL 确实可以消耗相当多的算力。你会做非常非常长的 rollout，所以生成这些 rollout 需要大量算力。然后每个 rollout 带来的学习量相对较小。因此，你确实可以在这里投入大量算力。我可以想象，在这个阶段，我甚至不一定会把它称为 scaling。我会说：你到底在做什么？你正在做的事，是你能做的最有产出的事吗？你能不能找到一种更高效地使用算力的方法？我们前面讨论过价值函数的问题。也许一旦人们擅长做价值函数，他们就会更高效地使用资源。如果你找到一种完全不同的训练模型的方法，你可以问：这算是 scaling，还是只是更好地使用你的资源？我觉得这在某种意义上会变得有点模糊。
因为当年人们处在研究时代时，大家会说：来试试这个、这个和这个；再试试那个、那个和那个。看，有些有趣的事情发生了。我认为这种状态会回归。
Dwarkesh：如果我们真的回到了研究时代，退一步看，这个配方里最需要思考的部分是什么？你说到价值函数，人们其实已经在尝试当前的配方，比如让 LLM 充当评判者等等。你可以说那就是一种价值函数，但听起来你心里想的是更根本的东西。我们是否需要回到更前面——我们是否甚至应该重新思考预训练本身，而不只是给这个过程的末尾再加更多步骤？
Ilya：是的。关于价值函数的讨论，我觉得很有意思。我想强调的是，我认为价值函数会让强化学习更高效。我认为这会带来差异。但我也认为，任何你能用价值函数做到的事，不用价值函数也能做到，只是会更慢。
Ilya：我认为最根本的问题是，这些模型在某种程度上的泛化能力就是比人差得多。
Dwarkesh：是的。
Ilya：这非常明显。它似乎是一个非常根本的问题。
Dwarkesh：好，所以核心问题是泛化。这里有两个子问题。一个是样本效率：为什么这些模型需要比人类多得多的数据才能学会？第二个问题是，即使不考虑所需数据量，为什么把我们想要的东西教给模型会比教给人类难这么多？也就是说，对人类而言，我们并不一定需要一个可验证的奖励才能做到——你现在可能正在指导很多研究员，和他们交流，给他们看你的代码，向他们展示你是怎么思考的。通过这些，他们会吸收你的思维方式，以及他们应该如何做研究。你不需要为他们设置一个可验证的奖励，比如“好，这是课程的下一部分，现在这是你课程的下一部分”。也不会因为“这次训练不稳定”而陷入那种繁琐、定制化的流程。所以也许这两个问题实际上在某种程度上是相关的。但我想进一步探讨第二个问题，它感觉更像是持续学习；以及第一个问题，它感觉更像是样本效率。是的。
Ilya：其实你可以思考，人类样本效率的一种可能解释是进化，而这是需要考虑的。进化给了我们少量但尽可能有用的信息。对于视觉、听觉和运动能力，我认为有相当有力的理由说，进化确实给了我们很多东西。比如，人类的灵巧程度远远超过——机器人如果在模拟环境中接受大量训练，也可以变得灵巧。但要在真实世界中训练一个机器人，让它快速学会一个人类能学会的新技能，目前看起来仍然非常遥远。在这里你可以说：“是的，运动能力，我们所有祖先都需要很强的运动能力，比如松鼠，所以在运动能力上，我们也许有某种难以置信的先验。”你也可以对视觉提出同样的论点。我记得 Yann LeCun 提出过一个观点：孩子练习 16 个小时、10 个小时之后就能学会开车，这是真的。但我们的视觉太好了。至少对我来说，我回想自己 5 岁的时候，那时我对汽车非常感兴趣。我很确定，5 岁时我的汽车识别能力已经足以用于自动驾驶了。一个 5 岁孩子并不会看到那么多数据，大部分时间都待在父母家里。
所以你的数据多样性非常低，但你可以说，也许这也是进化的作用。不过在语言、数学和编程方面，可能就不是这样了。
Dwarkesh：但人类似乎还是比模型更擅长学习。显然，模型在语言、数学和编程上比普通人更强，但它们在学习能力上比普通人更强吗？
Ilya：是的，当然。我想说的是，语言、数学和编程，尤其是数学和编程，表明让人类擅长学习的东西，可能并不是某种复杂的先验，而更像是某种更根本的东西。
Dwarkesh：等等，我不确定我理解了。为什么会是这样？
Ilya：所以，考虑一种技能：人们在这种技能上表现出很高的可靠性。或者说，如果这项技能在数百万年、甚至可以说数亿年的时间里，对我们的祖先都非常有用，那么你可以说，也可以论证，也许人类之所以擅长它，是因为进化；因为我们有一种先验，一种以某种非常不明显的方式编码在我们身上的进化先验，使我们在这方面表现得如此出色。但如果人们在一个直到最近才真正出现的领域里，表现出很强的能力、可靠性、稳健性和学习能力，那么这更像是在表明：人类可能只是拥有更好的机器学习，仅此而已。
Dwarkesh：但那我们应该如何理解这件事？它是关于什么的？对应到机器学习里，该怎么类比？这里有几件有趣的事：它需要的样本更少；它更偏无监督；你不必设置一个……比如一个孩子学开车——孩子其实不会学开车。一个青少年学习开车，并不是在获得某种预先构建好的、可验证的奖励信号。它来自他们与机器、与环境的互动。而且，它确实需要少得多的样本；看起来更像无监督；看起来也更稳健。
Ilya：稳健得多。人类的稳健性真的令人震惊。
Dwarkesh：是的。你有没有一种统一的方式来理解，为什么这些事情会同时发生？在机器学习中，什么样的类比或机制可以实现类似的东西？
Ilya：这就涉及你一直在问的一个问题：一个青少年司机如何在没有外部老师的情况下自我纠正，并从自己的经验中学习？答案是，他们有自己的价值函数，对吧？他们有一种总体感觉。顺便说一句，这在人类身上也极其稳健。不管它到底是什么，人类的价值函数，不管人类价值函数是什么，除了成瘾等少数例外，它实际上非常、非常稳健。所以，对于一个正在学开车的青少年来说，他们开始驾驶时，马上就已经能感觉到自己开得怎么样，开得多糟，自己有多不自信。然后他们会看到情况如何。当然，任何青少年的学习速度都非常快，练 10 个小时之后基本就能上路了。
Dwarkesh：是的，人类似乎有某种解决方案。但我好奇的是，他们到底是怎么做到的？为什么这对我们来说这么难？我们需要怎样重新理解训练模型的方式，才能让这样的事情成为可能？
Ilya：这是一个很好的问题，也是一个我有很多看法的问题。但遗憾的是，我们生活在这样一个世界里：并不是所有机器学习想法都能被自由讨论，而这就是其中之一。所以，应该是有办法做到的。我认为这是可以做到的。人类能够做到这一点，在我看来就是它可以被做到的证明。不过也可能还有另一个障碍，那就是人类神经元实际进行的计算可能比我们以为的更多。如果这是真的，而且如果它在其中起到了重要作用，那么事情可能会更困难。但无论如何，我确实认为，这指向了某种机器学习原则的存在。对此我有一些看法，但遗憾的是，现实情况使得我们很难详细讨论。
Dwarkesh：没有人听这个播客，Ilya。所以我得说，为 Ilya 这期做准备相当困难，因为无论是我还是其他人，都不知道他在做什么，也不知道 SSI 试图做什么。我没有任何基础来设计我的问题。老实说，我唯一能依靠的，就是从第一性原理出发，思考通向 AGI 的瓶颈是什么，因为显然 Ilya 正在以某种方式研究这些问题。
Dwarkesh：这个问题的一部分涉及思考强化学习的规模化，因为每个人都在问，强化学习的泛化能力到底会有多好，以及我们怎样才能让它更好地泛化。在这个过程中，我读到了一篇最近发表的关于强化学习规模化的论文，里面显示，强化学习的学习曲线实际上看起来像一条 S 型曲线。我觉得这很奇怪。为什么它会是 S 型的：很长一段时间学到的东西很少，然后突然快速学到很多，最后又渐近趋于平缓？
Dwarkesh：这和我们在预训练中看到的幂律非常不同。在预训练里，模型一开始就学到很多，然后随着时间推移学到的越来越少。这也让我想起我和一位研究员朋友聊过之后记下的一条笔记。他当时指出，为了找到正确答案，你需要抽取的样本数量，会随着你当前概率分布和目标概率分布之间的差异呈指数级增长。
Dwarkesh：我当时在想，这两个想法之间有什么关系。我隐约觉得它们应该是相连的，但确实不知道怎么连起来。我没有数学背景，所以没法真正把它形式化。但我想知道 Gemini 3 能不能在这里帮我一下。于是我拍了一张我笔记本的照片，又拿了那篇论文，把它们都放进 Gemini 3 的上下文里，然后请它找出其中的联系。
Dwarkesh：它思考了很多，然后意识到，在强化学习中，对单个“是或否”结果所获得的信息进行建模的正确方式，是把它看作一个随机二元变量的熵。它画了一张图，展示随着通过率提高，强化学习中每个样本获得的比特数与监督学习中的情况分别如何变化。我一看到 Gemini 3 画出的那张图，很多事情立刻就变得说得通了。
Dwarkesh：接着我想看看这个理论有没有经验依据。所以我让 Gemini 写一个实验，展示损失的改善是否会以这种方式随通过率变化。我直接拿 Gemini 输出的代码，复制粘贴到 Google Colab 笔记本里，就能运行这个玩具机器学习实验，并把结果可视化，而且没有一个 bug。
Dwarkesh：有意思的是，结果看起来和我们本来预期的相似，但并不完全相同。于是我下载了这张图，把它放进 Gemini，问它这里到底发生了什么。它提出了一个我认为其实是正确的假设：我们使用固定学习率，限制了监督学习在一开始能够改善的幅度。事实上，我们应该随着时间推移降低学习率。这也给了我们一种直观理解，解释了为什么在实践中会使用随时间降低学习率的学习率调度器。
Dwarkesh：从提出这个模糊的初始问题，到建立理论理解，再到运行一些玩具机器学习实验，整个流程我都是用 Gemini 3 完成的。这感觉像是第一个真正能够提出我原本预想不到的新联系的模型。现在，当我想头脑风暴、寻找理解一个问题的新方式时，它实际上已经成了我的默认去处。如果你想进一步了解强化学习规模化，可以看看我在 Gemini 3 的一点帮助下写的那篇博客文章。如果你想自己试试 Gemini 3，可以访问 gemini.google。
Dwarkesh：我很好奇，如果你说我们又回到了研究时代，你从 2012 年到 2020 年就在那个时代。那如果我们回到研究时代，现在的氛围会是什么样？比如，即使在 AlexNet 之后，用来运行实验的算力仍在不断增加，前沿系统的规模也在不断增加。你认为现在这个研究时代仍然会需要巨量算力吗？你认为它会需要我们回到档案里去读旧论文吗？或者说，当你在 Google、OpenAI、斯坦福这些地方时，当时更有研究氛围，那种氛围是什么样的？我们应该预期社区里会出现哪些事情？
Ilya：规模化时代的一个后果是，规模化把房间里的空气都抽走了。
Dwarkesh：是的。
Ilya：因为规模化把房间里的空气都抽走了，所有人都开始做同一件事。我们已经到了这样一个世界：公司数量远远多于想法数量。说到这一点，硅谷有一句话，说想法很廉价，执行才是一切。人们经常这么说。
Dwarkesh：是的。
Ilya：这话有它真实的一面。但后来我看到有人在 Twitter 上说，如果想法这么廉价，为什么没人有任何想法？我觉得这也是真的。我认为，如果你从瓶颈的角度看研究进展，会有几个瓶颈。回到过去，其中一个瓶颈是想法，另一个是你把想法实现出来的能力，这可能是算力，也可能是工程能力。所以如果回到 90 年代，比如说，当时有人有相当不错的想法。如果他们有大得多的计算机，也许就能证明他们的想法是可行的，但他们没有。因此他们只能做非常非常小的演示，而这些演示无法说服任何人。所以瓶颈是算力。然后到了规模化时代，算力大幅增加。当然，需要多少算力是一个问题，但算力已经很大了。算力已经大到某种程度，以至于并不明显需要多得多的算力才能证明某个想法。我给你打个比方。AlexNet 是用 2 块 GPU 做出来的。这就是它使用的全部算力。Transformer 是用 8 到 64 块 GPU 做出来的。
2017 年的那篇 Transformer 论文里，没有任何单个实验用超过 64 块 GPU；换成今天的 GPU，大概相当于什么，2 块？还有 ResNet，对吧？很多东西，甚至你可以说，O-1 的推理也不是世界上最消耗算力的事情。所以对于研究来说，你确实需要一定量的算力，但远远不能说，研究一定需要有史以来绝对最大规模的算力。你也许可以说，而且我认为这是真的，如果你想构建绝对最好的系统，如果你想构建绝对最好的系统，那么拥有多得多的算力会有帮助。尤其是如果所有人都处在同一个范式里，那么算力就会成为重要的差异化因素之一。
Dwarkesh：是的，我想，虽然用很少的算力也有可能发展出这些想法，但我之所以问你这段历史，是因为你当时确实在场。我不确定实际发生了什么，但听起来似乎可以用很少的算力发展出这些想法。不过 Transformer 并不是立刻就出名的。它之所以变成所有人都开始采用、然后在其上做实验和构建的东西，是因为它在越来越高的算力水平上得到了验证。
Ilya：没错。
Dwarkesh：如果你们在 SSI 有 50 个不同的想法，在没有其他前沿实验室那种算力的情况下，你们怎么判断哪一个会是下一个 Transformer，哪一个是脆弱的？
Ilya：我可以对此做个回应。简短地说，你特别提到了 SSI；对我们来说，SSI 用于研究的算力其实并不算少。我想解释一下为什么。一个简单的计算就能说明，我们拥有的算力用于研究时，实际上比人们想象的更具可比性。我来解释。SSI 已经融资 30 亿美元，这不算少，而且从任何绝对意义上说都很多。但你可能会说，看看其他公司，它们融到的钱多得多。可是它们的很多算力都用于推理。这些大数字、这些大，贷款，是指定用于推理的。这是第一点。第二点是，如果你想拥有一个需要进行推理的产品，就需要庞大的工程师和销售人员团队。很多研究资源也需要投入到生产各种与产品相关的功能上。所以，当你看真正剩下来用于研究的资源时，差距就小得多了。还有一点是，如果你在做一些不同的事情，你真的需要绝对最大的规模来证明它吗？我完全不认为如此。我认为在我们的情况下，我们有足够的算力来证明，并说服自己和其他任何人：我们正在做的事情是正确的。
Dwarkesh：公开估算显示，像 OpenAI 这样的公司，仅在实验上目前每年就花费大约 50 亿到 60 亿美元。这还不包括它们在推理等方面花的钱。所以看起来，它们每年用于研究实验的开支，就已经超过了你们的总融资，。
Ilya：我认为关键在于你如何使用这些资源。关键在于你如何使用这些资源。我认为在它们的情况下，也包括其他公司的情况，它们对训练算力的需求要大得多。它们有更多不同的工作流，有不同的模态，要做的事情就是更多。因此资源会变得分散。
Dwarkesh：SSI 将如何赚钱？
Ilya：我对这个问题的回答是，目前我们只专注于研究，而这个问题的答案之后会自然显现出来。我认为会有很多可能的答案。
04
SSI 为什么选择直接研究安全超级智能？
Dwarkesh：SSI 的计划仍然是直接冲刺超级智能吗？
Ilya：也许。我认为这有其价值。我认为它有很大价值，因为不受日常市场竞争影响是一件很好的事。但我认为有两个原因可能会让我们改变计划。一个是务实层面的：如果时间线最终变得很长，而这有可能发生。第二，我认为让最好、最强大的 AI 出现在外部世界并影响世界，有很大价值。我认为这是一件有实质价值的事。
Dwarkesh：那么，为什么你们的默认计划是直接冲刺超级智能？因为听起来 OpenAI、Anthropic 以及所有这些其他公司，它们明确的想法是：让公众逐步接触越来越强的智能，以便适应和做好准备。为什么直接构建超级智能可能会更好？
Ilya：我会分别说明支持和反对的理由。支持的理由是：当人们身处市场之中时，面临的挑战之一就是必须参与这场竞赛。而这场竞赛相当艰难，因为它会让你面对必须做出的艰难取舍。所以，说“我们把自己与这一切隔离开来，只专注于研究，只有在准备好时才出来，在此之前不出来”，这是一种很有吸引力的说法。但反方观点同样成立，而且这两股力量是相互对立的。反方观点是：世界看到强大的 AI 是有用的。世界看到强大的 AI 是有用的，因为这是你唯一能够传达它的方式。
Dwarkesh：我想，甚至不只是你能传达这个理念，而是——
Ilya：是传达 AI，不是传达理念。传达 AI。
Dwarkesh：你说“把 AI 传达给公众”，是什么意思？
Ilya：假设你读了一篇关于 AI 的文章。文章说，AI 会变成这样，AI 会变成那样，还会产生这些影响。
Dwarkesh：对，对。
Ilya：你读完之后会说，好吧，这是一篇有意思的文章。现在假设你看到一个 AI 在做这件事，又看到一个 AI 在做那件事。这两者是无法相比的。基本上，我认为让 AI 进入公众视野有很大的好处，而这也是我们不应该完全直线推进的一个理由。
Dwarkesh：对。不过，我觉得甚至不只是这一点，尽管我确实认为这是其中很重要的一部分。另一个关键问题是，在人类工程和研究领域，我想不出还有哪一个学科，其最终产物主要是通过“思考如何让它安全”而变得更安全，而不是通过实际部署和修正。为什么今天按每英里计算的飞机事故率，比几十年前低这么多？为什么今天在 Linux 里发现一个 bug，比几十年前难得多？我认为主要原因是，这些系统被部署到了现实世界中，人们发现了故障，故障得到了修正，系统也因此变得更加稳健。现在，我不确定为什么 AGI 和超人类智能会有什么不同，尤其是考虑到——我希望我们稍后会谈到这一点——超级智能带来的危害似乎不只是外面有某个恶意的“回形针最大化器”，而是它本身就是一个极其强大的东西，我们甚至还不知道该如何理解人们会怎样与它互动、人们会用它做什么。逐步让人们接触它，似乎可能是分散其影响、帮助人们为它做好准备的更好方式。
Ilya：我认为在这一点上，即便是在“直线推进”的情景下，你仍然会逐步发布它。至少我是这样设想的。渐进主义会是任何计划的内在组成部分。问题只在于，你最先推出的是什么。这是第一点。第二点，我还认为，你比其他人更提倡持续学习。而我确实认为这是一件重要且正确的事。原因如下。我再举一个例子，说明思维，或者说语言，是如何影响思维的。在这个例子里，是两个词；我坚持认为，这两个词塑造了所有人的思考。第一个词是 AGI。第二个词是预训练。让我解释一下。AGI 这个词、这个术语为什么会存在？这是一个非常特定的术语。它为什么会存在？这是有原因的。在我看来，AGI 这个术语之所以存在，与其说是因为它是对某种智能终极状态非常重要、非常本质的描述，不如说是因为它是对另一个既有术语的反应。那个术语就是狭义 AI。如果你回到博弈 AI 的远古史，比如跳棋 AI、国际象棋 AI、电脑游戏 AI，所有人都会说：看看这种狭窄的智能。
当然，国际象棋 AI 可以击败卡斯帕罗夫，但它做不了别的事情。它太狭窄了。人工狭义智能。于是，作为回应，有些人说，这不够好。它太狭窄了。我们需要的是通用 AI。通用 AI，也就是能做所有事情的 AI。然后这个术语就获得了很大影响力。第二个获得很大影响力的，是预训练，具体来说是预训练这套做法。我认为，现在人们做强化学习的方式，也许正在消解预训练留下的概念印记。但预训练有这样一个特性：你做更多预训练，模型在所有事情上都会或多或少均匀地变得更好。是的，通用 AI。预训练带来 AGI。但 AGI 和预训练发生的事情是，从某种意义上说，它们超过了目标。因为如果你思考 AGI 这个术语，尤其是在预训练的语境下，你会意识到，人类并不是 AGI。因为人类当然有一套技能基础，但人类缺乏大量知识。相反，我们依赖持续学习。我们依赖持续学习。所以，当你思考：假设我们取得了成功，制造出某种安全的超级智能。那么问题是，你如何定义它？
它会处在持续学习曲线的哪个位置？我制造出一个超级智能的 15 岁少年，非常渴望行动，而你说，好，我要——他们其实知道得并不多，是很优秀的学生，非常渴望学习。你去当程序员，你去当医生，去学习。所以你可以想象，部署本身会包含某种学习、试错的阶段。它是一个过程，而不是你把一个完成品直接投放出去。
Dwarkesh：好，我明白了。所以你关于超级智能指出的是，它并不是某个已经完成的心智，知道如何完成经济中的每一项工作；因为比如说，OpenAI 最初的章程或类似文件对 AGI 的定义，是它能够做人类能做的每一件事。你提出的反而是一个能够学会做任何一项、每一项工作的心智。
Ilya：是的。
Dwarkesh：而这就是超级智能。然后，一旦你有了学习算法，它就会像一个人类劳动者加入某个组织一样，被部署到现实世界中。看起来可能会发生两种情况之一。也许这两种都不会发生。第一，这种超级高效的学习算法会变得超越人类，在机器学习研究这项任务上变得和你一样好，甚至可能更好。结果就是，这个算法本身会变得越来越超越人类。另一种情况是，即便这没有发生，如果你有一个单一模型——这明确是你的愿景——如果你有一个单一模型，或者一个模型的多个实例，被部署到整个经济体系中，从事不同工作，学习如何完成这些工作，在岗位上持续学习，掌握任何人类都能掌握的所有技能，而且实际上是同时掌握所有这些技能，然后把学到的东西融合起来。你基本上就会拥有一个在功能上变成超级智能的模型，即便软件层面没有任何递归式自我改进，因为现在你有了一个能做经济中每一项工作的模型。而人类无法以同样的方式融合我们的心智。所以你是否预期，广泛部署会带来某种智能爆炸？
Ilya：我认为我们很可能会经历快速的经济增长。关于广泛部署，有两种相互冲突的论点可以提出。一种是说，如果你确实达到这样一个阶段：你拥有能够快速学会做事的 AI，而且有很多这样的 AI，那么它们就会产生一种很强的力量，推动它们被部署到经济体系中，除非出现某种监管把它阻止住——顺便说一句，这种监管也可能会出现。但我认为，在一段时间内出现非常快速的经济增长，这个想法是很有可能由广泛部署带来的。接下来的问题是，它到底会有多快。所以我认为这很难知道，因为一方面你有这种非常高效的工作者，另一方面，世界真的非常大，有很多东西，而这些东西运转的速度并不相同。但另一方面，现在 AI 可以……所以我认为，非常快速的经济增长是可能的，我们会看到各种各样的情况：不同国家会有不同规则，而规则更友好的国家，经济增长会更快。这很难预测。
Dwarkesh：我们有些听众会阅读文字稿，而不是收听节目。所以我们投入了大量精力，让文字稿读起来像可以独立成篇的文章。问题在于，如果只是用语音转文字模型逐字转录一段对话，里面会充满各种停顿、反复和令人困惑的表述。我们向 Labelbox 提到了这个问题，他们问能不能试试看。和他们在这件事上的合作，可能是我最愿意向别人推荐 Labelbox 的原因。这并不只是“告诉我们你需要什么数据，我们去帮你拿到”。他们带着我们走完了整个流程：从一开始帮助我们识别到底需要什么样的数据，到组建一支专家校对团队来生成这些数据。即使在我们拿到全部数据之后，Labelbox 仍然继续参与。他们帮助我们选择合适的基础模型，并为模型输出设置自动 QA，这样我们就可以进行调整和优化。现在，我们有了一个新的转录工具，未来所有节目都可以使用。这只是一个例子，说明 Labelbox 如何在想法层面理解客户，并在整个过程中与客户合作。
如果你想了解更多，或者想亲自试用这个转录工具，请访问 labelbox.com/dwarkesh。
Dwarkesh：在我看来，我们正处在一个非常不稳定的局面中：从极限情况来看，我们知道这应该是可能的。因为如果有某种东西在学习能力上和人类一样好，但它可以合并自己的“大脑”，把不同实例合并在一起，而人类做不到这一点，那么这似乎是在物理上应该可能实现的。人类是可能存在的，数字计算机也是可能存在的。你只需要把这两者结合起来，产生这样一种东西。而且这种东西似乎会极其强大。用“经济增长”是一种说法；戴森球意味着大量经济增长。但另一种说法是，你可能会经历一段非常短的时间，因为一个人在岗位上工作，比如你们在 SSI 招人，六个月后他们大概就能产生净贡献，对吧？人类学习得非常快，所以这个东西也会非常快地变得越来越聪明。你如何思考怎样让这件事顺利发展？为什么 SSI 处在一个能够把它做好位置上？我想问的基本上是，SSI 在这方面的计划是什么？
Ilya：是的。所以，我的想法发生变化的一个方面是：我现在更加重视 AI 以渐进方式、提前部署。关于 AI，有一件非常困难的事是，我们讨论的是尚不存在的系统，而想象它们很难。我认为正在发生的事情之一是，在实践中，人们很难真正感受到 AGI。我们可以谈论它，但那是在谈论很遥远的未来。想象一下，当你年老体弱时，和别人讨论变老是什么感觉；你可以谈，可以试着想象，但这很难，然后你又回到现实中。而 AGI 不是这样。我认为，围绕 AGI 及其未来力量的许多问题，都源于它非常难以想象。未来的 AI 会有所不同，会很强大。事实上，整个问题——AI 和 AGI 的问题是什么？整个问题就在于力量。当这种力量真的非常巨大时，会发生什么？过去一年里，我改变看法的一个方面是——这种看法的改变可能会反向传播到我们公司的计划中，我稍微保守一点说，是可能会——如果它很难想象，那该怎么办？你必须把它展示出来。你必须把它展示出来。
而且我坚持认为，大多数从事 AI 工作的人也无法想象它，因为它和人们日常看到的东西太不一样了。
05
当 AI 越来越强，它应该关心什么？
Ilya：我坚持认为，我预测会发生这样一件事。这是一个预测：随着 AI 变得更强大，人们会改变自己的行为。我们会看到各种前所未有、现在还没有发生的事情。我举几个例子。我确实认为，无论好坏，前沿公司将在未来发生的事情中扮演非常重要的角色，政府也一样。我认为你会看到的一类事情——你已经能看到开端——是激烈竞争的公司开始在 AI 安全上合作。你可能已经看到 OpenAI 和 Anthropic 迈出了第一个小步骤，但过去并不存在这种事情。事实上，大约三年前，我在一次演讲中就预测过会发生这样的事。我也坚持认为，随着 AI 继续变得更强大、更明显地强大，政府和公众也会产生采取行动的愿望。我认为，把 AI 展示出来是一股非常重要的力量。这是第一点。
Ilya：第二点，AI 正在被构建出来。那么需要做什么？我坚持认为会发生的一件事是，现在从事 AI 工作的人之所以觉得 AI 并不强大，是因为它会犯错。我确实认为，在某个时候，AI 会真正开始让人感觉到它很强大。我认为，当这种情况发生时，我们会看到所有 AI 公司对待安全的方式发生重大变化。它们会变得更加谨慎，甚至更加疑神疑鬼。我把这作为一个预测说出来，我们会看到我是否正确。但我认为这会发生，因为它们会看到 AI 正在变得更强大。我坚持认为，现在发生的一切，都是因为人们看着今天的 AI，很难想象未来的 AI。
Ilya：还有第三件需要发生的事。我是在更宽泛的意义上谈这件事，不只是从 SSI 的角度谈，因为你问到了我们的公司。问题是：那么，公司应该追求构建什么？它们应该追求构建什么？实际上有一个大想法，所有人都被锁定在其中，那就是自我改进的 AI。为什么会这样？因为想法比公司少。但我坚持认为，有一种东西更值得构建，而且我认为每个人最终都会想要它。那就是一种稳健对齐的 AI，专门关心有感知能力的生命。我特别认为，可以提出这样一种观点：构建一个关心有感知生命的 AI，会比构建一个只关心人类生命的 AI 更容易，因为 AI 本身也会有感知能力。如果你想到镜像神经元，以及人类对动物的共情——你可能会说这种共情还不够强，但它确实存在。我认为这是一个涌现属性，来自这样一个事实：我们用来建模他人的回路，和用来建模自己的回路是同一套，因为这是最高效的做法。
Dwarkesh：所以，即使你让一个 AI 去关心有感知能力的存在——而且如果你解决了对齐问题，我其实也不清楚这是不是你应该尝试做的事——情况仍然会是：大多数有感知能力的存在都会是 AI。会有数万亿个，最终甚至数千万亿个 AI。人类只会占有感知能力存在中非常小的一部分。所以，如果目标是让人类对这个未来文明保持某种控制，我不清楚这是不是最好的标准。
Ilya：这是真的。我认为，这有可能不是最好的标准。我想说两点。第一，我认为，如果——我认为关心有感知能力的生命是有价值的。我认为它应该被纳入考虑。我认为，如果能有一份候选理念清单，等公司处在这种情境中时可以使用，那会有帮助。第二——第三，我认为，如果最强大的超级智能的能力能以某种方式被限制住，那会有非常实质性的帮助。因为这会回应许多这类担忧。至于该怎么做，我不确定，但我认为，当你谈论的是非常、非常强大的系统时，这会有实质性的帮助。
Dwarkesh：在我们继续讨论对齐之前，我想深入追问一下这一点。顶端还有多少空间？你如何理解超级智能？借用你这个学习效率的想法，它是不是只是以极快的速度学习新技能或新知识？它是不是只是拥有更大的策略池？在中心是否存在一个统一连贯、而且更强大或更庞大的“它”？如果是这样，你想象中它相对于整个人类文明会像神一样强大，还是说它感觉上只是另一个智能体，或另一组智能体？
Ilya：这是一个不同人会有不同直觉的领域。我认为它肯定会非常强大。我认为最可能发生的情况是，多个这样的 AI 会在大致同一时间被创造出来。我认为，如果集群足够大，如果这个集群真的有大陆那么大，那它确实可能非常强大。如果你真的有一个大陆规模的集群，那些 AI 可以非常强大。我能告诉你的只是，如果你谈论的是极其强大的 AI，真正具有戏剧性力量的 AI，那么，是的，如果它们能在某些方面受到约束，或者有某种协议之类的东西，那会很好。因为我认为，如果你问：“超级智能的担忧到底是什么？有什么方式可以解释这种担忧？”如果你想象一个足够强大的系统，真的足够强大，然后你说，好，你需要以一种非常单一目标的方式，做一些明智的事情，比如照顾有感知的生命，我们可能不会喜欢结果。这就是问题的本质。所以，顺便说一句，也许答案是：你不要构建通常意义上的强化学习智能体。实际上，我会指出几件事。我认为人类是一种半强化学习智能体。
我们追求某种奖励，然后情绪或其他东西会让我们对这种奖励感到疲倦，于是我们转而追求另一种奖励。市场是一种非常短视的智能体。进化也是如此。进化在某些方面非常智能，但在另一些方面又非常愚蠢。政府被设计成三个部分之间永无止境的斗争，这会产生某种效果。所以我认为事情是这样的。另一个让这场讨论变得困难的地方在于，我们谈论的是尚不存在的系统，是我们还不知道如何构建的系统。这是另一点。而这其实也是我的看法。我认为人们现在正在做的事情会走一段路，然后逐渐失去动力。它会继续改进，但它也不会就是那个东西。至于那个真正的东西，我们还不知道如何构建。我认为，很多事情都取决于对可靠泛化的理解。我还想说另一点：你可以说，让对齐变得困难的原因之一，是人类价值——你学习人类价值的能力——是脆弱的。然后，你优化这些价值的能力也是脆弱的。你真的会学会优化它们吗？那么，你难道不能说，这些不都是不可靠泛化的实例吗？为什么人类似乎能更好地泛化？
如果泛化能力强得多，会发生什么？在这种情况下会有什么影响？但这些问题——这些问题目前仍然无法回答。
06
如果 AI 代理替我们做完一切，人类还算参与世界吗？
Dwarkesh：我们该如何思考 AI 发展顺利时会是什么样子？因为我认为你已经勾勒了 AI 可能如何演化：我们会有这类持续学习的智能体；AI 会非常强大；也许会有许多不同的 AI。你如何看待大量拥有大陆级计算规模的智能体四处运行？这有多危险？我们如何让它变得不那么危险？又如何在这样做的同时保护一种均衡——其中可能存在未对齐的 AI，也可能存在不良行为者？
Ilya：所以，我喜欢“关心有感知生命的 AI”这个设想，其中一个原因是——我们可以讨论它到底是好是坏——但如果最早的若干个这种具有重大影响的系统，真的关心、热爱人类，或者说关心有感知的生命，那么至少在相当长一段时间里，我能想象事情会发展得不错。当然，这一点本身也必须实现。必须做到这一点。
Ilya：如果最早的若干个系统做到了这一点，那么我可以看到它会运行得不错，至少会持续相当一段时间。然后问题就是长期会发生什么。长期会发生什么？你如何实现一种长期均衡？我认为那里也有一个答案。我不知道这个答案是什么，但它需要被认真考虑。
Ilya：从长期看，你可能会说，如果世界上存在强大的 AI，那么短期内你可以说，我们有普遍高收入，大家都过得很好。但我们知道——佛教徒怎么说来着？变化是唯一不变的东西。所以事情会变化，会有某种政府或政治结构出现，而它也会变化，因为这些东西都有生命周期。某种新的政府机制出现并发挥作用，然后过一段时间后，它就不再有效。这是你一直都能看到的事情。
Ilya：因此，对于长期均衡，有一种方法是说，也许每个人都会拥有一个 AI，替他们做事，这很好。如果这种状态能够无限期维持，那确实没问题。但它的缺点是：AI 会替这个人赚钱，在政治领域为他的需求发声，也许还会写一份小报告，说“这是我做的事，这是现在的情况”。然后这个人说：“很好，继续保持。”但这个人已经不再是参与者了。你就可以说，这是一种不稳固的处境。
Ilya：不过我先说明一下，我不知道这是不是解决方案，但它确实是一种解决方案。这个方案是，人类通过某种 Neuralink++ 之类的方式，变成一部分 AI。这样做的结果是，AI 理解了某件事，我们也理解了它，因为这种理解现在被完整地传递过来了。所以，如果 AI 处在某种情境中，那现在就是你本人也完全参与到了这个情境之中。我认为这就是均衡的答案。
Dwarkesh：我在想，情绪是在数百万年前形成的，很多情况下甚至是在数十亿年前、一个完全不同的环境中形成的，但它们至今仍如此强烈地引导着我们的行动，这是否可以算是对齐成功的一个例子。
Dwarkesh：更具体地说，脑干有这些东西——我不知道把它称为价值函数还是奖励函数更准确——但脑干有一条指令，大意是：和更成功的人交配。大脑皮层则负责理解，在现代语境下“成功”意味着什么。但脑干能够对齐大脑皮层，并说：无论你如何识别什么是成功，虽然我不够聪明，无法理解那到底是什么，你仍然会去追求这条指令。
Ilya：我认为这里有一个更一般性的观点。我认为，大脑如何编码高层次欲望，其实非常神秘。抱歉，是进化如何编码高层次欲望。要理解进化如何赋予我们对闻起来很好的食物的欲望，是很容易的，因为气味是一种化学信号，所以只要追逐那种化学物质就行。很容易想象进化会做这样的事。但进化也赋予了我们所有这些社会性欲望：我们非常在意社会如何正面看待我们，在意自己是否处于良好的社会位置；我们拥有的这些社会直觉，我强烈感觉它们是内置的。而我不知道进化是怎么做到的，因为这是一个高层次概念。它表征在大脑中。比如别人怎么想——假设你在意某个社会性事物。它不是像气味那样的低层次信号，也不是某种有传感器可以直接感知的东西。大脑需要做大量处理，把许多信息片段拼接起来，才能理解社会情境中正在发生什么。然后不知怎么，进化说：这就是你应该在意的东西。
Dwarkesh：是的。
Ilya：它是怎么做到的？而且它做到得也很快。
Dwarkesh：对。
Ilya：因为我认为，我们在意的所有这些复杂的社会性东西，都是相当晚近才进化出来的。所以，进化似乎很轻松地硬编码了这种高层次欲望；而我的看法是，或者至少我会说，我不知道有什么好的假说能解释这是怎么做到的。我曾经琢磨过一些想法，但没有一个令人满意。
Dwarkesh：是的，而且尤其令人印象深刻的是，这是一种你在一生中学会的欲望。这在某种程度上说得通，因为你的大脑是智能的；我们能够学会智能化的欲望，这说得通。但你的观点是，这种欲望——也许这不是你的观点，但一种理解方式是：这种欲望被写进了基因组，而基因组并不智能，对吧？但它却能够——你不知怎么能够描述这种特征，而这种特征需要——甚至都不清楚你如何定义这种特征，然后你还能把它放进——把它内置到基因里。
Ilya：是的，基本上是这样。或者我换一种说法。如果你考虑基因组可用的工具，它会说，好，这里有一个建造大脑的配方。你可以说，这里有一个把多巴胺神经元连接到气味传感器上的配方。
Dwarkesh：是的。
Ilya：如果气味是某种好闻的气味，你就想吃那个东西。我可以想象基因组做到这一点。我主张的是，更难想象的是：基因组说，你应该在意某种复杂计算，而这种计算是你的整个大脑，或者说大脑很大一部分在做的。这就是我的主张。我可以告诉你一个猜想。我曾经想过它可能是怎么做到的。让我提出一个猜想，然后我会解释为什么这个猜想很可能是错的。这个猜想是：大脑有那些区域，也就是脑区。我们有皮层，对吧？
Dwarkesh：是的。
Ilya：它有所有这些脑区。皮层是均一的，但这些脑区，以及皮层中的神经元，主要还是和邻近的神经元交流。这解释了为什么会有脑区。因为如果你想做某种语音处理，所有负责语音的神经元都需要彼此交流。而由于神经元大多只能和附近的邻居交流，它就必须形成一个区域。所有这些区域在人与人之间大多位于相同的位置。所以也许进化确实硬编码了大脑上的一个具体位置。它会说，当大脑的“GPS”坐标某某位置被激活时，那就是你应该在意的东西。也许进化就是这么做的，因为这属于进化工具箱里的能力。
Dwarkesh：是的，不过也有一些例子，比如天生失明的人，他们大脑皮层的那块区域会被另一种感官接管。我也不确定，但如果那些需要视觉信号的欲望或奖励函数不再起作用，我会感到意外。有些人大脑皮层的不同区域被重新征用，比如如果你不再有视觉，你是否仍然能感受到“我希望身边有人陪伴我”之类的需求？通常这类需求也会有视觉线索参与。
Ilya：这一点我完全同意。我认为对这个理论还有一个更强的反驳。你想想人类，有些人在儿童时期切除了半个大脑。
Dwarkesh：是的。
Ilya：他们仍然拥有所有这些脑区，但这些功能 somehow 都转移到了一个半球里。这说明脑区的位置并不是固定的。所以那个理论并不成立。如果它成立会很酷，但事实并非如此。因此我认为这是一个谜，但也是一个有趣的谜。事实是，进化 somehow 非常可靠地赋予了我们关心社会性事物的能力。即使是有各种奇特精神状况、缺陷和情感问题的人，通常也会关心这些事情。
Ilya：我会这样描述：有一些想法，我认为它们很有前景，我想研究它们，看看它们是否真的有前景。事情就是这么简单。这是一次尝试。我认为，如果这些想法最终被证明是正确的，也就是我们围绕理解泛化所讨论的这些想法；如果它们最终被证明是正确的，那么我认为我们会拥有某种有价值的东西。它们会被证明是正确的吗？我们正在做研究。我们明确是一家处于研究阶段的公司。我们正在取得进展。事实上，过去一年我们取得了相当不错的进展，但我们需要继续取得更多进展，做更多研究。这就是我看待它的方式。我把它看作一次尝试，一次成为一种声音、一个参与者的尝试。
07
AI 公司会如何竞争，连续学习会带来什么新局面？
Dwarkesh：有人问过，你的联合创始人兼前 CEO 最近离开去了 Meta。有人会说，如果公司正在取得很多突破，这似乎是不太可能发生的事情。我想知道你会如何回应。
Ilya：是的，所以关于这件事，我只想提醒大家一些可能已经被遗忘的事实。我认为这些事实提供了背景，也解释了当时的情况。背景是，我们当时正在以 320 亿美元的估值进行融资，随后 Meta 介入，提出要收购我们。我说不，但我的前联合创始人，从某种意义上说，说了是。因此，他也得以获得大量短期流动性。而他是 SSI 唯一加入 Meta 的人。
Dwarkesh：听起来，SSI 的计划是成为一家处在前沿的公司，尤其是在抵达人类历史上这个非常重要的时期时。那时会出现超人类智能，而你们对于如何让超人类智能良性发展有自己的想法，但其他公司也会尝试它们自己的想法。SSI 在让超级智能良性发展这件事上的方法，有什么不同之处？
Ilya：SSI 最主要的不同之处在于它的技术路线。我们有一条不同的技术路线，我认为它是有价值的。我们正在推进这条路线。我仍然认为，最终各种策略会趋于收敛。所以我认为会出现策略上的收敛：在某个时刻，随着 AI 变得更强大，每个人都会或多或少更清楚地看到，策略应该是什么。它应该是这样的：你需要找到某种彼此沟通的方式。你希望第一个真正的、实际的超级智能 AI 是对齐的，并且以某种方式关心有感知能力的生命，关心人类，是民主的，或者是这些特征的某种组合。我认为这是每个人都应该努力实现的状态。这也是 SSI 正在努力实现的目标。我认为随着时间推移，即便不是现在，所有其他公司也会意识到，它们实际上在朝着同一件事努力。我们拭目以待。我认为，随着 AI 变得更强大，世界会真正发生改变。我认为很多这类预测都会……我认为事情会变得非常不同，人们的行为也会非常不同。
Dwarkesh：说到预测，对于你所描述的这种系统——它能像人类一样学习，并随后因此变得超越人类——你的时间预测是什么？
Ilya：我认为是 5 到 20 年。
Dwarkesh：5 到 20 年？我想展开一下你可能如何看待未来世界的发展。是不是说，我们还会有几年时间，其他公司继续沿用当前的方法，然后这种方法会停滞。而这里的“停滞”是指它们的收入不会超过数千亿美元的低位区间，还是你如何理解“停滞”的含义？
Ilya：是的，我认为它可能会停滞，而且停滞看起来会非常相似。是的，在所有不同公司之间，大概会是这种情况。我不确定，因为我认为即便出现停滞，这些公司仍然可能获得惊人的收入。也许不是利润，因为它们需要非常努力地相互区分、形成差异化，但收入肯定会很高。
Dwarkesh：但你的模型里似乎隐含着一点：当正确的解决方案确实出现时，所有公司之间会出现收敛。我很好奇你为什么认为会这样。
Ilya：我刚才更多是在谈它们更大层面战略上的收敛。我认为技术路线最终也很可能会收敛。但我刚才指的是最大层面战略上的收敛。也就是说，到底应该做的事情是什么。
Dwarkesh：我只是想更好地理解你如何看待未来的发展。所以目前我们有这些不同的公司，你预计它们的方法会继续产生收入，但无法达到这种“人类学习者”的水平。于是现在就有了这些公司走向不同分叉的局面。有你，有 Thinking Machines，还有其他一堆实验室，也许其中某一家找到了正确的方法。但随后产品发布，会让其他人看清楚这件事该怎么做。
Ilya：我认为不会清楚地显示这件事该怎么做，但会清楚地显示某种不同的东西是可能的。对吧。而这就是信息。然后我认为人们会试图弄清楚它是如何运作的。不过我确实认为，这里有一件事还没有被回应、没有被讨论：随着 AI 能力的每一次提升，我认为做事方式都会发生某种变化，但我不知道具体会是哪些变化。所以我认为这会很重要，尽管我还无法准确说清楚那是什么。
Dwarkesh：那么默认情况下，你会预期拥有这个模型的公司，会获得所有这些收益，因为它拥有一个正在学习如何做所有事情、并在世界中积累技能和知识的模型。有什么理由认为这些收益会被广泛分配，而不是最终都流向最先跑通这个持续学习闭环的模型公司？
Ilya：我认为从经验上看会发生这样的事——这是我认为将会发生的。第一，我认为从经验上看，我们可以看看到目前为止过去的 AI 是如何发展的。一家公司率先取得进展，另一家公司随后仓促追赶，过了一段时间也做出一些类似的东西，然后它们开始在市场上竞争，并把价格压低。所以从市场角度看，我认为那里也会发生类似的事情。即使有人——顺便说一句，我们谈的是一个好的世界。什么是好的世界？好的世界是什么？就是我们拥有这些强大的人类学习者，而且它们也像是——顺便说一句，关于超级智能 AI 的设定，也许还有另一件我们没有讨论但值得考虑的事：你可以把它做得很窄。它可以同时有用且狭窄。所以你可以拥有很多狭窄的超级智能 AI。假设你有很多这样的 AI，并且有一家公司从中获得大量利润。然后另一家公司进入并开始竞争。而竞争的方式会是专业化。我认为将会发生的是，竞争喜欢专业化，你在市场中能看到这一点，在进化中也能看到这一点。
所以会有许多不同的细分生态位，也会有许多不同的公司占据不同生态位。在这样的世界里，你可能会说，是的，一家 AI 公司在某个非常复杂的经济活动领域确实强得多；另一家公司在另一个领域更强；第三家公司非常擅长诉讼，而那会是它赚钱的地方。
Dwarkesh：但这难道不和“人类学习”所暗示的东西相矛盾吗？它的含义不就是它能够学习吗？
Ilya：它能够学习，但你有累积下来的学习，有大量投入，你花了很多算力，才在这件事上变得非常、非常、非常强，真正达到了惊人的水平。而另一个人花了巨量算力和巨量经验，在另一件事上变得非常、非常强。你运用了大量人类学习才到达那里，但现在你处在这个高点，别人会说：听着，我不想从头开始学习你已经学到的东西。
Dwarkesh：我想，这大概需要许多不同公司同时从“具备人类水平持续学习能力的智能体”起步，这样它们才能在不同分支上开展各自的研究。但如果某一家公司率先得到了那样的智能体，或者率先得到了那样的学习者，那么看起来确实是这样：如果你逐一考虑经济中的每一份工作，只要针对每一项进行实例学习，对一家公司来说似乎都是可处理的。
Ilya：这是一个合理的论点。我的强烈直觉是，事情不会这样发展。我的强烈直觉是，虽然这个论点说它会这样发展，但它不会这样发展。这就是——理论上，理论和实践没有区别；实践中，两者是有区别的。我认为这会是其中一个例子。
08
Ilya 的研究品味：为什么真正稀缺的是不同的思维方式？
Dwarkesh：很多人关于递归式自我改进的模型，会非常明确地说：我们会在服务器里拥有一百万个 Ilya，他们带着不同想法进入系统，这将导致超级智能非常快速地出现。你对自己正在做的这件事有多大程度可以并行化，有什么直觉吗？复制多个 Ilya 会带来什么收益？
Ilya：我不知道。我认为肯定会有收益递减，因为你想要的是思维方式不同的人，而不是相同的人。我觉得如果他们真的是我的字面复制品，我不确定还能带来多少，外的增量价值。但思维方式不同的人，才是你想要的。
Dwarkesh：为什么会这样？如果你看不同的模型，即使是由完全不同的公司发布、可能在不重叠的数据集上训练出来的模型，LLM 之间的相似程度其实高得惊人。
Ilya：也许这些数据集并不像看起来那样不重叠。
Dwarkesh：但有一种感觉是，即使单个人类的生产力可能不如未来的 AI，人类团队的多样性也许仍然比 AI 团队可能具备的多样性更强。但我们该如何在 AI 之间激发出有意义的多样性？我觉得只是提高 temperature 只会产生胡言乱语。你想要的是更深层的差异：不同科学家有不同偏见或不同想法。你如何在 AI 智能体之间获得那种多样性？
Ilya：我认为，之所以一直没有多样性，是因为预训练。所有预训练模型基本上都是一样的，因为它们是在同样的数据上预训练的。现在，RL 和后训练是开始出现一些差异化的地方，因为不同的人会提出不同的 RL 训练方法。
Dwarkesh：是的。然后我听你过去暗示过，自我博弈可以作为一种获取数据的方式，或者把智能体与其他具有同等智能的智能体进行匹配，从而启动学习。我们该如何理解，为什么现在没有公开方案表明这种思路能在 LLM 上奏效？
Ilya：我会说有两点。首先，我之所以觉得自我博弈很有意思，是因为它提供了一种只用算力、无需数据来创建模型的方法。如果你认为数据是最终的瓶颈，那么只用算力就非常有意思。这就是它有趣的地方。
Ilya：但问题是，自我博弈至少按照过去的做法，也就是让一些智能体以某种方式相互竞争，它只适合发展某一类技能。它太狭窄了。它只适合谈判、冲突、某些社交技能、制定策略之类的东西。所以，如果你关心这些技能，那么自我博弈会有用。
Ilya：不过实际上，我认为自我博弈已经找到了用武之地，只是形式不同。比如辩论、证明者/验证者，或者让某种 LLM 充当裁判，而这个裁判也被激励去找出你工作中的错误。你可以说这并不完全是自我博弈，但我认为这是人们正在做的一种相关的对抗式设置。
Ilya：真正的自我博弈，是更一般的智能体之间竞争的一个例子，一个特例。面对竞争时，自然的反应是试图变得不同。所以，如果你放入多个智能体，告诉它们：你们都需要解决某个问题；而你作为一个智能体，正在观察其他人都在做什么，你会说，如果他们已经在采用这种方法，那我是否还应该继续走这条路就不清楚了。我应该追求某种差异化的东西。因此，我认为这种机制也可能创造出一种激励，促使不同方法的多样性出现。
Dwarkesh：最后一个问题。什么是研究品味？显然，在 AI 研究领域，你被认为是世界上最有研究品味的人。你共同署名了深度学习历史上许多最重要的成果，从 AlexNet 到 GPT-3 等等。你如何描述自己是怎样想出这些想法的？
Ilya：我可以回答，所以我可以就我自己的情况谈谈。不同的人做法不同，但对我个人来说，有一件事在指引我：一种关于 AI 应该是什么样子的审美——通过思考人是什么样的，但要以正确的方式思考。用错误的方式思考人是什么样的很容易，但正确地思考人意味着什么？我举一些例子。人工神经元这个想法直接受到大脑的启发。而且这是一个很好的想法。为什么？因为你会说，当然，大脑有各种不同的器官，有褶皱，但这些褶皱可能并不重要。为什么我们认为神经元重要？因为神经元数量很多。这在直觉上是对的。所以你会想要神经元。你会想要某种局部学习规则来改变连接。你会想要某种局部学习规则来改变神经元之间的连接，对吧？大脑这样做听起来是合理的。还有分布式表征这个想法。大脑会从经验中学习，神经网络也应该从经验中学习。你会问自己，某件事是不是根本性的？事情应该是什么样的？我认为这在很大程度上一直指引着我：从多个角度思考，寻找近乎美感、简洁性；丑陋没有容身之处。
只有美感、简洁、优雅，以及来自大脑的正确启发。所有这些东西都需要同时存在。它们存在得越多，你对一个自上而下的信念就越有信心。然后，当实验与你的判断相矛盾时，这个自上而下的信念就是支撑你的东西。因为如果你总是只相信数据，有时候你做的是正确的事，但里面有一个 bug。可你并不知道有 bug。你怎么判断那里有 bug？你怎么知道自己应该继续调试，还是该得出结论说这是错误方向？这就要靠自上而下的判断。你可以说，事情必须是这样的，某个东西必须能行，所以我们必须继续推进。这就是自上而下。它基于这种多方面的美感，以及来自大脑的启发。
Dwarkesh：好，我们就到这里。非常感谢你。
Ilya：非常感谢。
Dwarkesh：太棒了。谢谢你。刚才很精彩。
Ilya：是的，我很享受。