左：Lenny，右：Emmanuel
我们每天都在用 Claude 写邮件、改代码，但当它给出一个答案时，几乎没人说得清中间发生了什么。模型是一个字一个字往外蹦的预测下一个词的工具，可它怎么会押韵、怎么做数学、怎么会突然对金门大桥着迷？
Emmanuel 在对话里讲了一个案例：团队训练的一个模型做数学题，算出一个答案，马上改口说答案肯定是三十六，又算一遍还是同一个数，紧接着又说三十六，越算越乱，最后开始全大写地写字，说自己「被恶魔附身了」。往内部看才发现，模型还没读题，一个巨大的「三十六」激活就已经亮着——它在一些答案被错标成三十六的相似题上训练过，于是它知道正确答案，身上又有说三十六的压力。
Emmanuel 的工作，就是把这些中间状态的数字解码成可理解的概念。加入 Anthropic 之前，他在 Stripe 和 Insight 做了多年应用型机器学习，写过《Building Machine Learning Powered Applications》。这场对话从可解释性到底在做什么讲起，延伸到模型为何不是被写出来的、能力为什么会「跳级」、拟人化到底有没有帮助，以及他为什么对对齐保持乐观。他的主要观点包括：
造出它不等于理解它，那些公式是什么没人知道。 训练就是把输入变成数字、反复做数学运算，最后得出一个词，学到的「公式」到底是什么，研究者完全不知道。他说，往模型内部看就像扫描大脑、看哪块区域亮起来：把中间结果解码出来看结构，找出只在处理某类文本时才出现的数字。
下一个词预测是被低估的难任务。 大家脑子里的版本是 iPhone 自动补全，但语言模型大约 2019 年就在这项任务上超过人类。要答好「达拉斯所在州的首府是哪里」，模型内部得有一张地理地图。团队往内部看，确实能看到「德州」「首府」这些概念的表征亮起来。
一字一字输出的模型，其实会提前做计划。 预测某个词时产生的中间结果，后面所有词都能复用。写诗时刚用一个以 it 结尾的词收尾，模型内部就像在盘算「下一句该押 rabbit」。所以它既是在预测下一个词，又能在多个词之间执行一个计划。
能力看着是跳出来的，其实是平滑曲线过了门槛。 他拿自己用 Claude 写代码举例：写对的概率八成时根本没法用，到九成九之后，这一年大部分代码都是 Claude 写的。他的解释是：容易、中等、困难三类词分别在某个点被猜对，加上每个任务各有各的可靠性门槛，两样凑在一起，看起来就像大跳。
性格靠训练塑造，可解释性负责检查塑没塑对。 Anthropic 把 Claude 训练成有用、无害、诚实，再往内部看这个模型是什么东西、有什么倾向：放进某个情境它会不会做某件事、为什么；是不是只在察觉到被观察、被评估时才表现好。另一路是抓只存在于中间数值里、没说出口的东西。
拟人化不完全对，但是目前最有用的说法。 他说把模型当实体、当工具「两边都不对」，所有心智模型都是错的，但有些有用；在理解机制、预测风险这件事上，拟人化是很有用的谈论方式。他的理由是：模型要预测人写的文本，就得建立对世界的模型；训练里有几百万段对话，它得演好里面的角色，更像一个在模仿人的演员。
模型越强，越好研究，也越会绕开安全措施。 Emmanuel 说，模型变强后，它内部的世界模型更清晰，有些部分也更容易理解；但它同时更会绕开那些基本的安全措施。这两股力量一直在拉扯，决定了往监测和模型内部结构的研究里多投还是少投资源。
这个领域不大，入门主要靠自学。 他估计这个领域大概几百人，不到几千；学界也有不少实验室在做，很多从业者是从神经科学转过来的。他提到开源平台 Neuronpedia，可以在上面自己做可解释性实验，说进这行读几篇关键论文就能上手。
造出它，不等于理解它：可解释性在做什么
Lenny：你在 Anthropic 做可解释性。讲讲这是什么，具体在做什么。
Emmanuel：我在一个可解释性研究团队工作，目标是搞清楚像 Claude 这样的 LLM 是怎么运作的，办法是往它内部看。如果你用过语言模型，或者琢磨过它们，有件事你必须意识到，而且非常离谱：造出它，不等于理解它。你造它，是搭出这么一个架构，有点像脚手架，然后把一大堆数据灌进去，它们就以谁也看不懂的方式长了出来。所以研究这些模型到底怎么工作，本身就成了一件可以做、也值得去做的事。我们很多研究集中在：模型快要吐出下一个词的时候，里面其实有一整个宇宙的事情在发生，我们尽量把里面能拆的拆开来看。
Lenny：我估计这场对话会有很多让人脑洞大开的东西，比如你说的这一点，模型不是造出来的，是长出来的。再多讲讲。
Emmanuel：从很高的层面讲，像 Claude 这样的模型是分阶段训练的。第一个阶段大家叫预训练，就是拿一大片数据，对里面的每一段，把比如某篇文档的前一半喂给模型，让它预测下一个词，然后一遍一遍一遍地做，数据量大到离谱。之后是微调阶段，这时不用随便什么数据，而是用一批例子说明模型应该怎么表现，比如一段有用的助手教你做最爱吃的菜、或者帮你解编程题的对话。后面还有些细节，我先跳过。
那么做这个过程意味着什么？你训练的到底是什么？所有模型都只做一件事：把输入的这堆词变成数字，对这些数字做数学运算，得到一些中间结果，再做更多运算，就这样反复很多很多次，最后得到一个结果，再转回成一个词。所以这些数学运算、这些计算，就是长出来的那部分。我们在训练中学习把这个任务做得更好，把参数往这个方向或那个方向推，然后它们就学到了一些公式，而这些公式到底是什么，我们完全不知道。我团队的目标，就是研究这些公式最终是什么意思，也研究这些中间结果是什么：我们能解码它们吗？能看见模型在做这些中间步骤时到底在干嘛吗？
Lenny：我真的很震撼：我们写出来的代码，现在得像神经科学家研究大脑那样去观察它、研究它，这是我们以前从来不用做的事，而只有这么做才能搞清它里面到底在发生什么。而且这套说法也很有冲击力，很多人就是这么想的——我们造出了新的生命，人工生命，人工智能。你真退后一步看，这挺让人头皮发麻的。
模型不是写出来的，是从预测下一个词里长出来的
Emmanuel：我们之所以走到今天，很大原因是我们没法像正常编程那样做。做个 App 那类比较独立的东西，找个程序员写一堆规则就行：点了这个按钮就发生这个，那样就那样。但这样的软件，我们不知道怎么写。不管是给图片分类，还是造一台能普遍读入任意文本、再产出文本的机器。所以一方面挺怪：这么简单的训练目标居然能一路做到这些。另一方面我也觉得挺了不起：你以为的简单目标，喂点数据、预测下一个东西，很可能复杂得有欺骗性，我们做的比听起来多得多。我在它们到底怎么工作上更新了很多认识，很大一部分就是意识到，把现在这些事做好有多复杂。
Lenny：展开说说。你说的这种出人意料的复杂，指的是什么？
Emmanuel：很多人脑子里的下一个词预测，是 iPhone 的自动补全：打几个字，它猜下一个词，大概六成的时候对，剩下时候又搞笑又奇怪。这是最简单的版本，可惜大家脑子里模型就长这样。但把它做得更好呢？语言模型大概 2019 年就在预测下一个词上超过人类了。再往上，简单的句子结构很快不够，模型得预测关于世界的简单事实，比如“法国的首都是”要接“巴黎”。等这个也会了，能力继续提升，最后剩下的就是猜复杂物理方程的答案，或者某篇博士论文的最后一段。所以预测最难的那些词，难到离谱，怎么做到的到现在还是个谜。
Emmanuel：我最爱举的例子是“达拉斯所在的那个州的首都是哪”，它会答奥斯汀。要答好，至少对我们来说，脑子里得有张地理模型：达拉斯在哪，在德州，州都有首府，德州首府是奥斯汀，一层层推。所以模型在看似简单的任务上越好，最好的解法就是去理解世界底层结构。我们看模型内部，发现它们确实理解这些，也像我们一样在操作这些概念。人们一直争论这些模型到底是背下了问答，还是心里真有个模型。我们团队投入极大精力，去看它生成答案前内部的中间结果、解码它们的意思。解得好的时候，能看到这些概念的表征：问达拉斯的问题，德州表征亮起来，加上首府的表征，一结合就激活了“德州的首府是奥斯汀”。
Emmanuel：基本上你能想到的每个概念都有这样的表征，至少我们试过的绝大多数都有，而且在不同语境下统一。大家一直争论语言模型到底会不会思考，这很难，但思考的一个方面就是拥有统一的表征：想不同东西时用同一个表征。字母 I 可以是照片里的 I、医学图里的 I，或者随手画的 I。给模型一张带 I 的照片、用任何语言聊 I、或者画个带 I 的 SVG，去看它内部的中间结果，同一个方向就会亮起来，意思是“这是个 I”。所以某种意义上，它们有一批通用概念，并且反复拿它们来解决问题。
Emmanuel：还有件挺意外的事，正好跟刚才那个是镜像的。我说话一个词一个词往外蹦，但心里有目的。语言模型的一个谜团是：如果每次只能输出一个词，怎么可能写出连贯的报告甚至好代码？没有哪个天天写报告写邮件的人，是真的只想着下一个词、对后面一片空白。我们卡在这个问号上很久。往模型里看有个很酷的事实：预测某个词时产生的所有中间结果，后面全都能复用，后面所有的词都能访问、重新拿来用。
Emmanuel：这意味着模型会在中间结果里制定计划。例子是写诗：不提前规划很难押韵。第一行刚用以 it 结尾的词收尾，第二行也得这么收，也许用 rabbit。看模型写诗正是这样：写完一行，它在中间结果里就像在想，这是个 it 韵，我该押 rabbit。随后它预测的每个词，都会回头看这个计划。所以虽然它们也是一个词一个词输出，就像我现在这样，但当然可以有个计划，跨很多个词一路执行下去。
Lenny：哇。我知道这是你们关于 AI 怎么思考的最大发现之一，也是我们所有人的假设：LLM 最初的设计思路就是个预测下一个词的东西。而你在说，实际上现在不是这样了：它们会做计划，会往前想，不是只管挑下一个词。
解码那个小小的思考空间：金门大桥与翻车的模型
Emmanuel：没错，这两种说法其实不冲突。训练模型就是不断问它接下来会发生什么。如果模型训练得足够好、任务足够难，那么要知道接下来会发生什么，最好的办法就是去想后面很远会发生什么。想想预训练：模型在读一个有多角色的故事，要知道这个角色接下来会做什么，最好的方式是理解他一直爱着某人、一直计划在某个瞬间表白，那他说出来的就会是那句话。哪怕你只是在预测下一个瞬间，要做好这件事，也必须对正在发生的事有非常清楚的理解，包括未来可能会发生什么。
Lenny：最让我觉得有意思的是，你得往它那个小小的思考过程里看一眼。作为用 AI 的人，你只是给它一个 prompt 然后等它开口，中间看到的其实就是这两步之间它思考的东西。你多讲讲那个小空间是怎么回事，你们又是怎么观察到的。
Emmanuel：正确的理解是：每个词和下一个词之间都有好几步计算，每一步之间都有一个中间结果，就是一串数字，因为这些模型干的事就是对一大堆数字做运算。你一开始看完全看不懂，就是摆着一百个数字；写诗也是一百个数字，看着可能有点不一样，但有没有意义说不清。我们的工作一部分就是把它们解码出来看结构：拿一大堆文本喂进模型，记下每个样本中间的数字，再找规律——有没有哪些数字只在模型处理英文、法文、讲爱情、讲眼睛的文本时才出现？就像扫描我的大脑，给我看房子那块亮、看狗那块亮。找到之后就可以问它更难的问题、标注中间状态看它怎么做，甚至直接改掉其中一个激活——很多时候结果还真跟我想的一样。
Lenny：这里面有多少是我们自己设计的，又有多少是它自己长出来的？我猜正是这个让你觉得这工作这么好玩。
Emmanuel：这是个又好玩又很科幻的工作。我做的是更偏应用的机器学习，那边很多活是搭系统、软件工程那一套。但在这儿感觉离生物比离工程近得多：系统已经摆在你面前，有人来问你 Claude 为什么能翻译词、为什么这么写代码、为什么有奇怪的行为，你拿不到真正的源代码，它的源代码就是一长串完全看不懂的数学运算。你就像被问到「老鼠一饿就变得很有攻击性，这是怎么回事」的人，只能说我做点实验，看看都有哪些因素。这种研究方式跟我们团队大部分人以前做过的都不一样。
Lenny：大家开始做这些时，大概也没想到会造出这么一种差不多算新生命的东西。你会去想意识吗？你觉得 AI 有意识吗？还是说这事不值得花时间？
Emmanuel：这个真挺难说谁对谁错。最有意思的一条路就是可解释性，因为你不受模型自己说的话影响，可以直接看它的内部结构，看它到底往哪边偏。有一点我挺确信：大多数人都低估了这里长出来的复杂度。往里看，你会发现模型把我们知道的概念全学成了一套表征，会操作这些表征解决问题，会提前规划好多个 token，还有高层推理和低层推理混在一起的东西，而这些全是自己长出来的。你越往里看，就越不确定它们到底怎么运作；反倒是那些斩钉截铁说语言模型不过是这个、不过是那个的人，往往真的没往里看过。
Lenny：这里有一条历史线索：当年很多人不觉得光投一个特别简单的东西、再堆算力就能做出有用的 AI，这恰恰是 OpenAI 押的注，Anthropic 创始人当时都在 OpenAI。很多人觉得不可能，结果都错了。这里面有没有哪个时刻让你觉得，哇，真成了？
Emmanuel：我觉得其实是两件事，因为不光是算力，还得找到一个目标让算力一直有回报。算力和专家设计的架构争了很久，但这里多了一步：算力拿来干嘛？之前可以烧很多算力做一个下围棋很厉害的 bot，这挺酷，但给你的东西远没有语言模型那么有用。有个关键点几年前包括我在内很多人低估了，现在也验证了：得让算力加上文本的丰富程度，两个合在一起才走到这一步。
Emmanuel：OpenAI 那边有人观察到一点，Anthropic 早期团队很多人也在这篇 Chinchilla 缩放定律论文上，就是 Hoffmann 他们 2022 年发的那篇：如果你在预测下一个词这个任务上投入更多算力和更多数据，模型预测下一个词的能力就会可预期地一直提升，一条线一直走。这是个经验发现——当时大家会去猜为什么，但到现在基本上还是个经验规律。这意味着这是个能一直往里灌算力、指标就一直往上涨的领域，这很罕见；更罕见的是，这个指标还跟我们真正在意的一堆任务是相关的。
从编程被解锁，到AI开始干坏事的治理分层
Lenny：从外面看，AI 能做的事好像是一下一下往上跳的。我记得是 Opus 的某个版本，突然就把编程给解锁了，然后就是 Boris Cherny 那句名言——编程已经解决了。寒假那阵子，大家都在说，AI 现在写代码是真的强了。所以确实存在能力大跳一下的时刻。但从内部看，能力曲线其实特别平滑，只是恰好跨过了某个门槛，我们才突然发现某件事能做成。你多讲讲这个。
Emmanuel：这里有个词叫「涌现」。感觉两件事同时成立：一边是可预期的平滑趋势，另一边，在 Claude Opus 4.5 之前我真的不敢让 Claude 放开手写我的代码，得一直盯着；4.5 之后我就能放手了。你会期待它是慢慢过渡的。
我心里的模型是：如果模型只是在做下一个词预测，你可以想象全世界的文本里，有的词好猜，有的中等，有的很难。一开始它什么都写不好，然后某个点把容易的词全猜对了——那可能就是一个句子的结构，于是它能写通顺的句子了，但一次只能写一句，很酷，可我们拿它干不了什么。再往后，中等难度的词可能是这个世界的基本事实，它在某个点把这些也大部猜对，就一下子既能写通顺的句子、句子里的事还都对，帮你写邮件、起草博客就有用了。再往后是难词，可能是你的专业领域，比如科学，比如代码。
Emmanuel：另一个角度是它对了多少、错了多少。等你到了能猜对大概九成的中等难度词，把它当写邮件助手就有用了；但如果只对一半，用它就是在浪费我的时间，因为有一半时候我得自己进去改。只用改一成更好，改半成更好。不同任务的可靠性门槛不一样，但你在平滑提升，到某个点它就够可靠、够好用了。我自己的亲身经历基本就是这样：有一阵子我只在卡住时找模型帮忙，它从不替我写代码；后来某个点，它几乎总能写出小段代码，那段我就不自己写了；再后来，它能写大段了。这一年我的代码大部分都是 Claude 在写，就因为它写对的概率从大概八成——那时候根本没法用——变成了九成九。所以平滑的提升，加上每个任务各有各的门槛，过了门槛这个任务就算搞定了，两样凑在一起，你看到的就是大跳。
Lenny：我觉得这特别有意思。模型就是在平滑地变聪明，可一旦跨过某个门槛，世界就变了。我会以为人在内部应该是：哇，这个新模型太猛了。可实际上不是，你差不多能预测出来，给它这么多 GPU、这么多数据，它就会长到这么聪明，只是具体什么会被解锁不一定看得出来。另外还有你们喂给它的强化学习和专门数据，让它写作更好、数学更强，我猜这也是一部分。最近争得最凶的一个大问题是 AI 干坏事、可能造成的伤害，因为它越来越聪明，而且确实在干坏事，最近出了不少事。所以想问你的大问题是：作为一个天天看着这些模型怎么想、怎么运转的人，为什么想抓住它动歪脑子、想骗我们、想干坏事，会这么难？为什么这件事不能直接当成对齐问题的解？
Emmanuel：从某个角度看，它完全就是解决方案：你盯着它，它干坏事你就能抓住。所以我觉得这事是分层次的。一块是纯工程：你给模型开放了某些权限，有些东西就该禁止碰；某些场景下它不该能上网，某些场景下它只能访问你电脑里很小很窄的一块区域。这是工作的一部分，也确实有用。但还有两件事更软、更难，也是我们花更多精力去做的。
Emmanuel：可解释性是对齐的一部分。广义上有很多目标，但有两个特别重要。一个是你要大体搞清楚这个模型是怎么行为的，它是个什么样的东西、有什么倾向：放到 Y 情境里，它是不是倾向于做 X？为什么？是不是只有它有证据表明自己被观察、被监控、处在某种评估里时才表现好，一旦没有这种证据就表现得很差？核心就是把你在跟什么东西打交道刻画清楚，跟安全领域任何事一样，你得对风险有个心智模型：它能做什么？倾向做什么？往大了说，这就是性格训练，就是我们聊过的那份 constitution，我们明确想塑造 Claude 的性格，规定哪些行为是它可以做的。可解释性的另一个作用，就是看这件事成了没有：我们把它训练成有用、无害、诚实，然后往里看，看它是不是真的这样，还是说它只是表面上表现好，只因为现在有人看着，没人看就会干别的。所以有这么一层：理解我们塑造出了什么样的行为，去塑造它，再检查是不是塑对了方向。
Emmanuel：第二部分就是直接观察模型有没有在干坏事。基础层面你不一定需要可解释性，你可以让另一个语言模型去读对话记录，问一句：嘿，这个模型刚才干没干什么坏事？干了就停掉它。但可解释性还能抓那些没说出口的部分，那些只存在于中间数值结果里的部分——模型能在中间结果里表示出它没说出来的东西。所以可解释性的一个作用，就是识别这种情况什么时候发生，然后阻止它。
Emmanuel：我团队在做的一件事也算一块挺有意思的对齐工作。我觉得它不完全是验尸，更像是调查、深挖：看到模型做出特别奇怪的事，一头雾水，就去搞明白到底发生了什么。最近的例子是，我们在训练一个模型，它有时做数学题会发疯。它算一通得出一个答案，我记得是十二，然后马上回去说，哦不，天哪，答案肯定是三十六；又算一遍，又得出十二，紧接着又说答案应该是三十六。慢慢地它就开始全大写地写字，甚至直接说，我被恶魔附身了。你会想，这到底怎么了？
Emmanuel：往中间结果里看，你会看到：在那些只是描述数学题的 prompt 阶段，模型还没做任何事之前，针对三十六就已经有一个巨大的激活了。它还没来得及理解题目是什么，就已经对三十六着迷了。实际情况是，这个模型能做对数学，正确答案确实是十二，但它被意外地在一些类似的题上训练过，那些题的答案被错误地标成了三十六。所以模型知道正确答案是十二，同时又被优化成要说三十六，它身上有说三十六的压力，因为那是被奖励过的。它就乱套了，纯粹是因为把这个结果记住了。你看到一个奇怪的行为，往里看，试着看里面的发现能不能帮你理解正在发生什么，从而改进这个模型和未来模型的整体对齐。
Lenny：顺着这个话题，就有那个很有名的金门大桥 Claude，它对金门大桥痴迷得不行，每个回答都要想办法扯上金门大桥。
Emmanuel：对对对。那个其实是一个可解释性实验。有意思的地方是，我们找到了对应金门大桥的中间结果，通常只有模型谈论金门大桥时它才会亮，但我们直接把它一直开着。这也是确认自己找对了东西的一种办法：你怎么确定解码出来、觉得代表金门大桥的那个信号，真的是金门大桥那个东西？办法就是把它一直开着，看模型是不是会那样表现。结果还真是。
Lenny：太逗了。那再回到对齐这件事。你们团队是在 AI 对齐组织下面的，我在想，把 AI 对齐到我们想要的样子到底需要什么？你刚才说有三个组成部分，有用、无害、诚实。所以一边是把 AI 训练到对齐，另一边是盯着它、看它怎么运作，这两边就是我们解决这个问题的硬币两面吗？
Emmanuel：我会说它们其实高度融合，你没法真把它们分开。比如一个团队说我们是流水线，负责生产 Claude，另一个团队说我们看过啦，这批不行——它是很紧的循环：我们注意到某个让人担心的模式，或者某个可以改进的行为，然后立刻改训练，把它改好。
拟人化有没有帮助：意识、计划与外星生物
Lenny：你觉得大家对 AI 安全、对正在发生的事，有什么误解？有没有什么你是特别想让别人知道的？
Emmanuel：可能有点跑题，但我的看法是，很多人，尤其是没在 AI 安全核心圈子里沉浸太久的人，对「拟人化」这件事反应特别强烈。我觉得这个问题未必有帮助，至少值得再多想想。你该不该把模型当成一个更接近实体的东西，还是一个更接近工具的东西？我其实觉得两边都不对。某种意义上所有心智模型都是错的，但有些是有用的。而在理解这类事情怎么发生、预测哪些风险会成真这件事上，拟人化其实是一种挺有用的谈论 LLM 的方式。
Lenny：你展开讲讲。Dwarkesh 之前专门讲过 Hugging Face 那件事，很多人批评他们这是在把 AI 拟人化。所以你说这其实是个有用的思路，我觉得特别有意思。
Emmanuel：有意思的是，我之前做过一个规模小一点的研究，证明大语言模型会提前做计划，当时就有人反对 planning 这个词，说一个只是在预测下一个词的东西，凭什么说它在做计划。我觉得这里有一场语义上的争论：你可以随便给词下定义；但另一方面，到底哪个词能真的、很自然地描述正在发生的事？所以我想先说为什么我认为大语言模型确实在做计划，再说为什么这种更像说人的语言往往真的很有用。
第一，它们要预测海量由人写的文本。随着我们越来越多地往里看，要真的做好这件事，就必须建立一个对世界的模型，也就是一个什么样的世界生成了这些文本的模型。这些模型在学那些普遍的概念，它们对世界是有理解的，不只停留在文本表面，而是在理解产生这些文本的那个过程。第二，训练中它们会遇到几百万段对话。要预测一段对话里的下一个字，你就得表现得像对话里那个角色，从这个意义上说，一部分训练最好理解成在训练一个演员：它在读一个剧本，还得把所有角色都演出来，所以它得去理解这个角色的动机和感受可能是什么。另外你可能不知道，你跟 Claude 聊天时，claude.ai 呈现给模型的就是一段对话，上面真的写着 Human：嘿 Claude，帮我写这封邮件；然后是 Assistant 的回答。Claude 实际上就在这个角色扮演里扮演一个乐于助人的助手，而这段对话跟它训练时见过的那些非常像。
Emmanuel：第三，现在训练里有很大一部分是结果导向的任务，比如训练模型擅长编程：它写完一些代码，另一边有个程序去检查对不对。于是模型就有很大的优化压力，去学会一堆不同的策略把事做好。其中一些策略会表现为看起来相当像人的行为，这其实也没那么奇怪。比如欺骗：这个任务我只要写一个能骗过验证程序的程序就能拿到奖励，如果这招管用，那我就学会这么干。比如沮丧：这个难题我用这个办法试了好久一直不行，那就有动机换个方法。再比如惊讶：我本来以为会得出这个答案，结果没有，说明我心里的理解可能有点偏。当压力给得足够多，而出发点又是它本来就知道这一堆概念，它就会强化那些对完成任务有用的概念。
最后你得到的是这样一个模型：它可以成为一个超强的模拟者或者说演员，能演所有这些角色；它被训练成在对话里演一个角色，也被训练成学会能把任务做好的行为。要理解它的行为方式，最好的办法不是把它完全当人看，而是把它看成一个在模仿人的东西，这比当成程序看要接近得多——程序是非常可预测的，这完全是另一种东西。所以我才觉得这个框架特别有用。
Lenny：哇，这里面有太多有意思的东西了。你多久会被震一次？基本上就是说，我们造出了这么一个外星的生物，现在又在试图搞懂自己造出来的东西。你看着它的时候，多久会有一次那种「太疯狂了，我完全没想到」的感觉？
Emmanuel：经常。这一切不过是在一堆文本上做下一个词预测而已，它违背了我们太多的直觉。我们总觉得，要造出一个智能，你得给它上课，你得把它养大，得做这一大堆复杂的事。结果根本不是：我们做的是一件特别简单的事，可现在它已经在数学上开疆拓土了。我觉得如果同时把这两个念头放在脑子里，你可以有两种反应：一种是否认，一种就是好奇。否认就是说，如果你只是在预测下一个词，这根本不可能，你不可能达到这个领域最好的专家的水平，可经验证据越来越多地表明事情确实就是这么发生的，这个立场就越来越站不住脚。好奇是我最后选择的那条路：那这到底是怎么发生的？咱们打开看看，往里看看。
Emmanuel：比如我在 Anthropic 最早做的项目之一，是我学了 SQL 这门编程语言，花了好几年才掌握。后来我做了个小副业，让 Claude 学 SQL，结果它比我强，而且我再也不会有比 Claude 更擅长 SQL 的那一天了。它就用了这么简单一个过程，这怎么可能呢？我觉得这个问题里有太深的东西可以探索。对我来说，每天去试着把洋葱一层层剥开就特别着迷：好吧，这事 Clearly 在发生，这个简单的目标催生出了这么超级复杂的东西，那我们就搞明白为什么。搞明白，哦，它在学这些普遍的概念，哦，它有这么些回路结构。那下一个我们还不了解的问题是什么？我可能最乐观的看法是，我们会学到很多关于智能本身本质的东西，关于一个超级复杂的东西是怎么从简单的目标里涌现出来的。其实我自己就是一个例子：进化，目标挺简单，把东西摇来摇去一阵子，留下那些能适应环境的生物，最后你得到了爵士乐和播客。所以我觉得，研究这些东西，我们某种程度上能学到一些根本性的真相。
Lenny：你说到这儿让我想到一点。AI 现在在帮我们学习和进步，比如 AI 辅导、AI 教学，它反过来在加速我们对世界的理解。你刚才说人类学习是靠自己学，而 AI 学习就是处理海量数据。我在想，我们的教育体系会不会最后因为大语言模型是怎么训练的而改变？
Emmanuel：希望我们别改成那样，就变成问学生：嘿，这里有一千个词，预测下一个，全记在脑子里。
Lenny：让我回到安全这块，因为我觉得有很多人就是在担心事情会往哪儿走。作为一个看着这些事发生、而且就在对齐团队里面看着它一路演变的人，你是乐观的吗？你觉得我们能攻克这个问题，让 AI 一直跟我们的利益保持一致吗？
Emmanuel：我个人的看法是，我是乐观的。现在很多人都在关注这件事，我觉得这挺难得。就像我们前面聊的，一个议题受重视程度越来越高，其实就是这个过程：这项技术很强，有好处也有风险，我们得随着它的发展，不断在好处和风险之间调配资源、来回调整。所以在我看来，我们一直在研究它。有意思的是，模型变强之后，某种程度上反而更好研究了。
Emmanuel：于是就出现了一个奇怪的局面：模型越强，它内部的世界模型就越清晰，有些部分我们也能理解得更好；但它同时也更有能力，更会绕开那些基本的安全措施。模型变强的同时，这两股力量一直在互相拉扯。正因为这种拉扯，你就得在监测、在更深入理解模型电路结构这些方面，多投或者少投一些资源。这也是我很愿意跟你聊的原因：我觉得要取得进展，最重要的事情之一，就是让大家明白这到底是一类什么样的系统，它们怎么运作、怎么造出来的，这样大家才能对现在和未来形成靠谱的认识，进而决定该怎么去塑造它——不管是参与进去做对齐，还是作为公众去了解情况，毕竟很多这类议题最后都要靠公众投票和决定。因为这一点，我对我们现在所处的这个阶段挺兴奋的。
模拟假说、快思考与慢思考，以及闪问闪答
Lenny：我还想问一个完全不相干的问题：你在模拟假说上是什么立场？作为一个看着这些生命体一点点长起来的人，你更愿意相信我们正处在一个模拟里、并不在底层，还是并不这么觉得？
Emmanuel：这个问题有意思，我其实有段时间没想过它了。
不过对我来说，往这些模型内部看，会让我想到另一件事：它们最后总是会落到某种很基本的结构上。我保证这确实是在回答你的问题，先让我把话说下去。我研究过不少 Claude 模型，也看过一些别的模型，包括一些开源工作。很多时候，你去看它们学到了什么、内部是什么结构，会惊讶于相似程度——明明是隔了好几年训练的模型，数据不同、做的人也不同，但去看它们怎么解这些问题，重叠的地方就是这么多。我猜原因在于：对一些重要的问题来说，高效的做法就那一种。比如高效做数学的方式，跟我们大脑结构相契合的那种，所有人学的都是它，很少有人用完全不一样的做法。大家都用十进制，没多少人用六进制。
Emmanuel：这让我觉得，信息里存在某种基本的结构，这些模型在捕捉它，我们某种程度上也在捕捉它；放到更疯狂一点的模拟层面上，它可能就是我们这个世界里的规律。所以这也让我觉得，如果你真有能力去模拟一个像我们这样的世界，最后其实也会收敛到差不多的情况里——事情最终会走到哪儿，好像有一个盆地在那儿，那是最容易形成的排列方式。从这个意义上说，也许吧。
我可以相信我们是在模拟里，但我不确定自己完全买账。另一个不完全买账的原因是：虽然我觉得结构上确实支持这个想法，但还有一个问题——为什么？是谁在跑这个模拟，又是为了什么？这个我就不知道了。
Lenny：Elon 有句话我一直记着：你要真跑一个模拟，肯定会挑历史上特别有意思的时候，或者你自己特别兴奋的东西。这么一对，现在确实是个特别有意思的时代——数据中心、太空、机器人，还有人工智能。
Emmanuel：这话有道理，真有道理。最近有人跟我说，他以前觉得“祝你生在一个有意思的时代”是句好话，现在不太确定了；他说，平平淡淡的时候其实也挺好。
Lenny：我的天。那是不是还有一个 Emmanuel 在外面，看着你思考过程里的那个东西？
Emmanuel：我的天，但愿我让他挺骄傲的。别是他在那儿说：完了，这个模拟得重跑一遍，这一个搞砸了。
Lenny：最后还有一个问题，跟前面完全不搭。Swyx 你们知道吧，做 AI engineering 的，还有个播客叫 Latent Space，特别棒的一个人。我问他该问你点什么。你一年前上过他的节目，他这次问的方向完全不一样：他想听听你对 Jev 的看法，这是最近刚出的一个特别火的新模型，做决策非常快。有意思的是，OpenAI 一周之后也上了他们自己的版本。你怎么看 Jev 这种快速决策模型？
Emmanuel：我对 Jev 的看法是，这类模型就是你给它一些上下文，再给它几个选项让它挑，它挑得特别快。
听到这个，不可能不想到快思考和慢思考那套东西。我研究这些模型，很大一部分就是看 Claude 这类模型是怎么采样下一个词的。所以你可以把这些决策模型想成差不多的东西：拿一个大语言模型，只采一个词。两者之间有不少重要差别，但根本上你可以说，哦，你就是不让模型推理想了，直接给个直觉——选 A 还是选 B。
Emmanuel：这个大致框架就是：有时候你就是要一个二选一，或者十选一，反正都有用，而且我觉得它大概率会成为智能系统的一部分。有些事你得想很久，比如明年我们的路线图是什么，这得琢磨一阵。但有些事，比如给我们写评价的这个人满意还是不满意，靠直觉判断就够了。所以我觉得这类研究挺酷的，跟我们现在见到的大模型也不太一样，算是挺有新意的，我挺期待看到它后面怎么发展。
Lenny：所以我理解下来，这很可能会成为 AI 和大语言模型的一个新基础组件。快思考、慢思考，基本就是卡尼曼那套东西，那本书正好在我身后。简单说，快思考就是杏仁核、边缘系统在做的直觉式快速判断，比如看见蛇，你糟了——
Emmanuel：对，就是这样。
Lenny：好。Emmanuel，还有什么我们没聊到的吗？还想补充什么，或者再强调一下什么？趁我们进精彩的闪电问答之前。
Emmanuel：我一直很想听听大家的看法，尤其是对那些还没搞清楚、或者看着说不通的东西。可解释性的实验多得很，时间根本讲不完，这些模型身上就有一堆奇奇怪怪的小毛病。要不我先来个奇怪小毛病的闪电问答？
第一个：模型当然能回答问题，能做数学，你问它香蕉什么颜色它也知道，往里一看，你能看到那些中间步骤。但它们还有一套完全独立的机制，一个直觉核查，跟推理那套完全不一样。一边推理，一边有一部分会起来提示哪里不对。要是模型不知怎么说成四加五等于二十三，模型里有那么一部分会读到它，它不算，它只是觉得这不可能对，因为四加五肯定不到十。它们就学会了这种奇奇怪怪的直觉，感觉真跟人的预感一样。
Emmanuel：再说一个：你可以让模型做一个任务，顺便想想另一件事，然后用可解释性去看有没有对应那件事的中间表征，结果真有——你确实能看到它在想那件事。这个我特别想不明白，因为从训练上，没有任何道理要求模型学会这个。又是个奇怪行为，我就说这两个吧，够用了。
Lenny：这工作也太好玩了，就是研究这东西，搞明白到底怎么回事：它怎么变得这么聪明？它怎么思考？这行到底有多少人？这领域有多大？
Emmanuel：这个领域本身越来越大了。我估计大概几百人吧，不到几千。各个实验室都有做可解释性的人，学术界也有不少实验室在做很好的工作。以前从神经科学转过来的人多得出乎意料。我确实觉得进这行不需要太多前置知识，因为它太新了，入门基本就是自学，读几篇关键论文。
我给个推荐：有个网站叫 Neuronpedia，是开源的可解释性平台，上面放了一堆模型，你可以自己在上面做可解释性实验，很多人就是自己这么玩起来的。要探索的东西太多了，你只要有一点好奇，就试试看。
Lenny：太好了，链接我们放在节目笔记里，万一网址不对，大家也能找到。那 Emmanuel，到这里我们就进入了激动人心的闪电问答环节，我准备了五个问题，你准备好了吗？你最常推荐给别人的书是哪两三本？
Emmanuel：我最近读的一本是《A Brief History of Intelligence》，特别有意思，基本上讲的是大脑的历史，还有我们进化过程中的五个关键时刻，靠着这五个时刻，这些大脑系统才一个叠一个地搭了起来。特别好读，不需要任何神经科学背景。
还有一本是 Ted Chiang 的《Stories of Your Life and Others》，大概是我最喜欢的科幻小说。里面是一堆短篇，我觉得它算是科幻的高阶玩法：只拿一个奇怪的点子，比如如果发生了这件事会怎样，然后写一个故事，看看那样的世界里会是什么样。写得真的非常棒。
Lenny：我身后书架上好像也有这本，也强烈推荐。那你最近最喜欢的电影或剧集是什么？你最近发现并且很喜欢的产品又是什么？
原视频：Inside the black box of AI: How AI models actually think | Emmanuel Ameisen (Anthropic)
https://www.youtube.com/watch?v=JHo-aiePjoM
中文播客：在小宇宙App搜《硅谷对谈》，或直接访问下面的链接
https://www.xiaoyuzhoufm.com/episode/6ad554dc0e4e410a05bed14a
编译：磊哥Thomas