点“小耳机”可边听边看!
关于“智能与文化的进化”以及“当前AI局限”的详细解读与总结。
这段对话深入探讨了智能在自然界中出现的偶然性与必然性，并将人类的进化之路与当前人工智能（特别是LLM）的发展阶段进行了深刻的类比。
第一部分：智能在进化中是必然还是偶然？
卡帕西的初始立场：感到惊讶
卡帕西最初对智能（特指能积累文化的智能）的进化感到“惊讶”，认为这在一个像地球这样的行星上可能是一个“相当罕见的事件”。
他的论据基于时间尺度和进化瓶颈：
瓶颈一（原核到真核）：生命在细菌（原核生物）形态下停滞了约20亿年，这表明从简单生命到复杂生命的飞跃是极其困难的。
瓶颈二（复杂生命到智能）：尽管多细胞动物出现后的几亿年（占地球历史约10%）内就出现了智能，但他原本预期进化会止步于“肌肉更发达的动物”，而非发展出文化和知识。
趋同进化：智能可能没那么罕见
对话者引入了关键论据：智能的趋同进化。人类和鸟类（如渡鸦）在截然不同的大脑结构下都独立进化出了高度的智能。
这表明，一旦越过了“复杂多细胞动物”这个关键门槛，智能算法本身可能是一种在进化上“唾手可得”的方案。
关键催化剂：生态位与激励机制
那么，为什么是人类而非其他智能生物（如海豚）主导了地球？核心观点在于进化生态位。
人类恰好处于一个奖励智力边际提升的生态位中：
第二部分：人类智能的飞跃——文化飞轮
人类在大约6万年前就具备了与现代人相似的认知架构，但真正的技术爆炸发生在最近的1万年。
中间这5万年，是人类在构建 “文化框架” 的关键时期。代际之间的知识积累——即文化——才是人类智能实现指数级增长的真正引擎。
与AI的对比：在AI训练中，这个“文化积累”过程是免费存在的。LLM直接从人类数千年的文化结晶（预训练语料库）中学习，无需自己花数万年重新发明轮子。
第三部分：当前AI（LLM）的局限与未来方向
当前LLM的核心缺失：没有自己的“文化”
卡帕西指出，尽管LLM吸收了人类文化，但它们自身并不创造和维持文化。这是当前LLM与人类智能的一个根本区别。
什么是AI的文化？
一个LLM可以为其他LLM写一本书，记录它的发现和思想。
其他LLM能阅读这本书，并在此基础上受到启发、进行创新，形成一种动态、增长、共享的知识体系。
目前，LLM只是人类文化的被动消费者，而非主动的贡献者。
另一个缺失的引擎：自我博弈
在进化中，竞争是强大的驱动力量。在AI中，自我博弈（如AlphaGo）已被证明是实现超越的强大算法。
目前，LLM领域还没有出现有效的自我博弈范式。例如，一个LLM为何不能不断生成更难的问题来挑战和训练另一个LLM？
根本瓶颈：LLM的“认知成熟度”不足
当被问及为何这些多智能体文化尚未出现时，卡帕西给出了一个精妙的比喻：当前的LLM还是“孩子”。
他们是“天才儿童”，拥有惊人的记忆力和模仿能力，能产出令人信服的内容。但他们并不真正理解自己在做什么，缺乏对世界细微差别的深刻认知。
正因为它们在心智上还不成熟，所以尚未具备开创和维持一个复杂、自治文化系统的能力。
这段对话勾勒出了一幅清晰的图景：
自然进化在越过关键瓶颈后，在合适的生态位中反复“发现”了智能。
人类智能通过开启“文化积累”这一飞轮，实现了能力的质变。
当前的人工智能直接继承了人类的文化成果，但其本身仍处于 “儿童”阶段，缺乏自主创造文化和通过自我博弈进行自我强化这两个关键能力。
未来的突破可能在于让AI发展出属于自己的、动态进化的文化，并通过多智能体间的复杂互动来实现认知上的成熟和超越，而这可能还需要规模、算法或架构上的进一步革新。
智能和文化的进化
Dwarkesh Patel：你向我推荐了 Nick Lane 的书，于是我也采访了他。我有一些关于智能和进化史的思考问题。
现在，你在过去 20 年从事人工智能研究，可能对智能是什么以及开发智能需要什么有了更具体的认识。你是否因此对进化偶然发现智能感到惊讶？
Andrej Karpathy：我刚才来的时候在听他的播客。关于智慧生物及其进化，这都是非常非常近期的事情。我很惊讶它竟然进化出来了。
我觉得思考世界很有趣。假设有一千颗像地球一样的行星，以及它们的样子。我想 Nick Lane 在这里谈论的是一些早期阶段。他预计其中大多数行星上都会出现非常相似的生命形式，以及类似细菌的生物。这其中也有一些断层。直觉上，我觉得智慧生物的进化应该是一个相当罕见的事件。
也许你应该根据某种生物存在的时间长短来判断。如果细菌存在了 20 亿年却什么也没发生，那么进化成真核生物可能就相当困难了，因为细菌在地球进化或历史的早期就出现了。我们拥有动物多久了？也许有几亿年了，多细胞动物会跑来跑去。这大概相当于地球寿命的 10%。在这个时间尺度上，或许并不太难。但它的发展过程仍然让我直觉上感到惊讶。我原本以为只会出现很多类似动物的生命形式，做类似动物的事情。但事实上，能够创造并积累文化和知识的事物，却让我感到惊讶。
Dwarkesh Patel：如果你认同 Rich Sutton 的观点，即智力的关键在于动物智力…… 他曾说过：「如果你研究过松鼠，你就已经基本掌握了通用人工智能。」
我们在 6 亿年前寒武纪生命大爆发后不久就发现了松鼠的智力。似乎 6 亿年前的氧化事件引发了这一事件。但紧接着，智力算法就出现了，并赋予了松鼠智力。这暗示着动物智力也是如此。只要环境中有了氧气，就有了真核生物，算法就唾手可得了。或许进化如此迅速地偶然发现了这一点只是个意外，但我不知道这是否意味着最终一切都会变得非常简单。
Andrej Karpathy：这些东西真的很难说。你可以稍微根据某种东西存在了多久，或者感觉某种东西遇到瓶颈的时间长短来判断。Nick Lane 非常擅长描述细菌和古菌中这种非常明显的瓶颈现象。20 亿年来，什么都没发生。生物化学极其多样化，但却没有任何东西能够发育成动物。
正如你所说，我不知道我们是否在动物和智慧生物之间看到过类似的对应关系。我们也可以从我们认为某种智慧生物单独出现的次数来看待这个问题。
关于这一点，我想说：人类拥有智慧，鸟类也拥有智慧。渡鸦等动物非常聪明，但它们的大脑部分截然不同，我们之间并没有太多共同点。这或许暗示着智慧的出现只是短暂的。在这种情况下，智慧的出现频率应该更高。
Dwarkesh Patel：之前的嘉宾 Gwern 和 Carl Shulman 就此提出了一个非常有趣的观点。他们的观点是，人类和灵长类动物所拥有的可扩展算法，也出现在鸟类中，或许在其他时期也出现过。但人类找到了一个进化利基，它奖励智力的边际提升，并且拥有一个可扩展的大脑算法，可以实现这些智力的提升。
比如，如果一只鸟的脑容量更大，它早就从空中消失了。就脑容量而言，它非常聪明，但它并不处于一个奖励脑容量增大的生态位。它可能类似于一些非常聪明的……
Andrej Karpathy：比如海豚？
Dwarkesh Patel：没错，但人类有双手，学习使用工具会得到奖励。我们可以将消化过程外化，将更多能量输送到大脑，从而启动飞轮。
Andrej Karpathy：还有需要利用的东西。我猜如果我是海豚，事情会更难办。你怎么生火？在水里，在水里能做的事情，可能比在陆地上少，只是化学层面上是这样。
我同意这种关于这些生态位和激励机制的观点。我仍然觉得这很神奇。我本来以为有些事情会卡在肌肉更发达的动物身上。探索智能是一个非常迷人的转折点。
Dwarkesh Patel：正如 Gwern 所说，它之所以如此困难，是因为存在一条非常微妙的界线：要么是某些东西太重要了，不值得你把正确的电路直接提炼回 DNA 中；要么是它根本不值得你去学习。它必须是某种能够激励你用一生去构建学习算法的东西。
Andrej Karpathy：你必须激励某种适应性。你需要环境是不可预测的，这样进化就无法将你的算法嵌入到你的权重中。从这个意义上说，很多动物都是预先设定好的。人类必须在出生时就弄清楚这一点。你需要这些环境变化非常快，你无法预见什么会有效。你创造的智能就是在测试时弄清楚这一点。
Dwarkesh Patel：Quintin Pope 写了一篇有趣的博客文章，他说他不认为会出现急剧的飞跃，是因为人类在 6 万年前就经历了急剧的飞跃，我们似乎已经拥有了今天的认知架构。1 万年前，农业革命，现代化。那 5 万年里发生了什么？你必须构建这个文化框架，以便代代相传地积累知识。
在我们进行人工智能训练的方式中，这种能力是免费存在的。在很多情况下，它们实际上是经过提炼的。如果你重新训练一个模型，它们可以互相训练，它们可以在同一个预训练语料库上训练，它们实际上不必从头开始。从某种意义上说，人类花了很长时间才实现这种文化循环，但通过我们进行 LLM 的训练，它就免费存在了。
Andrej Karpathy：是也不是。因为 LLM 实际上并不具备与文化相当的东西。也许我们赋予它们太多，并鼓励它们不去创造它或诸如此类的东西。但就文化、书面记录以及彼此之间传递笔记的发明而言，我认为目前 LLM 还没有与之相当的东西。LLM 目前实际上并不具备文化，我认为这是阻碍之一。
Dwarkesh Patel：LLM 的文化会是什么样子？
Andrej Karpathy：最简单的情况是，LLM 可以编辑一个巨大的便笺簿，当 LLM 阅读资料或帮忙完成工作时，它实际上是在自己编辑便笺簿。为什么 LLM 不能为其他 LLM 写一本书呢？那会很酷。为什么其他 LLM 不能读这个 LLM 的书，并从中受到启发或震惊之类的？这些东西都是无法比拟的。
Dwarkesh Patel：这种事情什么时候会开始发生？多智能体系统和某种独立的人工智能文明和文化？
Andrej Karpathy：在多智能体领域，有两个强大的想法尚未被真正提出。我认为第一个是文化，法学硕士（LLM）拥有不断增长的知识库，用于自身目的。
第二个更像是强大的自我对弈理念。在我看来，它极其强大。进化过程中充满了竞争，推动着智能和进化。从算法的角度来说，AlphaGo 是在与自己对弈，这就是它学习如何真正精通围棋的方式。目前还没有与自我对弈的 LLM 等同的东西，但我希望它也能存在。目前还没有人做到过。为什么一个 LLM 不能创造一堆问题，让另一个 LLM 学习解决呢？这样，这个 LLM 就可以一直尝试解决越来越难的问题，诸如此类。
有很多方法可以组织它。这是一个研究领域，但我还没有看到任何令人信服的成果，能够证明这两种多智能体改进的有效性。我们目前主要关注的是单个智能体，但这种情况会改变。在文化领域，我也会将组织划分开来。我们也没有看到任何令人信服的成果。这就是为什么我们还处于早期阶段。
Dwarkesh Patel：阻碍 LLM 之间这种合作的关键瓶颈是？
Andrej Karpathy：或许我会这样说，有些类比方法有效，但实际上却有效，而且效果惊人。许多较小的模型，或者说更笨的模型，与幼儿园学生、小学生或高中生非常相似。不知何故，我们的研究规模还不够大，无法让这些方法真正发挥作用。我的 Claude 代码，他们感觉自己仍然像小学生。我知道他们可以参加博士生测验，但他们的认知能力仍然像幼儿园或小学生。
我不认为他们能够创造文化，因为他们仍然是孩子。他们是天才儿童。他们对这些东西记忆力极强。他们可以令人信服地创造出各种看起来非常不错的杂乱作品。但我仍然认为他们并不真正了解自己在做什么，他们也不具备我们那些需要收集的、关于所有这些小细节的认知能力。
Andrej Karpathy 开炮：智能体都在装样子，强化学习很糟糕，AGI 十年也出不来
“人工智能+产业”，空间因“您”而变！
合作沟通：请加 zr18620222480
链接分享：请发至1638079312@qq.com