导读
世界上第一个明牌自己是大语言模型的人，可能是信息论鼻祖香农的妻子贝蒂。1950 年前后，香农与贝蒂进行了一场“猜字母”实验：香农扮演考官，贝蒂根据上下文预测下一个字母。这一看似简单的家庭游戏，实则是人类历史上最早的真人版"Next-token Prediction"（下一词预测）。3Blue1Brown 最新视频借此探讨了预测、压缩、熵与大语言模型（LLM）之间的深层联系。
LLM 的本质：一场猜字母实验
香农的实验逻辑清晰：他从书中选取段落，逐个字母询问贝蒂下一个字符是什么。若贝蒂猜对，香农画短横代替；若猜错，则记录正确字母。最终生成的文本中，可预测部分被省略，仅保留不可预测的意外字符。
表面上看字数减少了，但信息量并未丢失。因为只要拥有相同的语言模型（即贝蒂的大脑），即可通过短横还原原文。这直观地证明了“可预测性允许压缩”的原理。正如日常交流中，随着默契增加，人们可用更少的词汇甚至表情包传达相同含义。
然而，人脑存在不稳定性。为了精确测量语言的信息量，香农在论文《Prediction and Entropy of Printed English》中改进了实验：记录受试者猜中正确字母所需的次数。猜测次数越少，说明该字母在当前上下文中概率越高；次数越多，则越意外。
香农测量的并非静态词频，而是人类基于上下文分配概率的能力。在这个意义上，贝蒂就是第一个运行 Next-token Prediction 的“人脑模型”，而香农则是不断追问“下一个符号是什么”的训练者。
预测与压缩：大模型的一体两面
香农实验的核心在于划掉可预测部分，仅保留必须写出的意外字符，从而实现文本压缩。由此引出一个关键问题：如何判断压缩方式的优劣？标准很简单：越短越好。
当一段信息被压缩至极限，所有规律已被榨干，剩下的便是纯粹的“信息”。在香农的定义中，信息即“出乎意料的程度”。若下一个字母极易预测，其携带的新信息便极少；若完全无法预测，则必须完整记录。
理想的压缩算法输出应类似随机噪声，因为噪声无模式、无规律，不存在冗余可删。这意味着所有可预测的内容已被移除，每一位数据都必须传输。至此，预测与压缩完成了逻辑闭环：预测决定哪些部分可以不写，压缩则将这部分删除，留下的即是信息。
信息量与熵的数学表达
香农公式将“不可预测性”量化：若事件发生概率为 p，其信息量为 -log₂(p)。概率越小，信息量越大；概率越大，信息量越小。
从编码角度看，该公式回答了区分一条消息所需的最少比特数。面对多种可能性的分布（如机器人上下左右指令），若各方向概率均等，则采用等长编码；若概率不均，高频事件应用短码，低频事件用长码，以降低平均比特数。
这种在特定分布下，每来一个新符号平均还需多少比特来表示的不确定性，被称为“熵”。熵越低，系统越易预测、越易压缩；熵越高，系统越随机、越难压缩。语言系统因可能性繁多且依赖长上下文，其熵的计算更为复杂。
从熵到 Loss：大模型在压缩什么
大语言模型需在成千上万个 Token 中，基于上下文选择最可能的下一个。语言的熵本质上是在问：给定前文，下一个 Token 还有多少不确定性？从压缩视角看，即用模型压缩真实文本时，平均需花费多少比特写出下一个 Token。
这也解释了为何大模型训练中的交叉熵损失（Cross-Entropy Loss）与压缩紧密相关。模型赋予真实 Token 的概率越高，意味着意外程度越低，编码该 Token 所需的比特数就越少。因此，交叉熵越低，模型的压缩能力越强。
模型若能精准预测下一个 Token，说明其已捕捉到语言中的重复结构，包括语法、事实、代码习惯乃至部分世界常识。虽然压缩不等于智能（如 ZIP 软件不会思考），但智能必然包含一种核心能力：抓住世界中可预测的结构并将其压缩进参数中。
回顾香农与贝蒂的实验，七十多年后的今天，贝蒂猜对的地方变成了短横，如今变成了大模型降低的 Loss；书页变成了互联网，猜字母的人变成了 GPT。它们都在回答同一个问题：下一个符号，能带来多少惊讶？
参考链接：
[1] https://www.youtube.com/watch?v=l6DKRf-fAAM