核心结论
Diogo 在其文章《Scaling Laws, Honestly》中揭示的 Kaplan et al. (2020) 原始 Scaling Law 的技术缺陷——固定训练 Token 数和学习率衰减策略导致的"参数越大越好"错误结论——确实是历史事实，但绝非 2026 年的新发现。DeepMind 的 Chinchilla 论文于 2022 年 3 月就已系统性地纠正了这一问题，提出了著名的"20:1 Token/参数最优比”。此后行业迅速转向：Meta 的 LLaMA 系列（2023）率先实践 Chinchilla 原则，LLaMA-3（2024）将 Token/参数比推至 1875:1；OpenAI 的 GPT-4（2023）采用 8×220B 的 MoE 架构，o1（2024）则开创了推理时计算（test-time compute）的全新范式。所谓的"bug 误导行业五年”是一个严重的时间压缩叙事——实际影响窗口仅为 2020 年初至 2022 年初的约两年时间，而非 Diogo 文章标题暗示的整整五年。这篇博客更像是一份迟到的历史复盘，而非开创性的技术揭露。
1. 第一阶段：Kaplan Scaling Laws（2020）——“越大越好”的理论基础
1.1 原始发现与核心结论
2020 年 1 月，OpenAI 的 Jared Kaplan、Sam McCandlish、Tom Henighan 等人发表了里程碑论文《Scaling Laws for Neural Language Models》。该研究系统性地探索了语言模型性能随模型参数量（N）、训练数据量（D）和计算量（C）的幂律关系，提出了以下核心公式：
其中 $L$ 为损失函数，$E$ 为不可约误差，$\alpha \approx 0.073$，$\beta \approx 0.095$。基于这些指数，Kaplan 等人推导出的关键结论是：在固定计算预算下，模型参数量应按 $C^{0.73}$ 增长，而训练 Token 数仅按 $C^{0.27}$ 增长。这意味着当计算预算增加 10 倍时，模型应该增大约 5.4 倍，而数据只需增加约 1.9 倍。这一结论的直观推论是“模型越大越好”——对于任何给定的计算预算，都应该优先将资源投入增大模型规模，而非增加训练数据。
图 1：LLM 训练范式演变——从“欠训练”到“计算最优”再到“推理最优”。数据点大小对应模型参数量，红线为 Chinchilla 最优比（20:1）。
这一发现对 GPT-3（2020 年 5 月发布）的训练决策产生了直接影响。GPT-3 拥有 1750 亿参数，但仅在约 3000 亿 Token 上训练，Token/参数比仅为 1.7:1。按照 Chinchilla 后来的标准，GPT-3 的训练数据量至少应该达到约 3.5 万亿 Token——是它实际使用的 10 倍以上。Gopher（2021 年 12 月，DeepMind）走得更远：2800 亿参数仅训练 3000 亿 Token，Token/参数比低至 1.1:1。
1.2 技术缺陷的根源
Diogo 文章的核心技术洞察是正确的——Kaplan et al.的实验设计存在系统性缺陷。具体来说：
第一，固定训练 Token 数。Kaplan 等人对所有规模的模型使用了相同的约 1300 亿 Token 训练量。这导致了一个明显的悖论：一个 1 亿参数的小模型训练 1300 亿 Token，相当于每个参数“看到”了 1300 个 Token；而一个 1000 亿参数的大模型同样只训练 1300 亿 Token，每个参数仅“看到”1.3 个 Token。小模型实际上被“过度训练”了，而大模型则被严重“欠训练”。在固定的 Token 预算下，更大的模型永远无法充分展示其容量优势。
第二，学习率衰减策略的误导。Kaplan 等人采用了 cosine 学习率衰减，在训练接近目标 Token 数时学习率逐渐降至零。这意味着当训练结束时，学习已经“停止”——即使模型仍有改进空间。这种策略人为制造了“训练饱和”的假象：如果所有模型都在相同的 Token 数上停止学习，那么无论模型多大，看起来都在同一时间点达到了性能平台。Chinchilla 后来证明，如果使用恒定的学习率并增加训练 Token 数，大模型会持续改进，性能差距会显著拉大。
1.3 "Bug"的实际影响范围
将 Kaplan Scaling Laws 的缺陷称为"bug"在技术上是恰当的，但其影响范围需要精确界定。GPT-3 的决策（2020 年 5 月）和 Gopher 的决策（2021 年 12 月）确实受到了这一"bug"的影响。然而，值得注意的是，即使在 Kaplan et al.的论文中，作者也明确指出他们的结论“基于给定的最大 Token 数”，并承认这“不适用于真正的无限数据极限”。换言之，原始论文的局限性在其发表时就已被部分认识到，只是行业在当时缺乏更好的替代方案。
| 模型 | 发布时间 | 参数量 | 训练 Token 数 | Token/参数比 | 与 Chinchilla 最优比的偏差 |
|---|---|---|---|---|---|
| GPT-3 | 2020-05 | 175B | 300B | 1.7:1 | 欠训练约 12× |
| Gopher | 2021-12 | 280B | 300B | 1.1:1 | 欠训练约 18× |
| Chinchilla | 2022-03 | 70B | 1.4T | 20:1 | ✓ 计算最优 |
| LLaMA-65B | 2023-02 | 65B | 1.4T | 21.5:1 | 接近最优 |
| LLaMA-2-70B | 2023-07 | 70B | 2T | 28.6:1 | 略超最优 |
| GPT-4 | 2023-03 | ~1.8T (MoE) | 未公开 | N/A | MoE 架构 |
| LLaMA-3-8B | 2024-04 | 8B | 15T | 1875:1 | 推理最优 |
| Gemma-7B | 2024-06 | 7B | 6T | 857:1 | 推理最优 |
表 1：关键模型的训练配置对比。Chinchilla（2022）后，行业迅速从“欠训练”转向“计算最优”乃至“推理最优”。
2. 第二阶段：Chinchilla（2022）——纠正与范式转向
2.1 Chinchilla 的核心发现
2022 年 3 月，DeepMind 的 Jordan Hoffmann、Sebastian Borgeaud 等人发表了《Training Compute-Optimal Large Language Models》，通常被称为 Chinchilla 论文。这项研究训练了超过 400 个模型（参数量从 7000 万到 160 亿），系统性地探索了模型规模与训练数据量的最优分配。
Chinchilla 的核心发现与 Kaplan Scaling Laws 截然不同：在固定计算预算下，模型参数量与训练 Token 数应按大致相等的比例增长——即 $N_{opt} \propto C^{0.5}$ 和 $D_{opt} \propto C^{0.5}$。这导出了著名的"20:1 Token/参数比"法则：每个模型参数应约对应 20 个训练 Token。基于这一原则，Chinchilla-70B（70 亿参数，1.4 万亿 Token）在与 Gopher-280B（280 亿参数，3000 亿 Token）相近的计算预算下，性能全面超越了后者。
图 2:2020-2025 年 LLM 训练范式演变关键里程碑。三个阶段清晰可辨：Kaplan 时代（越大越好）、Chinchilla 时代（20:1 最优）、推理时计算时代（test-time compute）。
2.2 Chinchilla 对 Kaplan 的修正机制
Chinchilla 之所以能够纠正 Kaplan 的结论，关键在于其实验设计解决了前述两个技术缺陷：
第一，解除固定 Token 数的束缚。Chinchilla 为不同规模的模型训练了不同数量的 Token——小模型训练较少 Token，大模型训练更多 Token。这使得每个规模的模型都能在与其容量匹配的“充分训练”状态下进行评估，从而真正揭示“给定计算预算下最优的模型/数据分配”是什么。
第二，恒定的学习率调度。Chinchilla 使用了不强制在固定 Token 数处归零的学习率策略。这使得模型能够持续学习，直到真正达到收敛——而非被人为地提前截断。DeepMind 的研究人员后来指出，Kaplan et al.如果将其最大规模模型训练到更多 Token，“性能曲线将在达到 Scaling Law 的 Pareto 前沿之前就被截断”。
2.3 学术界的快速验证
Chinchilla 的结论在发表后迅速得到了独立验证。2024 年 4 月，Epoch AI 的 Besiroglu 等人发表了对 Chinchilla 的复制研究，发现最优 Token/参数比约为25.6:1——与 Chinchilla 的 20:1 高度一致。同年 6 月，Microsoft Research 和 MIT 的 Pearce & Song 发表论文《Reconciling Kaplan and Chinchilla Scaling Laws》，指出 Kaplan 与 Chinchilla 的差异主要源于参数计数方式的不同（Kaplan 只计算非嵌入参数，且在小规模上拟合）。2024 年，Porian 等人进一步证实，在纠正了最后一层 FLOPs、warmup 调度和规模相关超参数后，Kaplan 和 Chinchilla 的预测实际上“相当接近”。
3. 第三阶段：行业全面转向（2022-2024）
3.1 LLaMA 系列：Chinchilla 原则的首个大规模实践
Meta 的 LLaMA 系列是 Chinchilla Scaling Law 从理论走向实践的最重要案例。2023 年 2 月发布的 LLaMA-65B 拥有 650 亿参数，训练了 1.4 万亿 Token，Token/参数比为 21.5:1——几乎完美遵循 Chinchilla 的 20:1 法则。这一决策的底层逻辑非常清晰：与其像 GPT-3 那样用 1750 亿参数训练 3000 亿 Token，不如用更小的模型训练更多数据，在达到相似性能的同时大幅降低推理成本。
LLaMA-2（2023 年 7 月）进一步将这一原则发扬光大。LLaMA-2-70B 训练了 2 万亿 Token，Token/参数比达到 28.6:1。Meta 在 LLaMA-2 的技术报告中明确将 Chinchilla Scaling Law 作为训练策略的核心理论依据。到了 2024 年 4 月的 LLaMA-3，Meta 做出了更加激进的决策：LLaMA-3-8B 仅在 80 亿参数上训练了15 万亿 Token，Token/参数比高达 1875:1。这一配置远超 Chinchilla 的计算最优比，进入了“推理最优”（inference-optimal）区域——以更高的训练计算成本换取更低的推理成本和更好的部署性能。
| 年份 | 模型/研究 | 核心创新 | Token/参数比 | 范式标签 |
|---|---|---|---|---|
| 2020 | Kaplan et al. | 首个系统 Scaling Law | 1.7:1 (GPT-3) | “越大越好” |
| 2022 | Chinchilla | 20:1 最优比 | 20:1 | 计算最优 |
| 2023 | LLaMA-65B | 开源 Chinchilla 实践 | 21.5:1 | 计算最优 |
| 2023 | GPT-4 | 8×220B MoE | N/A | 稀疏激活 |
| 2024 | LLaMA-3-8B | 15T Token 超量训练 | 1875:1 | 推理最优 |
| 2024 | Sardana & Frankle | 推理成本纳入 Scaling Law | N/A | 推理最优理论 |
| 2024 | Snell et al. | Test-time compute scaling | N/A | 推理时计算 |
| 2024 | OpenAI o1 | 推理模型/长 CoT | N/A | 推理时计算 |
| 2025 | DeepSeek-R1 | 纯 RL 推理 | N/A | 推理时计算 |
表 2:2020-2025 年 Scaling Law 关键演变节点。从“欠训练”到“计算最优”再到“推理最优”和“推理时计算”，行业在四年间经历了三次范式转换。
3.2 GPT-4 的 MoE 架构：另一条效率之路
OpenAI 在 GPT-4（2023 年 3 月）上的选择同样印证了这一转向趋势，尽管方式不同。据 George Hotz、Soumith Chintala（PyTorch 联合创始人）等多方消息来源，GPT-4 采用了 8×220B 参数的 Mixture of Experts（MoE）架构——总参数量约 1.76 万亿，但每次推理仅激活约 220-440 亿参数。MoE 的本质是一种“稀疏激活”策略：用巨大的总参数量存储知识，但只在推理时调用其中一小部分，从而在保持强大能力的同时控制推理成本。
这一设计与 Chinchilla 的“小模型 + 多数据”路线殊途同归——都是在追求“给定性能目标下的最低推理成本”。GPT-4 没有走 Chinchilla 的“密集小模型”路线，而是走了 MoE 的“稀疏大模型”路线，但底层目标是一致的：不再盲目追求密集参数规模，而是通过架构创新实现效率优化。
3.3 Google 的 Gemma 与推理最优 Scaling Law
Google 的 Gemma 系列同样遵循了这一趋势。Gemma-7B（2024 年）训练了6 万亿 Token，Token/参数比达到 857:1。更值得注意的是 2024 年 1 月 Sardana 和 Frankle（来自 MosaicML/DBRX 团队）发表的论文《Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws》。该研究正式将推理成本纳入 Scaling Law 框架，证明了在高推理需求场景下，训练比 Chinchilla 建议的更小模型、更多 Token 才是总成本最优的。他们的分析显示，对于一个 7B-Chinchilla 质量的模型，如果推理需求达到 $10^{11}$ Token，最优策略是训练一个 6B 参数模型、使用 1.18 倍的数据量，可将总 FLOPs 降低显著比例。
4. 第四阶段：Test-Time Compute 新范式（2024-2025）
4.1 从训练时计算到推理时计算
2024 年 9 月，OpenAI 发布了 o1 模型，标志着 AI 行业进入了 Scaling Law 的第四个阶段——推理时计算（test-time compute / inference-time scaling）。o1 的核心创新在于：不再仅仅通过扩大模型规模或增加训练数据来提升性能，而是让模型在回答问题时“思考更长时间”——生成长链推理（Chain-of-Thought，CoT），进行多步验证和自我修正。
这一范式的理论基础来自 DeepMind（Google）2024 年 8 月的论文《Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters》。作者 Charlie Snell、Jaehoon Lee 等人系统性地证明，通过最优地分配推理时计算（如多次采样、逐步验证、束搜索），一个较小的模型可以匹敌比它大 14 倍的模型。具体而言，对于简单问题，“修订”策略（模型迭代改进自己的答案）最有效；对于复杂问题，“搜索”策略（模型探索多条推理路径并用验证器选择最佳路径）最有效。
4.2 o1、o3 与 DeepSeek-R1：推理模型的工程实践
OpenAI o1 在 AIME 2024 数学竞赛上的表现清晰地展示了推理时计算的威力：GPT-4o 平均得分 12%，o1（单样本贪婪解码）达到 74%，o1 配合 64 样本多数投票达到 83%，而配合 1000 样本重排序更是达到 93%。这意味着通过在推理时投入更多计算，同一基础模型的性能可以被“解锁”到远超其训练规模预期的水平。
2025 年 1 月，DeepSeek 发布了 R1 模型，以开源权重的方式复制并超越了 o1 的推理能力。R1 的核心创新在于纯强化学习（RL）训练：不依赖人类标注的推理轨迹，仅通过可验证奖励（如数学证明检查器、代码执行器）的反馈信号，让模型自发地发展出长链推理能力。R1 在训练过程中自发出现了可识别的推理策略——自我纠正（"Wait, that can't be right because..."）、假设检验（"Let me try a different approach..."）、验证（"I can check this by substituting back..."）。
2025 年 4 月发布的 o3/o4-mini 进一步将推理时计算推向新高度。o3 提供了可调的计算层级（低/中/高），在 ARC-AGI 基准上，低层级得分 75.7%，高层级达到 87.5%——后者是 AI 系统首次在该基准上突破 85%。这证明了推理时计算不仅可以提升性能，还可以按需分配——用户可以根据任务的复杂度和预算选择适当的“思考深度”。
4.3 新范式的本质：Scaling Law 并未终结，而是扩展维度
需要特别强调的是，test-time compute 的兴起并不意味着预训练 Scaling Law 的终结。相反，它扩展了 Scaling Law 的维度——从单一的训练时计算（train-time compute）扩展到了“训练时 + 推理时”的联合优化。OpenAI 研究员 Noam Brown 在 NeurIPS 2024 上给出了最清晰的阐述：他在扑克 AI 研究中发现，"让模型在一手牌中思考 20 秒，获得的提升相当于将模型规模和训练扩大 100,000 倍"。Jensen Huang 在 GTC 2025 上也呼应了这一观点，称“由于 agentic AI 和推理的需求，我们现在需要的计算量轻松是去年同期的100 倍以上"。
| 范式阶段 | 时间范围 | 核心策略 | 代表模型/研究 | 关键指标 |
|---|---|---|---|---|
| Kaplan Scaling | 2020-2022 | 优先扩大参数 | GPT-3, Gopher | Token/参数比 1-2:1 |
| Chinchilla-optimal | 2022-2024 | 参数与数据均衡增长 | Chinchilla, LLaMA-1/2 | Token/参数比 ~20:1 |
| Inference-optimal | 2024-至今 | 小模型 + 超量数据 | LLaMA-3, Gemma | Token/参数比 100-2000:1 |
| Test-time compute | 2024-至今 | 推理时“思考更久” | o1, o3, DeepSeek-R1 | CoT 长度/推理 Token 数 |
表 3:Scaling Law 四个范式阶段的核心特征对比。行业从单一的“训练规模”维度，逐步扩展到“训练效率”和“推理计算”多个维度。
5. Diogo 文章的本质：一份迟到的历史复盘
5.1 技术内容的准确性
Diogo 的《Scaling Laws, Honestly》在技术层面是准确的。Kaplan et al. (2020) 确实存在所述的技术缺陷，Chinchilla (2022) 确实纠正了这些缺陷，行业确实在 2020-2022 年间训练了“过大、数据过少”的模型。Diogo 本人也坦诚承认自己“当时也在 OpenAI 做 LLM 优化，同样错过了这个 bug"。
5.2“历史回顾”而非“新发现”
然而，这篇文章的核心问题在于时态和语境。Chinchilla 论文发表于 2022 年 3 月，距今已超过四年。LLaMA-65B（2023 年 2 月）、LLaMA-3-8B（2024 年 4 月）、o1（2024 年 9 月）、DeepSeek-R1（2025 年 1 月）——行业已经经历了至少三轮重大的训练策略迭代。Diogo 文章所描述的"bug"，在 Chinchilla 发表后就被学术界广泛认知，并在随后的几年里被持续研究和完善。
更准确的定位是：Diogo 的文章是一份面向非技术读者的历史科普，用通俗易懂的语言解释了 Kaplan 与 Chinchilla Scaling Law 差异的技术根源。它有价值——对于刚进入 AI 领域、不了解这段历史的人来说，这是一篇很好的入门材料。但它不应该被包装成“新发现”或“独家揭露”。
5.3 中文媒体的叙事放大
中文科技自媒体（如新智元、机器之心等）在转载 Diogo 文章时，往往采用了高度夸张的标题——例如"OpenAI 塌房！一个 bug 烧掉万亿算力”、"Scaling Law 崩塌！整个行业被误导五年”等。这些标题存在多重误导：
时间压缩。将 2020-2022 年约两年的影响窗口夸大为“五年”，忽略了 Chinchilla（2022）后行业已迅速转向的事实。
因果简化。将“一个 bug"描述为导致“万亿算力浪费”的唯一原因，忽略了即使在没有"bug"的情况下，早期模型训练也受限于当时的数据可用性、硬件能力和研究认知水平。
叙事时态错误。将一份 2026 年的历史回顾当作 2026 年的“新闻”来报道，给读者造成“这是刚刚发生的重大事件”的错觉。
6. 结论：Scaling Law 的演变是一部渐进史，而非突变史
回顾 2020 年至 2025 年的完整时间线，Scaling Law 的演变呈现出清晰的渐进特征：
2020 年，Kaplan et al.给出了第一个系统性的 Scaling Law 框架，其"bug"在当时的技术条件下是难以避免的——在没有大规模实验验证的情况下，固定 Token 数和学习率衰减是合理的工程选择。
2022 年，Chinchilla 通过 400 多个模型的系统性实验纠正了这一偏差，提出了 20:1 的最优比，并在发布后迅速获得独立验证。
2023-2024 年，行业全面转向 Chinchilla 原则。Meta 的 LLaMA 系列从 21.5:1 逐步推进到 1875:1；Google 的 Gemma 达到 857:1；Sardana & Frankle 将推理成本纳入理论框架；Snell et al.开启了 test-time compute 的研究方向。
2024-2025 年，o1、o3、DeepSeek-R1 将推理时计算推向主流，Scaling Law 的维度从“训练时计算”扩展到“训练 + 推理”的联合优化。
这整个过程是一个持续的技术演进，而非由单一"bug"主导的灾难叙事。Diogo 的文章为这段历史提供了一个有价值的技术解读，但读者需要将其放在正确的时间语境中理解——它不是 2026 年的“新发现”，而是对 2020-2022 年一段已被纠正的技术偏差的迟来复盘。真正推动行业前进的力量，不是“发现 bug"，而是 DeepMind 在 2022 年用 400 个模型所做的系统性实验，以及此后四年间 OpenAI、Meta、Google、DeepSeek 等实验室在架构创新（MoE）、训练策略（超量训练）和推理范式（test-time compute）上的持续探索。