导读Scaling Law 研究的是：在一定条件下，增加哪种投入，能让哪个指标改善多少。从预训练预算到后训练与推理计算，这些关系仍在被研究、使用和修正。沿着几次历史转折，才能分清规模带来的收益、方法效率的进步，以及具体预测究竟在哪里失准。
最初，它让“多投入能好多少”变得可估算
训练预算翻倍，文本预测的误差能降多少？让同一个模型回答时多算一会儿，数学题正确率能提高多少？两者都在讨论规模收益，增加的资源和衡量的结果却不同。
投入什么、获得什么、在什么条件下能预测，是理解 Scaling Law 的起点。“投入更多，效果更好”只是趋势；把关系量化，再用未参与拟合的实验检验预测，才能为下一笔投入提供依据。
Scaling Law 通常译作缩放定律或规模定律。2017 年，Hestness 等人已在机器翻译、语言建模、图像分类和语音识别中观察到数据规模与误差的幂律关系。2020 年的研究，是这条路线上的一个关键节点。
这一年，OpenAI 发布了 Jared Kaplan（后来参与创立了 Claude 的开发公司 Anthropic）等人的《Scaling Laws for Neural Language Models》，把语言模型的参数量、数据量、训练计算量与测试损失联系起来，并讨论固定算力预算该怎么分配。
损失可以先理解为：模型预测后续文本时，平均有多不准。研究发现，在一定范围内，投入按倍数增加时，损失按近似稳定的比例下降。团队因此可以先做小实验，再估算大训练的结果。
三幅图分别考察计算量、数据量与参数量；单项关系成立需要另外两项不构成瓶颈，左图还包含论文估算的计算最优前沿 ｜ 来源：Scaling Laws for Neural Language Models，Figure 1
这种可预测性，让昂贵的训练有了规划依据。不过，论文也列出小数据区域拟合不佳等限制；这些是特定条件下的经验关系。
同年，GPT-3 论文又把扩大模型与少样本任务表现的改善联系起来：在提示里给几个示例，就能让模型尝试新任务。规模的意义，也由损失曲线延伸到了更容易感知的任务能力。
2022 年：同样的训练预算，可以有更好的分法
Kaplan 论文的一项具体建议，是随着计算预算增长，把较多增量用于扩大模型，数据量增长相对慢一些。
2022 年的 Chinchilla 研究对这项建议作了实质修正。研究团队训练了四百多个不同规模与数据量的模型，发现当时一些大模型没有得到足够训练。在他们估计的计算最优配置下，参数量翻倍，训练 token 数也应大致翻倍。token 是模型处理文本的基本单位；这里说的是增长比例，不是两者数量相等。
团队随后用与 Gopher 相同的计算预算训练 Chinchilla：参数从 2800 亿降至 700 亿，数据量约增至四倍，在多项下游评测中取得更好表现。
横轴是训练计算量，纵轴是参数量；同一预算下，三种新估计都比 Kaplan 的预测倾向于更小的模型 ｜ 来源：Training Compute-Optimal Large Language Models，Figure 1
这里被修正的，是最优资源分配的具体预测。计算预算既定时，把更多资源用于数据而不是参数，可能获得更好效果。这回答的是“怎么花这笔预算”，而不是宣布模型越小越好。
预算的范围也会改变答案。Chinchilla 重点优化训练阶段；若模型还要服务大量用户，后续推理成本也要计入。训练最优与整个使用周期最划算，可能是不同的配置。
2022—2023 年：从预测损失，到期待更强的能力
2022 年 11 月，ChatGPT 把经过对话微调与人类反馈训练的模型带到公众面前。模型规模、训练方法与产品体验共同发生了变化，“模型更强”也有了更直观的含义：它能否理解要求、完成任务、给出可靠回答。
但这些体验，与论文里的损失不是同一个指标。损失衡量文本预测表现，做题正确率衡量特定任务结果，商业价值还取决于使用场景和成本。
2023 年的 GPT-4 技术报告提供了一个具体的成功预测：团队用较小训练的结果，提前预测了 GPT-4 在内部保留代码集上的最终损失。它说明特定指标可以被提前估算，同时也留下了后续问题：这些改善会如何转化为不同任务上的能力？
规模叙事容易在这里跨出一大步，从“某个指标可预测地改善”，推到“可靠推理、通用能力和商业价值都会持续增长”。要判断后一种说法，需要分别测量这些结果，而不能用一条损失曲线包办。
2024—2025 年：算力也能花在回答一道题上
预训练从大规模语料中学习基础能力，后训练进一步用任务数据和反馈调整模型行为。其中的强化学习，通过奖励信号，让某些回答方式更容易出现。
增加这两类训练计算，需要先更新模型参数，训练后的模型可用于后续请求。推理时扩展则把额外计算花在当前问题上，例如生成更长的推理过程、采样多个答案，或者搜索候选路径再验证。它可以针对难题追加资源，但会增加这次回答的开销，串行推理还会增加等待。
2024 年 9 月，OpenAI 发布 o1，报告增加强化学习训练计算和回答时思考计算，都能改善受测表现。在训练阶段提升模型，与回答时再追加计算，是两种需要共同考虑的资源分配方式。
2025 年的 DeepSeek-R1 论文提供了一个直观对照：作者报告，R1-Zero 随强化学习推进，在 AIME 2024 上的平均单次回答正确率升至 71.0%；对每题采样 64 次再多数投票，成绩进一步达到 86.7%。前者是训练后的模型表现，后者还包含回答阶段的采样与选择收益，预算口径不同。
不过，多算是否有效，还取决于怎样算。Snell 等人 2024 年在 MATH 数学题上的研究就发现，策略效果随题目难度变化：某些搜索方法增加预算后反而退步，最难的一组题也进展有限。负责选择答案的验证器若判断不准，更多搜索可能找到得分高、却没有真正解决问题的路径。
到 2025 年，NVIDIA 官方文章已把预训练、后训练和推理时计算并列为三条扩展方向，并将讨论延伸到推荐系统、语言模型与智能体。
这里需要区分三个层次：论文中可检验的规模关系，工程上增加计算的策略，以及“越大越强”的笼统说法。增加候选数量是一种策略；测出它与正确率的关系、检验更大预算下的预测，才进一步涉及扩展规律。把这些都简称为 Scaling Law，便容易让不同问题共用同一个结论。
当条件改变，哪些预测会失准？
扩展方向变多，也让“撞墙”有了不同对象。
2025 年，苹果研究团队的《The Illusion of Thinking》在汉诺塔、过河等可控谜题中观察到：受测模型随题目复杂度上升，正确率最终崩塌，有些模型还在剩余 token 预算充足时减少了思考。
这检验的是受测模型和作答方式能否应对更复杂的题目。它改变了任务难度，并不是在固定一道题上无限增加计算。后续《Rethinking the Illusion of Thinking》使用 Gemini 2.5 Pro 调整实验，仍观察到汉诺塔中的失败，也指出过河题需要先排除无解配置。任务定义与评测设计，会影响我们怎样解释失败。
另一类问题，直接发生在损失公式上。2026 年 5 月公开的预印本《Prescriptive Scaling Laws for Data Constrained Training》，研究高质量数据有限、需要重复使用同一批语料时，如何分配计算预算。
研究覆盖约 1500 万至 10 亿参数的语言模型。图中的实验固定了两亿个独立 token，逐步增加重复次数：部分模型的验证损失先下降，随后回升。过多重复造成过拟合，对未参与训练的数据反而表现更差。
黑点是观测值，蓝线把重复 token 按新增数据计入，绿线来自另一种有效数据与参数修正；高重复次数下，旧形式未能描述损失回升 ｜ 来源：Prescriptive Scaling Laws for Data Constrained Training，Figure 1
预测还在下降或趋平，观测却向上，这是具体公式在该实验条件下的失配。作者为此引入过拟合惩罚项，修正对重复数据的描述。它与“题目难到模型做不出”属于不同问题，也比“提升越来越慢”更具体。
与此同时，Google 在 2026 年公布的 ATLAS 研究介绍中，继续用扩展规律讨论多语言模型的规模、数据量与语言混合配置。新的研究既在使用规模关系，也在调整它需要考虑的条件；局部失配不足以代表研究界一致放弃了这套方法。
再看“大模型最强”和“Scaling Law 失效”
走完这条历史线，再看模型大小，就容易理解为什么它不能单独决定结论。
收益递减描述的是多投入一份资源，能多获得多少改善；排名第一描述的是最终表现。即使新增投入只带来一点提升，大模型仍然可能领先。
跨代比较还会混入方法进步。按 Meta 的介绍，Llama 3.3 的 700 亿参数模型在部分应用中接近 Llama 3.1 的 4050 亿参数模型。这可以说明新配方让较小模型达到旧大模型的部分表现，却没有回答新配方下继续扩大规模能获得多少收益。
模型大小也有不同口径：混合专家模型每处理一个 token，只激活部分参数；闭源模型还未必公开规模，例如 GPT-4 技术报告就没有披露模型大小。因此，无论“大模型仍领先”还是“小模型追上了”，都要补齐比较条件，才能用来检验某条预测。
同样，所谓“失效”，至少包含五种不同判断：
公式预测与观测偏离，需要新的实验和模型解释；效果还能提升但成本不划算，则要结合应用目标判断。找到正确答案、可靠地选出答案、以可接受的成本交付，也需要分别测量。
所以，看到“Scaling Law 又成立了”或者“Scaling Law 死了”，我会先找它后面的完整句子：在什么条件下，把哪种投入增加多少，预计能让哪个指标改善多少，实际结果是否符合预测？
规模规律的价值，就在于让下一笔投入有依据，也让预测不准时的修正有对象。
参考资料
•Deep Learning Scaling is Predictable, Empirically： https://arxiv.org/html/1712.00409v1
•Scaling Laws for Neural Language Models： https://arxiv.org/html/2001.08361v1
•Anthropic 官方团队介绍（Kaplan 的联合创始人身份）： https://www.anthropic.com/company/leadership
•Training Compute-Optimal Large Language Models： https://arxiv.org/html/2203.15556v1
•Language Models are Few-Shot Learners： https://arxiv.org/abs/2005.14165
•Introducing ChatGPT： https://openai.com/index/chatgpt/
•GPT-4 Technical Report： https://arxiv.org/html/2303.08774v6
•Learning to reason with LLMs： https://openai.com/index/learning-to-reason-with-llms/
•DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning： https://arxiv.org/html/2501.12948v1
•Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters： https://arxiv.org/html/2408.03314v1
•The Illusion of Thinking： https://arxiv.org/html/2506.06941v1
•Rethinking the Illusion of Thinking： https://arxiv.org/html/2507.01231v1
•Prescriptive Scaling Laws for Data Constrained Training： https://arxiv.org/html/2605.01640v1
•ATLAS：多语言模型的实用缩放规律： https://research.google/blog/atlas-practical-scaling-laws-for-multilingual-models/
•Llama 3 系列官方介绍： https://dev.meta.ai/llama/models/llama-3
•DeepSeek-V3 官方介绍（总参数与激活参数）： https://deepseek.com/en/news/deepseek-v3/
•NVIDIA：3 Ways NVIDIA Is Powering the Industrial Revolution： https://blogs.nvidia.com/blog/gpu-cuda-scaling-laws-industrial-revolution/
文章仅做学术分享，如有侵权请联系删除，非常感谢！