【导读】DeepMind 研究员揭露 OpenAI Scaling Law 原始论文存在致命缺陷，导致全球 AI 行业在错误的算力分配方向上浪费数年。GPT-3 等模型被指严重“虚胖”，智能边界或被语言特性重塑。
过去五年，Scaling Law（缩放定律）一直是推动 AI 行业发展的核心信条，也是 OpenAI 坚信 AGI 可行性的基石。然而，前 OpenAI 大模型优化研究员 Diogo Almeida 近日发表博客《Scaling Laws, Honestly》指出：最初的 Scaling Law 因存在代码 Bug 而从根本上就是错误的。
DeepMind 著名研究员 Sander Dieleman 转发该文并评论称，这一错误极可能导致业界在“体量过大、训练不足”的模型上白白消耗了海量算力。
一个 Bug 误导行业两年。当真相被揭开，我们看到的不仅是算力的黑洞，更是一条被语言本身重塑的、远比想象中更深刻的智能边界。
早期结论误导行业方向
2020 年，OpenAI 提出结论：在固定算力预算下，应优先扩大模型参数而非增加数据量。公式显示最优参数量正比于算力的 0.73 次方。这一理论直接定义了 GPT-3 等早期大模型“堆参数”的技术路线。
两年后，DeepMind 发布 Chinchilla 模型推翻此结论，指出模型参数与训练数据应同等重要放大（约每参数配 20 个 token）。Chinchilla 以 700 亿参数、1.4 万亿 token 的配置，在同等算力下全面超越了参数更多但数据不足的 Gopher 模型。
然而，后续研究发现连 Chinchilla 的拟合过程也存在 Bug（如 Loss 尺度设置错误导致拟合过早终止）。这表明 Scaling Law 并非物理铁律，而是基于特定实验条件的经验拟合曲线。
OpenAI 原始研究的三重谬误
Diogo Almeida 指出，原始 Scaling Law 的错误源于三个关键因素：
第一：数据分配的“囚禁”
OpenAI 在实验中对所有不同规模的模型使用了相同的训练 Token 数量（约 130B）。这导致小模型“过饱”，而本需要海量数据的大模型却“营养不良”，从而得出了参数优先的错误结论。
上下滑动查看
第二：学习率衰减的假象
实验采用了余弦学习率衰减策略，在训练末期将学习率强行降至零。这人为制造了模型性能饱和的假象，使研究者误以为增加数据已无收益，实则模型潜力未被完全挖掘。
第三：局部真理的过度泛化
论文声称结果“基本不受学习率曲线影响”，这在有限 Token 的实验条件下技术正确，但不适用于 Scaling Law 所设想的无限数据场景。研究团队将特定约束下的局部规律误当作普适法则。
算力错配与语言偏见的反思
受错误公式指引，全球 AI 行业在过去几年中将大量稀缺算力投入到了无效的规模扩张中。更深层次的反思来自研究者 Adam Zachary Wasserman，他指出目前的 Scaling Law 本质上是“英语 Scaling Law"。
实验显示，在同等架构和算力下，法语模型达到特定语法能力的效率比英语模型高出 50 至 100 倍。原因在于英语属于“形态贫乏”语言，极度依赖统计分布猜测词义；而法语、中文等形态丰富或结构严密的语言，词汇本身携带更多信息密度。
这意味着，当前主流的算力配比方案是基于一种低效语言制定的。若能修正认知偏差，采用更小的模型配合更多优质多语言数据，人类本可节省数万张 H100 的电力消耗，并提前两年进入高效 AI 时代。
参考资料：
编辑：大卫