Scaling Law之争：Hinton与Ilya的师徒分歧
我并不认为Scaling Law已经完全结束了。
正当学生Ilya Sutskever对Scaling Law提出质疑时，其导师、AI教父Geoffrey Hinton却明确表达了相反观点。
Ilya自学生时代起便是Scaling Law的坚定拥护者，并将其理念带入OpenAI；而Hinton早年曾公开承认：“当时的我错了，而Ilya基本上是对的”，并指出Transformer的成功本质在于规模——数据规模与计算规模。
如今，这对师徒立场出现显著反转，引发业界对Scaling Law未来走向的深度讨论。
Scaling Law不死派：Hinton、哈萨比斯
Hinton在近期接受《Business Insider》采访时强调：Scaling Laws依然有效，当前面临的主要挑战是数据瓶颈。
大部分高价值数据都锁在公司内部，免费互联网数据已基本耗尽。
他认为，模型可通过推理自主生成训练数据，如同AlphaGo与AlphaZero通过自我对弈突破数据限制。这一路径同样适用于语言模型，以缓解规模化进程中的数据短缺问题。
谷歌DeepMind CEO德米斯·哈萨比斯持相似立场。他指出：“我们必须将当前系统的规模化推向极致，因为至少，它将是最终AGI系统的关键组成部分，甚至可能成为整个AGI系统本身。”
从AlphaGo学习人类棋谱，到AlphaZero彻底摒弃人类数据、仅凭自我博弈一日登顶国际象棋巅峰，哈萨比斯坚信：规模化+自生成数据+自我进化，是通向通用人工智能的核心路径。
他进一步提出广义规模化概念——不仅包括模型参数，更涵盖训练范式、环境复杂度与系统架构的整体协同演进。其目标是构建可交互的“世界模型”，使数据成为可无限扩展的变量，而非静态分布的有限集合。
一言以蔽之，二人均认为Scaling Law本身未失效，关键在于如何突破瓶颈；且解决思路高度一致：让AI自行生成数据、自我进化。
Scaling Law不够用派：Ilya、LeCun
Scaling Law即“大力出奇迹”，指模型性能随参数量、数据量与算力投入呈规律性提升。该规律在过去十年被GPT系列等大模型反复验证。
但自2025年起，质疑声渐起。Ilya在NeurIPS大会上宣布：“我们所熟知的预训练即将终结。”他将数据比作AI的“化石燃料”，指出全球高质量数据正趋枯竭，预训练增长终将放缓。
他强调，未来属于智能体、推理能力、深层理解与自我意识。尽管OpenAI随后借o1模型回应称“预训练终结，但Scaling未死”，主张转向以推理为核心的新型规模化，Ilya仍坚持：当前范式已遇瓶颈。
在其新公司成立后的采访中，他指出：“过去十年的突破源于特定尺度假设，但它正在改变……随着它的改变，系统能力将增强，安全问题也将最为紧迫。”
会有变化，但我不认为仅靠更大规模就能带来根本性的转折。我们正重新回到研究时代，只不过这一次，我们手里多的是巨型计算机。
他呼吁回归基础研究，重构AI发展范式，而非盲目扩大规模。
关于“缺失的关键要素”，Ilya曾以情感缺失患者为例说明：丧失情绪处理能力者虽逻辑健全、考试正常，却难以决策，财务判断严重失当。由此引申：预训练是否真能复现情感驱动的行动能力，仍存巨大疑问。
另一位持怀疑态度的是Yann LeCun。他在2025年4月表示：你不能简单地假设更多的数据和计算能力就意味着更智能的人工智能。他长期认为大语言模型无法实现AGI，并正推动基于世界模型的新技术路线。
值得注意的是，o1核心成员Noam Brown指出，舆论常将AI争论简化为两极：“怀疑派”与“狂热派”。而真实共识是：
（1）当前范式即便无重大突破，也足以带来巨大经济与社会影响；
（2）实现AGI或ASI仍需关键研究进展，如持续学习与样本效率；
（3）分歧焦点并非“能否实现”，而在于“突破内容”与“实现节奏”。
LeCun对此表示认同。
因此，Hinton与Ilya的根本分歧不在于“是否Scaling”，而在于：我们到底在Scaling什么？