致力于开发超级智能系统的AI实验室正意识到，或许不得不绕道而行。
多位向TechCrunch透露情况的AI投资者、创始人及CEO表示，“AI扩展定律”——即过去五年各实验室提升模型能力的方法与预期——如今已显现收益递减迹象。这与近期报道相呼应：领先AI实验室内部的模型改进速度正放缓。
业界似乎已达成共识：仅靠预训练阶段堆砌算力和数据，无法让大语言模型进化为全知全能的存在。尽管这看似显而易见，但扩展定律曾是ChatGPT迭代升级的关键，也是许多CEO大胆预测AGI将在数年内到来的核心依据。
OpenAI与Safe Super Intelligence联合创始人伊利亚·苏茨克弗（Ilya Sutskever）上周对路透社表示：“每个人都在寻找下一个能用来扩展AI模型的要素。”a16z联合创始人马克·安德森（Marc Andreessen）也在播客中指出，当前AI模型的能力上限似乎正趋于收敛。
面对这些令人担忧的趋势，AI领袖们已宣布进入“扩展定律新时代”。其中，“测试时计算”（Test-time compute）被视为极具潜力的突破口，即给予AI更多时间和算力进行“思考”后再作答。
微软CEO萨提亚·纳德拉（Satya Nadella）在Ignite大会上明确表示：“我们正在见证一种新扩展定律的出现”，特指支撑OpenAI o1模型的测试时计算研究。
看好o1代表未来的不止他一人。
Andreessen Horowitz合伙人Anjney Midha在接受TechCrunch采访时称：“我们正处于扩展定律第二阶段，即测试时扩展。”Midha同时担任Mistral董事会成员，并曾是Anthropic天使投资人。
从此前AI扩展定律的意外成功到如今的突然放缓，事实证明很难精准预测AI模型的进步路径与时机。
无论如何，范式转变正在发生：未来五年AI实验室推进模型的方式，或将与过去五年截然不同。
什么是AI扩展定律？
自2020年以来，OpenAI、Google、Meta和Anthropic等公司实现AI模型快速跃升，主要归功于一个关键洞察：在预训练阶段投入更多计算资源与数据。
当研究人员在此阶段（AI识别并存储大型数据集模式的过程）为机器学习系统提供充足资源时，模型预测下一个词或短语的表现往往更优。
这一代扩展定律不断拓展计算机能力边界，工程师们持续增加GPU数量与数据输入量。即便该方法即将触顶，它也已重塑行业版图：各大科技公司全力押注AI，而提供训练所需GPU的Nvidia已成为全球市值最高的上市公司。
但这些巨额投资基于一个假设：扩展效应将持续按预期生效。
需注意的是，扩展定律并非自然法则、物理定律或政府法规，没有任何保证能使其以恒定速度延续。即便是著名的摩尔定律，最终也逐渐减弱。
Anyscale联合创始人兼前CEO Robert Nishihara指出：“单纯增加算力、数据和模型规模会导致收益递减。要维持扩展定律与进步速度，我们需要新想法。”
Nishihara深谙此道。Anyscale凭借帮助开发者将训练负载扩展至数万GPU的软件实现十亿美元估值，是预训练扩展定律的最大受益者之一，但其联合创始人也敏锐察觉到风向变化。
“当你读完一百万条Yelp评论后，后续评论带来的价值便十分有限。”Nishihara以数据扩展局限性为例说道，“但这仅限于预训练阶段。我认为后训练方法论尚不成熟，仍有巨大改进空间。”
诚然，开发者仍会继续追求更大集群与数据集用于预训练，且现有方法尚有挖掘潜力。Elon Musk近期建成了拥有10万GPU的Colossus超级计算机，用于训练xAI下一代模型，未来还将出现更多超大规模集群。
然而趋势表明，仅靠堆叠GPU沿用旧策略已难实现指数级增长，新方法因此备受瞩目。
测试时计算：AI行业的下一个重大押注
OpenAI发布o1预览版时，将其定义为独立于GPT的新系列模型。
GPT模型的改进主要依赖传统扩展定律（更多数据、更强预训练算力），但据报道该方法收益已不明显。o1系列则依托新概念——测试时计算（test-time compute），即在提示词之后而非之前使用计算资源。该技术在神经网络领域虽未充分探索，但已显露潜力。
部分人士已将测试时计算视为扩展AI系统的下一路径。
a16z的Midha表示：“多项实验表明，尽管预训练扩展定律可能放缓，但测试时扩展定律——即在推理过程中提供更多算力——仍能带来持续性能提升。”
著名AI研究员Yoshua Bengio在评论文章中写道：“OpenAI新‘o’系列将[思维链]推向更远，这需要消耗更多算力与能源。我们看到了一种新的计算扩展形式：不仅是更多训练数据和更大模型，更是花费更多时间对答案进行‘思考’。”
在10至30秒内，o1模型会多次自我重新提示，将大问题拆解为一组小问题。尽管ChatGPT声称在“思考”，其机制并非人类思维，但这种清晰重述问题与逐步求解的内部处理方式，为该灵感提供了关键支持。
约十年前，现任OpenAI o1项目负责人诺姆·布朗（Noam Brown）曾尝试构建击败人类的扑克AI。他在近期演讲中回忆，当时注意到人类玩家在出牌前会花时间推演不同场景。2017年，他引入一种方法让模型在出牌前“思考”30秒，期间AI通过模拟子游戏推演局势以确定最佳走法。
最终，该AI表现比以往尝试提升了七倍。
尽管Brown 2017年的研究未使用神经网络，但麻省理工学院研究人员上周发表的论文证实，测试时计算量能显著提升AI模型在推理任务上的表现。
测试时计算的扩展方式尚不明确：可能是AI长时间思考难题（甚至数小时或数天），也可能是让模型在大量芯片上并行“思考”同一问题。
若测试时计算成为主流方向，Midha认为专注于高速推理的AI芯片需求或将大幅上升。这对Groq、Cerebras等专注快速推理芯片的初创公司是利好消息。如果寻找答案的计算量堪比训练模型，那么AI领域的“卖铲人”将再次受益。
AI界尚未陷入恐慌
大多数从业者并未因旧有扩展定律放缓而恐慌。即使测试时计算未能掀起下一波浪潮，许多人认为我们才刚刚触及当前AI模型应用的表层。
新的热门产品可为开发者争取时间，以探索底层模型改进的新方法。
Midha确信：“仅通过纯应用层工作——包括智能提示、用户体验决策及适时传递上下文——至少能让模型性能提升10到20倍。”
例如，ChatGPT高级语音模式是当前令人印象深刻的应用之一，但这主要是UX创新而非底层技术突破。若赋予该功能访问网络或手机App的能力，产品体验将更进一步。
AI初创公司Workera CEO兼斯坦福大学深度学习兼职讲师Kian Katanforoosh表示，构建AI应用未必需要指数级更聪明的模型，围绕现有模型的产品仍有巨大优化空间。
Katanforoosh指出：“若AI在特定任务上产生幻觉，有两种解决路径：要么LLM本身变强以停止幻觉；要么外围工具变好，从而修复问题。”
无论前沿研究如何演变，用户感知变化仍需时日。尽管如此，AI实验室仍将全力以赴推出更大、更智能、更快的模型，这意味着几家领先科技公司可能会调整其拓展AI边界的方式。