研究人员是否发现了一种新的AI“扩展定律”？社交媒体热议背后，专家持怀疑态度
AI扩展定律描述了随着训练数据规模和计算资源的增加，AI模型性能提升的非正式概念。此前，“预训练扩展”（即在更大数据集上训练更大模型）占据主导地位。如今，虽未消失，但已出现后训练扩展和测试时扩展作为补充：前者调整模型行为，后者则在推理阶段投入更多计算资源以驱动“推理”能力。
近期，谷歌与加州大学伯克利分校研究人员在论文中提出了被视为“第四条定律”的“推理时搜索”。该方法让模型并行生成多个可能答案并择优选取。研究声称，仅凭此法即可将一年前的Gemini 1.5 Pro模型性能提升至超越OpenAI o1-preview的水平。
我们的论文聚焦于这一搜索轴及其扩展趋势。例如，仅通过随机采样200个响应并进行自我验证，Gemini 1.5（一款2024年初发布的早期模型！）就超越了o1-Preview并接近o1的表现。这并未使用微调、强化学习或基于真实标签的验证器。
论文共同作者、谷歌博士研究员Eric Zhao指出，Gemini 1.5通过随机采样200次响应并自我验证，便击败了o1-preview。他强调：“神奇之处在于，随着规模扩大，自我验证自然变得更容易。从更大的解池中挑选正确解反而比预期更简单。”
然而，多位专家认为该结果并不意外，且推理时搜索在许多场景下实用性有限。
阿尔伯塔大学AI研究员Matthew Guzdial表示，该方法仅在存在良好“评估函数”（即最佳答案易于确定）时效果最佳。对于通用语言交互等难以用代码定义期望结果的任务，它通常不是有效解决方案。
Zhao对此回应称，论文恰恰关注无法访问“评估函数”的情况。他指出，当评估本身成为模型需通过自我验证解决的问题时，这种情形与拥有真实值验证器之间的差距，可随规模扩大而缩小。
伦敦国王学院研究员Mike Cook则认同Guzdial的观点，并强调这凸显了AI“推理”与人类思维的差异。他表示：“推理时搜索并未提升模型的推理过程，只是规避了模型高度自信却易出错局限性的方式。若模型有5%的错误率，检查200次尝试自然更容易发现错误。”
对追求计算效率的AI行业而言，这并非好消息。正如论文所指，当前推理模型处理单个数学问题的成本可能高达数千美元。看来，对新扩展技术的探索仍将继续。
更新时间：太平洋时间3月20日上午5:12：添加了研究共同作者Eric Zhao的评论，他对一位独立研究者对该工作的批评性评估提出异议。