上个月，人工智能创始人和投资者向TechCrunch表示，我们正处于“扩展定律的第二阶段”，传统改善AI模型的方法正显现收益递减趋势。为保持增长，“测试时扩展”成为新方向，这似乎是OpenAI o3模型性能提升的关键，但也带来了新的缺点。
AI界普遍将o3的发布视为AI扩展未“撞墙”的证据。o3在基准测试中表现卓越：在ARC-AGI通用能力测试中大幅领先其他模型；在某项高难度数学测试中得分达25%，而其他AI模型均未超过2%。
尽管目前能亲自测试o3的人极少，TechCrunch对此持保留态度，但在o3发布前，业界已确信重大转变正在发生。
OpenAI o系列联合创作者Noam Brown指出，公司在宣布o1仅三个月后便发布了o3，性能提升周期极短。
我们于三个月前刚刚宣布了@OpenAI o1。今天，我们宣布了o3。我们有充分的理由相信这一趋势将持续下去。pic.twitter.com/Ia0b63RXIk — Noam Brown (@polynoamial) 2024年12月20日
Brown表示：“我们有充分的理由相信这一趋势将持续下去。”
Anthropic联合创始人Jack Clark也在博客中指出，o3证明AI“2025年的进步速度将快于2024年”。即便Clark是在称赞竞争对手，暗示扩展定律延续对Anthropic及其融资能力同样有利。
Clark预测，明年AI界将把测试时扩展与传统预训练结合，以从模型中获取更多回报。这也暗示Anthropic等厂商可能在2025年效仿Google，推出自己的推理模型。
所谓“测试时扩展”，指OpenAI在ChatGPT推理阶段（用户发送提示后）投入更多计算资源。具体机制尚不透明：可能是增加芯片数量、使用更强推理芯片，或延长运行时间（有时长达10至15分钟）。虽然o3制作细节未公开，但基准测试表明该方法有助于提升性能。
尽管o3提振了市场对AI扩展定律的信心，但其前所未有的计算量也意味着单次回答成本显著上升。
Clark写道：“O3之所以更好，部分原因在于推理时运行成本更高——利用测试时计算能力可将算力转化为更优答案。”这使得AI系统成本变得难以预测，以往仅需根据模型和输出量即可估算服务成本的模式不再适用。
业界常以o3在ARC-AGI基准测试中的表现为例。该测试用于评估通用人工智能（AGI）突破，通过测试不代表已实现AGI，仅是衡量进展的方式。o3在该测试中取得88%的高分，远超此前所有模型；OpenAI次优模型o1得分仅为32%。
然而，图表的对数x轴揭示了惊人事实：高分版o3每项任务消耗超1,000美元计算资源；o1约为5美元；o1-mini仅几美分。
ARC-AGI创建者François Chollet指出，相比效率较高的o3版本，OpenAI为获得88%的分数多投入了约170倍计算资源。高分版o3完成测试耗资超1万美元，因成本过高无法参加ARC Prize比赛。
尽管如此，Chollet仍认为o3是AI模型的突破。
他表示：“o3能适应从未遇到的任务，在ARC-AGI领域接近人类水平。但这种通用性伴随高昂成本，目前并不经济：花约5美元请人解决一个ARC-AGI任务（且能源消耗仅几美分）可能更划算。”
现在讨论确切定价为时尚早。过去一年AI模型价格大幅下降，且OpenAI尚未公布o3实际成本。但这些数据表明，要突破现有性能壁垒，哪怕只是微小提升，也需要巨大算力。
这引发诸多疑问：o3究竟适用于哪些场景？要在o4、o5或后续推理模型上获得更大提升，还需多少额外算力？
显然，o3或其继任者不会像GPT-4o或Google Search那样成为日常主力工具。其算力消耗过大，不适合处理“克利夫兰布朗队如何进入2024年季后赛”这类日常小问题。
相反，具备测试时算力的AI模型更适合宏观层面提示，如“克利夫兰布朗队如何在2027年成为超级碗级别球队？”除非你是球队总经理并据此做重大决策，否则很难承担如此高的算力成本。
沃顿商学院教授Ethan Mollick指出，初期只有资金雄厚的机构才负担得起o3。
对于大多数用途来说，O3显得过于昂贵。但在学术界、金融业以及许多工业问题上，为一次成功的解答支付数百甚至数千美元并非不可接受。如果它普遍可靠，那么在成本下降之前，o3就已经会有多种应用场景——Ethan Mollick (@emollick) 2024年12月22日
OpenAI已推出使用高算力o1版本的“200美元层级”，据报道还曾考虑最高2,000美元的订阅计划。了解o3的计算资源消耗后，便能理解这一考量。
但用o3处理高影响力工作仍有局限。正如Chollet所言，o3并非AGI，在一些对人类极其简单的问题上仍会失败。
这并不意外，大语言模型仍存在严重幻觉问题，o3和测试时计算并未解决此痛点。这也是ChatGPT和Gemini在每个答案下附带免责声明的原因。若AGI真正实现，或许就不再需要此类提醒。
改进AI推理芯片是获取测试时扩展收益的另一途径。Groq、Cerebras等初创公司专注于此，MatX等则致力于设计更具成本效益的芯片。Andreessen Horowitz合伙人Anjney Midha预计，这些公司将在未来测试时扩展中发挥更大作用。
尽管o3显著提升了AI性能，但也引发了关于使用方式和成本的新问题。不过，其表现确实印证了一点：测试时算力是科技行业扩展AI模型的下一个最佳路径。