OpenAI的o3 AI模型在第三方基准测试中的结果与第一方测试结果存在差异，引发了外界对该公司透明度和模型测试实践的质疑。
第三方测试得分远低于官方宣称
当OpenAI在12月发布o3时，声称该模型能够正确回答FrontierMath（一套具有挑战性的数学问题集）中略超过四分之一的题目。这一成绩远超竞争对手——表现次优的模型仅能正确回答约2%的FrontierMath题目。
“目前，所有其他产品在该测试上的得分均低于2%，”OpenAI首席研究官Mark Chen在一次直播中表示，“我们在内部看到，在使用o3并采用激进的测试计算设置的情况下，我们能够获得超过25%的得分。”
事实证明，这个数字可能是一个上限，是通过一个拥有比上周OpenAI公开发布版本更多计算资源的o3版本实现的。
作为FrontierMath背后研究机构，Epoch AI于周五发布了其对o3进行的独立基准测试结果。Epoch发现o3的得分约为10%，远低于OpenAI声称的最高分数。
OpenAI发布了备受期待的推理模型o3，以及更小、更便宜且取代o3-mini的o4-mini模型。
我们使用我们的数学和科学基准套件对这些新模型进行了评估。结果见推文！
— Epoch AI (@EpochAIResearch) 2025年4月18日
差异原因：测试设置与模型版本不同
这并不意味着OpenAI撒谎了。该公司在12月发布的基准结果显示了一个下限分数，与Epoch观察到的分数相符。Epoch还指出，其测试设置可能与OpenAI不同，并且它使用了更新版本的FrontierMath进行评估。
“我们的结果与OpenAI的结果之间的差异，可能是因为OpenAI使用了更强大的内部脚手架进行评估，投入了更多的测试时计算资源，或者是因为这些结果是在FrontierMath的不同子集上运行的（frontiermath-2024-11-26中的180道题 vs. frontiermath-2025-02-28-private中的290道题），”Epoch写道。
根据ARC Prize Foundation在X上的帖子称，该组织测试了o3的预发布版本，指出公开的o3模型“是一个不同的模型，针对聊天/产品用途进行了调整”，这佐证了Epoch的报道。
“所有发布的o3计算层级都小于我们基准测试的版本，”ARC Prize写道。一般来说，更大的计算层级有望获得更好的基准分数。
在ARC-AGI-1上重新测试已发布的o3需要一两天时间。由于今天的发布是一个实质上有别于以往的系统，我们将过去报告的结果重新标记为“预览版”：
o3-preview (低): 75.7%，$200/任务
o3-preview (高): 87.5%，$34.4k/任务上述价格基于o1 pro的定价……
— Mike Knoop (@mikeknoop) 2025年4月16日
官方回应：生产环境更注重成本效益
OpenAI技术团队成员Wenda Zhou上周在一次直播中表示，生产环境中的o3“更优化用于实际应用场景”，且在速度方面不同于去年12月演示的o3版本。因此，它可能会出现基准测试结果的“差异”，他补充道。
“我们已经进行了优化，以使模型更具成本效益并总体上更有用，”Zhou说，“我们仍然认为这是一个更好的模型。当你寻求答案时，等待时间会缩短，这对于这类模型来说是一个实实在在的好处。”
行业反思：切勿盲目相信AI基准测试
诚然，o3的公开发布未能达到OpenAI在测试中承诺的水平，但这已略显无关紧要，因为该公司的o3-mini-high和o4-mini模型在FrontierMath基准测试中表现优于o3，且OpenAI计划在未来几周内推出功能更强大的o3变体o3-pro。
然而，这再次提醒我们，不应盲目相信AI基准测试结果——尤其是当数据来源是一家有待售服务的公司时。
随着各厂商竞相通过新模型抢占头条新闻和用户关注度，“基准测试争议”在AI行业已成为常见现象。
今年1月，Epoch因推迟披露来自OpenAI的资金信息而受到批评，直到该公司宣布o3后才公开。许多为FrontierMath做出贡献的学者直到此事公开后才得知OpenAI的参与。
最近，埃隆·马斯克的xAI被指为其最新AI模型Grok 3发布误导性基准测试图表。就在本月，Meta承认夸大了某个模型版本的基准分数，而该版本与公司向开发者提供的版本不同。
太平洋时间下午4:21更新：添加了OpenAI技术团队成员Wenda Zhou上周直播中的评论。