OpenAI o3模型FrontierMath基准测试争议与澄清
性能表现：OpenAI于12月推出o3模型时宣称，其在高难度数学基准FrontierMath上的正确率略超25%，远超次优模型的2%。OpenAI研究总监Mark Chen在直播中强调，该成绩是在激进测试时间计算设置下实现的内部上限得分。
第三方验证差异：EPOCH AI独立测试显示o3得分仅约10%，显著低于官方数据。对此，EPOCH指出差异可能源于评估框架强度、测试时间算力投入或所用FrontierMath版本不同。值得注意的是，OpenAI此前公布的下限分数与EPOCH结果相符。
我们的结果与 OpenAI 的结果之间的差异可能源于 OpenAI 使用了更强大的内部框架进行评估、进行了更多的测试时间（即使用了更多的计算资源），或者这些结果是在不同的 FrontierMath 子集上运行的。
后续展望：目前o3-mini-high及o4-mini模型在该基准上表现已优于o3公开版。随着更强变体o3-pro计划于数周内发布，当前公开版本未达峰值预期并不会对用户构成关键影响。