关于AI基准测试的争论——以及AI实验室如何报告这些结果——正逐渐浮出水面，进入公众视野。
本周，一名OpenAI员工指控埃隆·马斯克的AI公司xAI发布了其最新AI模型Grok 3的误导性基准测试结果。xAI联合创始人之一伊戈尔·巴布什金坚持认为该公司是正确的。
真相往往介于两者之间。
在一份发布于xAI博客的帖子中，该公司发布了一张图表，展示了Grok 3在AIME 2025上的表现。AIME 2025是来自近期邀请制数学竞赛的一组具有挑战性的数学题。一些专家质疑AIME作为AI基准的有效性，尽管如此，AIME 2025及其旧版本测试仍被广泛用于探测模型的数学能力。
xAI的图表显示，Grok 3的两个变体——Grok 3 Reasoning Beta和Grok 3 mini Reasoning——在AIME 2025上击败了OpenAI目前表现最好的可用模型o3-mini-high。但X平台上的OpenAI员工迅速指出，xAI的图表并未包含o3-mini-high在“cons@64”条件下的AIME 2025得分。
什么是cons@64？
它是“consensus@64”（共识@64）的缩写，基本上是指让模型在基准测试的每个问题上尝试64次，并将出现频率最高的答案作为最终答案。正如你所料，cons@64往往会显著提升模型的基准测试分数；如果在图表中省略这一指标，可能会造成一种假象，即某个模型超越了另一个模型，而实际上并非如此。
Grok 3的真实表现与宣传争议
Grok 3 Reasoning Beta和Grok 3 mini Reasoning在AIME 2025基准测试中“@1”（即模型首次得分）的成绩低于o3-mini-high的成绩。Grok 3 Reasoning Beta也略微落后于OpenAI的o1 model设置为“medium”计算资源时的表现。然而，xAI正在将Grok 3宣传为“世界上最聪明的AI”。
巴布什金在X平台上辩称，OpenAI过去也曾发布过类似的误导性基准图表——尽管这些图表比较的是其自身模型的性能。一位更中立的当事人在辩论中制作了一张更“准确”的图表，展示了几乎所有模型在cons@64下的表现：
有趣的是，有些人认为我的图表是对OpenAI的攻击，而另一些人则认为是对Grok的攻击，但实际上这是DeepSeek的宣传（我实际上认为Grok在那里表现不错，而openAI在o3-mini-*high*-pass@”””1″””背后的TTC花招值得更多审视。）
—— Teortaxes▶️ (@teortaxesTex) 2025年2月20日
但正如AI研究员内森·兰伯特在一篇帖子中指出的那样，也许最重要的指标仍然是一个谜：每个模型取得最佳分数所花费的计算（和金钱）成本。这恰恰表明大多数AI基准测试对模型局限性和优势的传达非常有限。