即使是宝可梦也无法幸免于AI基准测试的争议。
上周，X 上的一篇帖子病毒式传播，声称谷歌最新的 Gemini 模型在原始《宝可梦》电子游戏三部曲中超越了 Anthropic 的旗舰 Claude 模型。据报道，Gemini 已在开发者的 Twitch 直播中抵达紫苑镇；而截至2月底，Claude 仍卡在月见山。
在到达紫苑镇后，Gemini目前在宝可梦方面确实领先于Claude。
但该帖子未提及的是，Gemini具有优势。
正如Reddit 上的用户所指出的那样，维护 Gemini 直播的开发人员构建了一个自定义小地图，帮助模型识别游戏中的“图块”，例如可砍伐的树木。这减少了 Gemini 在游戏操作决策前分析截图的需求。
诚然，《宝可梦》充其量只是一个半严肃的 AI 基准测试——很少有人会争辩说它是一个能非常充分反映模型能力的测试。但它确实是一个具有启发性的例子，展示了不同的基准实现方式如何影响结果。
例如，Anthropic 报告为其最近的Anthropic 3.7 Sonnet模型在旨在评估模型编码能力的SWE-bench Verified基准上报告了两个分数。Claude 3.7 Sonnet在SWE-bench Verified上的准确率为62.3%，但在使用Anthropic开发的“自定义脚手架”时达到70.3%。
最近，Meta 微调了其较新模型 Llama 4 Maverick 的一个版本，使其在特定基准测试 LM Arena 上表现优异。该模型的原版在同一评估中的得分显著较低。
鉴于AI基准——包括宝可梦在内——本身就是不完美的衡量标准从一开始，自定义和非标准实现可能会进一步使情况变得复杂。也就是说，随着模型的发布，似乎不太可能更容易比较它们。