周二，初创公司 Anthropic 发布了一系列生成式 AI 模型，声称其性能达到行业最佳。几天后，竞争对手 Inflection AI 也推出了一款模型，宣称质量接近甚至媲美 OpenAI GPT-4 等顶级模型。
Anthropic 和 Inflection 并非首批在客观指标上宣称超越对手的 AI 公司。Google 曾对 Gemini 提出类似主张，OpenAI 也对 GPT-4 及其前身发表过相同言论，此类案例不胜枚举。
那么，这些指标究竟指什么？当供应商声称模型达到最先进性能时意味着什么？更关键的是：技术上“表现”更优的模型，真的会让人感觉有切实提升吗？答案可能是否定的。
问题在于 AI 公司用来量化模型优劣的基准测试。
晦涩难懂的衡量标准
当前主流 AI 基准测试（如用于 ChatGPT、Claude 等聊天机器人的测试）难以捕捉普通用户的真实互动方式。例如，Anthropic 引用了 GPQA（研究生级防谷歌问答基准），该测试包含数百个博士级别的生物、物理和化学问题；然而大多数用户使用聊天机器人是为了回复邮件、撰写求职信或倾诉情感等日常任务。
艾伦人工智能研究所科学家杰西·多奇（Jesse Dodge）指出，行业已陷入“评估危机”。他表示：“基准测试通常是静态的，且狭隘地专注于单一能力，如特定领域的事实准确性或数学推理选择题。许多基准已有三年以上历史，彼时 AI 主要用于研究而非服务大量真实用户。此外，人们使用生成式 AI 的方式极具创造性。”
错误的指标
常用基准并非完全无用，毕竟有人会用 ChatGPT 回答博士级数学题。但随着生成式 AI 被定位为面向大众的“全能”系统，旧基准正变得不再适用。
康奈尔大学博士后研究员大卫·维德（David Widder）指出，许多常见基准测试的技能——从小学水平数学题到识别句子时代错误——对大多数用户而言永远不相关。他表示：“早期 AI 系统为解决特定背景下的问题构建（如医疗专家系统），便于深入理解良好表现的标准。随着系统被视为‘通用目的’，这种情况变得不太可能，因此我们越来越多地看到在不同领域的各种基准测试上对模型进行测试。”
缺陷与质疑
除了用例不匹配，某些基准测试是否真正衡量了其声称的内容也受到质疑。
针对 HellaSwag 的分析发现，该测试旨在评估常识推理能力，但超三分之一题目包含拼写错误和“不合逻辑”的写作。另一方面，MMLU（大规模多任务语言理解）被 Google、OpenAI 和 Anthropic 等引用为模型具备逻辑推理能力的证据，但其问题可通过死记硬背解决。
维德表示：“像 MMLU 这样的基准更多是关于记忆并关联关键词。我可以快速找到相关文章回答问题，但这不代表我理解了因果机制，或利用这种理解去解决新环境中的复杂问题。模型也无法做到这一点。”
修复破损之处
基准测试已经失效，能否被修复？
多奇认为可以通过增加人工参与来实现。他说：“正确的前进道路是将评估基准与人工评估相结合，即用真实用户查询提示模型，再聘请人员评估回答质量。”
维德则持更悲观态度。他认为即使修复拼写错误等明显问题，基准测试也难以提升到为绝大多数用户提供有用信息的程度。相反，他主张测试应聚焦于模型的下游影响，以及这些影响是否被受影响者视为可取。他表示：“我会问希望 AI 模型在哪些具体情境目标中发挥作用，并评估它们在这些情境中是否成功，同时评估我们是否应该在这些情境中使用 AI。”