本周早些时候，Meta 陷入舆论风波。原因是其使用实验性、未发布的 Llama 4 Maverick 模型版本在众包基准测试 LM Arena 中取得了高分。这一事件促使 LM Arena 维护者道歉并更改政策，对未经修改的原始 Maverick 重新评分。
事实证明，该模型的竞争力并不强。
截至周五，未经修改的 Maverick（Llama-4-Maverick-17B-128E-Instruct）排名低于 OpenAI GPT-4o、Anthropic Claude 3.5 Sonnet 及 Google Gemini 1.5 Pro 等多个已推出数月的模型。
在发现作弊行为后，Llama 4 的发布版本已被添加到 LMArena 中，但你可能没有注意到它，因为它排在第 32 位，你需要向下滚动才能看到。
为何表现不佳？
Meta 的实验性 Maverick（Llama-4-Maverick-03-26-Experimental）据公司解释“针对对话能力进行了优化”。这些优化显然对依赖人类评估员偏好选择的 LM Arena 有利。
正如我们之前所述，LM Arena 从来都不是衡量 AI 模型性能的最可靠指标。然而，针对特定基准测试定制模型不仅具有误导性，还使得开发者难以准确预测模型在不同场景下的真实表现。
Meta 发言人在一份声明中告诉 TechCrunch，Meta 正在尝试“各种类型的自定义变体”。
发言人表示：“‘Llama-4-Maverick-03-26-Experimental’是我们实验过的一种聊天优化版本，它在 LM Arena 上也表现出色。我们现在已发布开源版本，并将观察开发者如何为自身用例定制 Llama 4。我们期待看到他们将构建的内容，并期待他们持续的反馈。”