其中一款新旗舰AI模型Meta于周六发布的Maverick，在LM Arena上排名第二。这是一个由人类评估者比较模型输出并选择其偏好的测试。但似乎Meta部署到LM Arena的Maverick版本与广泛提供给开发者的版本不同。
正如几位人工智能研究人员在X上指出的那样，Meta在其公告中指出，LM Arena上的Maverick是一个“实验性聊天版本”。与此同时，官方Llama网站上的一个图表披露，Meta的LM Arena测试是使用“为对话性优化的Llama 4 Maverick”进行的。
正如我们之前所写过的，由于各种原因，LM Arena从来不是衡量AI模型性能的最可靠指标。但AI公司通常没有为了在LM Arena上获得更好的分数而定制或以其他方式微调他们的模型——或者至少没有承认这样做。
将模型针对基准进行测试、保留它，然后发布该模型的“vanilla”变体的问题在于，这使得开发者难以准确预测模型在特定环境中的表现，这也是误导性的。理想情况下，基准尽管严重不足，仍应提供单个模型在一组任务中的优势和劣势的快照。
事实上，X上的研究人员已经观察到公开可下载的Maverick与托管在LM Arena上的模型之间存在显著行为差异。LM Arena版本似乎使用了大量表情符号，并给出了极其冗长的回答。
好吧，Llama 4 确实有点“熟过头”了 lol，这是什么话痨之城
出于某种原因，Arena 中的 Llama 4 模型使用了更多的表情符号
在 together.ai 上，它似乎更好
我们已联系Meta和Chatbot Arena（维护LM Arena的组织）寻求评论。