周一，一位Meta高管否认了该公司调整其新AI模型以在特定基准测试中表现良好、同时掩盖模型弱点的谣言。
这位高管、Meta生成式AI副总裁Ahmad Al-Dahle在X上发帖称，关于Meta在其Llama 4 Maverick和Llama 4 Scout模型上“训练测试集”的说法“纯属不实”。在AI基准测试中，测试集是用于评估模型训练后性能的数据集合。在测试集上进行训练可能会误导性地抬高模型的基准分数，使模型看起来比实际能力更强。
周末期间，一则未经证实的谣言称Meta人为提升了其新模型的基准测试结果，开始在X和Reddit上传播。该谣言似乎源自中国社交媒体上一位用户发布的帖子，该用户声称因抗议公司的基准测试做法而从Meta辞职。
关于Maverick和Scout在某些任务上表现不佳的报告，以及Meta决定使用实验性的未发布版Maverick在LM Arena基准测试中获得更好分数的做法，加剧了这一谣言。X上的研究人员观察到，公开可下载的Maverick与托管在LM Arena上的模型在行为上存在显著差异。
Al-Dahle承认，一些用户在不同云提供商托管这些模型时，从Maverick和Scout那里看到了“质量参差不齐”的情况。
Al-Dahle表示：“由于我们在模型准备就绪后立即发布，我们预计所有公共实现需要几天时间才能调整到位。我们将继续修复错误并推进合作伙伴的接入。”