AI实验室越来越多地依赖Chatbot Arena等众包基准测试平台来探测最新模型的优劣势。然而，专家指出该方法在伦理和学术层面存在严重问题。
众包评估的局限性
过去几年，OpenAI、Google和Meta等实验室转向招募用户评估即将推出的模型能力，并将有利分数作为改进证据进行宣传。华盛顿大学语言学教授、《The AI Con》合著者Emily Bender认为这是一种有缺陷的方法。她特别质疑Chatbot Arena要求志愿者对比两个匿名模型并选择偏好回答的模式。
Bender指出：“有效的基准测试需具备构念效度，即证明测量结果与明确定义的构念相关。但Chatbot Arena并未证实投票选择某一输出确实反映了真实偏好。”
基准测试被“劫持”与滥用
Lesan人工智能公司联合创始人Asmelash Teka Hadgu表示，此类基准测试常被AI实验室“劫持”以推广夸大主张。他以Meta Llama 4 Maverick模型为例：Meta曾微调该模型以在Chatbot Arena获高分，最终却隐藏该版本，转而发布表现较差的版本。
Hadgu建议：“基准测试应是动态且分布式的，由多个独立实体（如高校或组织）针对教育、医疗等专业领域定制，而非静态数据集。”
评估者权益与行业反思
Hadgu与阿斯彭研究所Emergent and Intelligent Technologies Initiative前负责人Kristine Gloria提出，模型评估者应获得报酬。Gloria强调，AI实验室应从数据标注行业的剥削性做法中吸取教训。
Gloria认为：“众包基准测试类似公民科学倡议，能引入多元视角并为数据微调提供深度，但不应成为唯一评估指标。随着技术快速迭代，基准测试可能迅速失效。”
行业实践与透明化呼吁
Gray Swan AI首席执行官Matt Fredrikson透露，其平台通过技能学习机会及现金奖励吸引志愿者参与红队测试，但他承认公共基准测试无法替代付费私人评估。Fredrikson强调，开发者仍需依赖内部基准测试及签约专家，并向公众清晰传达结果、回应质疑。
OpenRouter首席执行官Alex Atallah与Chatbot Arena创始人之一Wei-Lin Chiang均认为，仅靠公开测试并不足够。Chiang表示支持多元化测试方法，旨在创建值得信赖的开放空间以衡量社区对AI模型的偏好。
针对Maverick模型争议，Chiang解释称这并非平台设计缺陷，而是实验室误解政策所致。LMArena已更新政策以加强公平性与可重复评估承诺。他表示：“社区成员使用LMArena是为了在开放透明的平台上参与AI互动并提供集体反馈。只要排行榜忠实反映社区声音，我们便欢迎分享。”