大语言模型现已引入类似王者荣耀、LoL等游戏的排位赛机制。近日，由UC伯克利主导的LMSYS Org团队发布了大语言模型版排行榜，新增OpenAI GPT-4、GPT-3.5-turbo、Anthropic Claude-v1及开源模型RWKV-4-Raven-14B四位选手，并首次推出准中文排行榜。
GPT-4稳居榜首，Claude以仅落后50分的优势位列第二，反超GPT-3.5-turbo。值得注意的是，140亿参数的纯RNN架构模型RWKV-4-Raven-14B表现卓越，超越众多Transformer模型排名第六；在非平局比赛中，除Vicuna外，RWKV对其他开源模型的胜率均超50%。
此外，团队还细分了“仅英语”和“非英语”（主要为中文）两个独立榜单。数据显示，经过更多中文数据训练的ChatGLM-6B在中文榜单中表现更优，而GPT-3.5-turbo在该榜单中也成功超越Claude升至第二。
本次更新主要贡献者包括LMSYS Org联合创始人盛颖、Lianmin Zheng、Hao Zhang以及Joseph E. Gonzalez和Ion Stoica。其中，盛颖为斯坦福大学计算机科学系博士生，亦是单GPU运行175B模型推理系统FlexGen的第一作者。
开源与闭源模型竞争格局分析
基于社区收集的1.3万条匿名投票数据，团队对专有模型与开源模型的差距及Elo分数变化进行了深入分析。
专有模型优势显著，开源模型仍有追赶空间
在三个专有模型中，Anthropic的Claude比GPT-3.5-turbo更受用户欢迎，且在与GPT-4的66场非平局对决中赢得32场，胜率达48%，展现出极强竞争力。
然而，开源模型与专有模型之间仍存在明显差距。GPT-4以1274分领跑，比最佳开源替代模型Vicuna-13B高出近200分。在对战中，GPT-4对Vicuna-13B的胜率达82%，对GPT-3.5-turbo的胜率也达79%。
尽管如此，当前上榜开源模型参数量多在30亿至140亿之间，远小于专有模型。随着LLM训练和数据策划技术的进步，小参数模型性能提升已成为可能，如谷歌PaLM 2即通过优化在小尺寸下实现了超越前代的性能。因此，团队对开源模型的未来发展持乐观态度。
GPT-4复杂推理短板与场景化替代方案
测试发现，在需要精细推理和规划的棘手问题上，Claude有时能提供优于GPT-4的回答。但由于采样随机性，该现象并非绝对稳定。同时，GPT-4在OpenAI API与ChatGPT接口中的表现差异，可能与提示词或采样参数有关。
在处理特定复杂推理问题时，即便是Claude和GPT-4也可能出现错误。
但在无需复杂推理的简单任务中，Vicuna等开源模型的表现可与GPT-4相当。这意味着在特定应用场景下，可使用更小、更经济的开源模型替代高性能专有模型。
Elo分数动态调整与未来开放计划
随着三大强力专有模型加入，聊天机器人竞技场竞争加剧。由于开源模型在与专有模型对战中失利较多，其Elo分数普遍下调。未来，团队计划开放API接口，允许用户注册自有聊天机器人参与排位赛。