点击蓝字关注我们
天下第二也挺好,用户服务更重要
LMSYS 是一个超过百万次评分的开源模型比赛场,通过盲测真实用户提出的问题来评估模型质量。各家模型的实力差距已经越来越小,可谓是神仙打架。
在总体榜单(Leaderboard-overall)上,
Gemini 1.5 模型排名第二,落后于 GPT-4-Turbo-0409。
但若排除那些简短问题(少于5个token的问题,例如,你好),
Gemini 1.5 Pro会上升一位,和GPT-4-Turbo-0409并列第一,超过其他模型。
雨生想说的是,如果进一步分析排行榜,会看到现在主流模型之间的差距其实并不大。对于我们普通用户来说,与其纠结于神仙打架谁是第一,不如更关注模型的实际使用体验。
比起其他几乎没有技术支持的模型而言, Google为国内出海客户提供的商务和技术支持,包括prompt优化,也不用担心被封号,就成了优势之一。
此外,模型成本也是用户关注的焦点之一,Gemini 在成本方面为用户提供了更具性价比的选择。
下周OpenAI和Google都会举办大会,期待小甜甜发布,更希望模型之外的服务越来越好。
BTW,这篇文章除了标题和最后一句话,都是让Gemini写的,我做了部分调整。



