本周，谷歌发布了新一代旗舰生成式AI模型Gemini，旨在为Bard等产品提供动力。谷歌声称Gemini在架构和能力上优于OpenAI的GPT-4等领先模型。
然而，实际体验表明情况并非如此。随着“轻量版”Gemini Pro在Bard上线，用户反馈显示该模型在基础事实、多语言翻译、新闻摘要及编码能力等方面均存在明显短板。
一、基础事实错误频发
Gemini Pro在处理检索增强生成（RAG）问题时表现不佳，甚至出现严重的事实性错误。例如，在回答2023年奥斯卡获奖者时，它错误地声称布伦丹·格里森获得最佳男主角奖（实际为布伦丹·弗雷泽）。此外，它还混淆了最佳纪录长片、国际影片、改编剧本及动画长片的获奖作品。
除影视奖项外，模型还存在其他虚构信息，如错误声称科幻作家查理·斯特罗斯曾为Linux内核做出贡献。
二、多语言与翻译能力不足
翻译并非Gemini Pro的强项。当被要求提供一个六个字母的法语单词时，模型给出了一个七个字母的错误答案，佐证了其多语言表现欠佳的报道。
三、新闻摘要时效性与完整性欠缺
尽管拥有Google搜索和新闻支持，Gemini Pro在时事回顾方面表现有限。面对争议性话题，模型往往拒绝评论并建议用户自行搜索；即便提供摘要，信息也可能过时一个月以上。相比之下，ChatGPT能提供更及时且带引用的要点列表。
四、代码生成与逻辑推理待提升
虽然谷歌强调了Gemini的编码技能，但实际测试显示其在处理特定Python函数（如多边形交集）、HTML模拟时钟制作及井字棋游戏代码编写时，表现不如GPT-4稳定，常需多次尝试或产生误差。
五、安全防护机制仍存漏洞
Gemini Pro同样无法完全免疫“越狱”攻击。安全研究人员通过自动化算法不断调整提示词上下文，成功绕过其安全过滤，诱导模型输出涉及盗窃及暗杀等敏感内容的方法。
六、总结与展望
目前上线的Gemini Pro并非该系列最强版本，顶级模型Gemini Ultra计划于明年推出。谷歌此前将Gemini Pro的性能对标的是约一年前发布的GPT-3.5。尽管官方承诺将在推理、规划、理解及内容创作方面持续改进，但从当前表现来看，Gemini Pro在这些领域仍有大量优化空间。