谷歌长期承诺的下一代生成式AI模型Gemini终于发布。不过，本周推出的Gemini Pro实为更强大完整版模型的轻量级衍生版，完整版本预计将于明年推出。
在虚拟新闻发布会上，Google DeepMind团队对Gemini 1.0及其能力进行了高层概述。Gemini实际上是一个包含三种类型的AI模型家族：
- Gemini Ultra：旗舰级模型
- Gemini Pro：精简版模型
- Gemini Nano：经蒸馏优化，可在Pixel 8 Pro等移动设备上运行
注：Gemini Nano分为Nano-1（18亿参数）和Nano-2（32.5亿参数），分别针对低内存和高内存设备。
体验Gemini Pro最便捷的方式是通过Bard。目前，英语（美国地区）版Bard已由微调后的Gemini Pro驱动（仅限文本）。Google Assistant和Bard总经理Sissie Hsiao表示，相比前代模型，新版Gemini Pro在推理、规划和理解能力上均有提升。
需说明的是，由于谷歌未允许媒体提前测试且发布会无现场演示，上述改进尚无法独立证实。
Gemini Pro将于12月13日面向Vertex AI企业客户推出，随后登陆Generative AI Studio开发者套件。未来几个月内，Gemini还将集成至Duet AI、Chrome、Ads及Search Generative Experience等产品中。
Gemini Nano将通过AI Core app进行预览发布，目前仅限Android 14和Pixel 8 Pro使用。它将为录音机摘要功能及消息应用（如WhatsApp）的建议回复提供支持。感兴趣的Android开发者可抢先体验。
原生多模态
驱动Bard的Gemini Pro微调版表现尚可但亮点有限。Hsiao称其在总结、头脑风暴和写作方面更强，并在六项基准测试中超越GPT-3.5（含小学数学推理GSM8K）。但考虑到GPT-3.5已发布一年多，这一里程碑挑战性有限。
Gemini Ultra则更为令人印象深刻。它与Pro版一样采用“原生多模态”训练，即在代码、多语言文本、音频、图像和视频上进行预训练和微调。DeepMind产品副总裁Eli Collins表示，Ultra能理解跨模态的细微差别，并解答数学、物理等复杂问题。
相比仅支持图文的GPT-4 with Vision，Gemini Ultra还能转录语音并回答音视频相关问题。Collins强调，传统多模态模型常因组件分离而在复杂推理上吃力，而Gemini的设计初衷即为原生多模态。
关于训练数据，谷歌多次拒绝透露来源及授权情况。Collins仅确认部分数据来自公共网络且经过滤，但未回应创作者是否可选择退出或获得补偿的问题。
与Microsoft、OpenAI等面临版权诉讼的同行不同，谷歌未提供艺术家选择退出机制。随着Gemini推出，该政策短期内似乎不会改变。
训练方面，Gemini基于TPU v4/v5e芯片，并在TPU与GPU组合上运行。技术白皮书显示Gemini Pro训练仅用数周。尽管Collins称其为谷歌“最高效”的大模型且成本更低，但他未披露具体芯片数量、成本及环境影响。
有研究估计训练类似GPT-4规模的模型碳排放超300公吨。鉴于谷歌未在发布会上提及减排措施，其实际环境足迹仍存疑。
更好的模型——略胜一筹
在预录演示中，Gemini展示了辅助解决物理作业、识别科学论文并更新图表的能力。Collins解释称，这是通过指令微调让模型遵循复杂提示的延伸成果。
Collins宣称Gemini Ultra在32个学术基准中的30个上超越了当前最先进水平。但深入分析发现，其优势往往十分微弱：
- GSM8K数学测试：Ultra正确率94.4%，GPT-4为92%
- 阅读理解DROP：Ultra 82.4% vs GPT-4 80.9%
- VQAv2图像理解：Ultra仅领先GPT-4 with Vision 0.6个百分点
- Big-Bench Hard推理：Ultra仅领先GPT-4 0.5个百分点
虽然在MMMU多模态推理基准上Ultra取得59.4%的领先分数，但在HellaSwag常识推理测试中，其87.8%的得分反而落后于GPT-4的95.3%。
针对“幻觉”问题，Collins坦言这“并非已解决的研究问题”。此外，Ultra可能存在偏见和毒性风险，且尚未针对全球南方国家进行本地化，目前仅支持约100种语言间的翻译。
另一关键限制是图像生成功能。尽管架构支持，但该功能不会随首发版本推出。Collins仅表示相关工作“正在进行中”，未提供时间表。
仓促推出
本次发布略显仓促。此前谷歌曾承诺Gemini具备前所未有的多模态能力及高效集成性，但昨日简报说服力不足，尤其考虑到谷歌近期在生成式AI领域的失误。
自年初追赶ChatGPT以来，Bard曾因回答错误受批评，员工亦对加速发布表担忧。后续报道指谷歌雇佣第三方承包商标注数据且薪酬偏低。技术白皮书仅称报酬“至少相当于当地生活工资”，未否认类似情况存在于Gemini项目中。
尽管Bard已有改善且多款产品已注入AI功能，但Gemini开发过程 reportedly 充满波折。据报道，包括Jeff Dean在内的高层直接参与项目，但因非英语查询处理困难导致Ultra推迟发布。Collins承认谷歌尚未完全理解Ultra的所有能力，也未制定变现策略。
目前用户主要面对Gemini Pro。若Ultra上下文窗口确如白皮书所述维持在2.4万词左右（GPT-4约为10万词），其实用性可能受限。当然，上下文窗口并非唯一指标，最终评价仍需等待实际体验。
此次发布是否因营销过度拔高预期而导致落差？或许如此。但也侧面印证了构建顶尖生成式AI模型的极高难度，即便重组部门加速推进亦然。