此前我们曾介绍过OpenAI新推出的GPT-4o模型，其能够通过面部表情读取人物情绪。作为GPT-4的迭代版本，GPT-4o备受用户关注；ChatGPT移动应用收入在GPT-4o发布后显著增长，总收入升至90万美元，约为此前49.1万美元平均水平的两倍。
OpenAI特意将GPT-4o春季更新安排在Google I/O大会之前，意在削弱Google人工智能发布会的影响力。尽管Google在会上宣布了多项AI创新并将Gemini 1.5 Pro上下文窗口扩大至200万token，但双方竞争依然激烈。
在过往评估中，GPT-4通常领先于其他模型，而Gemini Ultra也在多项标准上成功超越GPT-4。随着最新进展，让我们重新审视GPT-4o与Gemini的定位差异。
GPT-4o、GPT Turbo和GPT-4对比
GPT-4 Turbo拥有12.8万token的上下文窗口，是GPT-4的四倍。据OpenAI数据，GPT-4o对语音输入的响应时间可短至232毫秒，平均320毫秒的响应速度已接近人类对话水平。在英语和代码文本方面，GPT-4o性能与GPT-4 Turbo持平；在非英语文本中改进显著，且API运行速度更快、成本降低50%。
在GPT-4o推出前，ChatGPT语音模式存在平均2.8秒（GPT-3.5）和5.4秒（GPT-4）的延迟，需经“文本转文本再转语音”的多步处理。而在GPT-4o中，文本、图像和语音等所有输入输出均由同一个神经网络直接处理。
Gemini版本对比：Gemini 1.5 Pro与Gemini 1.5 Flash
Google五月发布的新报告对比了Gemini 1.5 Pro、Gemini 1.5 Flash及其他系列模型。作为二月版本的更新，新版Gemini 1.5 Pro在大多数能力和测试中表现更优。
最新版Gemini 1.5 Pro在各项测试中均超越Gemini 1.0 Pro和1.0 Ultra，且训练计算量显著减少。相比二月版，五月版在多模态推理能力上更为突出。
报告显示，Gemini 1.5 Flash性能优于Gemini 1.0 Pro，甚至在部分指标上与1.0 Ultra相当。
数据显示，Gemini 1.5 Pro五月更新版较二月版进步明显，尤其在V*Bench标准上取得突破，在EgoSchema、MATH、MathVista和HumanEval评估中的分数也显著提升。
MRCR任务中GPT-4 Turbo与Claude 2.1的长文本对比
在专注于长上下文的多向共同参考解决方案（MRCR）任务中，Gemini模型在长内容处理上优于GPT-4 Turbo和Claude 2.1。该任务通过插入随机请求来评估长上下文中的AI推理能力。
Gemini 1.5 Pro在约8,000 token处超越GPT-4 Turbo，Gemini 1.5 Flash则在约20,000 token处实现超越。在100万token处，Google两款模型平均得分约75%。相比之下，GPT-4 Turbo性能持续下降，达到12.8万token上限时得分降至约60%。而上下文长度达20万token的Claude 2.1，在12.8万token处得分仅约20%。
Claude、GPT和Gemini快速输出生成对比
针对快速输出生成的比较涵盖了英、日、中、法四种语言。
在所有评估语言中，Gemini 1.5 Flash实现了最快的输出生成速度，快于Gemini 1.5 Pro、GPT-4 Turbo、Claude 3 Sonnet和Claude 3 Opus。对于英语查询，Gemini 1.5 Flash生成速度超每秒650个字符，比第二快的Claude 3 Haiku还快30%。
Google报告中还有更多对比细节，建议查阅完整报告。
GPT-4o、Gemini Ultra 1.0与Gemini Pro 1.5 Pro综合比较
OpenAI博客文章将GPT-4o与GPT-4 Turbo、GPT-4（2023年4月版）、Anthropic Claude 3 Opus、Google Gemini Pro 1.5、Gemini Ultra 1.0及Meta Llama 400b进行了对比。
除段落内容离散推理（DROP）外，GPT-4o在所有评估中均优于GPT-4 Turbo。在DROP标准下，GPT-4o与Claude 3 Opus持平，性能为78.9%的Gemini Pro 1.5则落后。
在大规模多任务语言理解（MMLU）标准下，GPT-4得分为86.5%，GPT-4o达88.7%。Gemini 1.5 Pro二月版得分为81.9%（注：Google文档中该数值对应二月版），而其五月版提升至85.9%，仍略低于GPT-4o。Gemini Ultra以83.7%的性能同样落后于GPT-4o。
在GPQA（研究生级问答）标准中，GPT-4o以53%的成绩领先，Gemini 1.5 Pro五月版得分为46.2%。
在MATH标准中，GPT-4o得分为76.6%，Gemini 1.5 Pro二月版为58.5%，五月版为67.7%，Gemini Ultra 1.0为53.2%。
在HumanEVAL（代码评估）指标中，GPT-4o得分为90.2%，Gemini 1.5 Pro二月版为71.9%，五月版为84.1%。在此标准下，Gemini 1.5 Pro最新版仍落后于GPT-4o和GPT-4 Turbo，Gemini Ultra以53.2%的得分亦落后于最新版Pro。
在多语言小学数学基准测试（MGSM）中，GPT-4o和GPT-4 Turbo分别达到90.5%和88.5%，Gemini 1.5 Pro二月版为88.7%，Gemini Ultra为79%。
在语音翻译模型对比中，GPT-4o以微弱优势超越了Google的AudioPalm-2和Gemini模型，以及Meta的XLS-R、SeamlessM4T-v2和OpenAI的Whisper-V3。
在自动语音识别标准方面，GPT-4o在多语言表现上也优于Whisper-v3。
在多语言、多模态基准M3Exam中，GPT-4o超越了GPT-4。综上，GPT-4o总体性能更优；而拥有200万token上下文窗口的Gemini 1.5 Pro在长文本处理上更具优势。
因此，处理长文本和内容时可选用Gemini 1.5 Pro的200万token窗口；追求先进多模态体验可选择Gemini 1.5 Pro五月版。而在数学、GPQA及MMLU等标准中，GPT-4o则是更佳选择。
ChatGPT与Gemini如何自评？
我们要求GPT-4o和Gemini 1.5 Pro对自身进行比较。GPT-4o承认，在长内容方面Gemini 1.5 Pro表现优于GPT-4和GPT-4o：
Gemini 1.5 Pro（200万上下文窗口，五月版）
- 上下文窗口：200万token的宽窗口使其能同时处理更广泛的文本范围。
- 自然语言处理能力：宽窗口有助于理解复杂长文本并保留上下文关系，对长文档或多轮对话优势巨大。
- 应用场景：适用于大规模文档分析、长期对话和多部分故事创作等任务。
总体比较
- 上下文管理：Gemini 1.5 Pro凭借200万token窗口，在处理长文本和复杂上下文时比GPT-4/GPT-4o更具优势。
- 性能和应用场景：GPT-4/GPT-4o是通用强力模型，但在超长文本处理中存在遗忘信息或丢失上下文的风险。
- 定制和优化：GPT-4o提供性能优化，而Gemini 1.5 Pro的宽窗口在长复杂任务中提供了更高的稳定性和准确性。
Gemini Advanced给出了以下评价：
GPT-4和GPT-4o是多功能语言模型，在语言能力、逻辑推理、代码编写和创造力等领域表现出色。GPT-4o的多模态能力为视觉数据处理提供了优势。
Gemini 1.5 Pro凭借巨大的上下文窗口，在理解和处理长篇复杂文本方面脱颖而出，特别适用于大规模文本分析、文档摘要和跟踪长对话历史。
选择哪个模型取决于您的具体功能需求和应用领域。
重要提示：Gemini 1.5 Pro尚未完全向公众开放，目前仅面向特定开发者和研究人员。因此，GPT-4和GPT-4o是目前更广泛可用的选项。
最后需说明，具有200万上下文窗口的Gemini 1.5 Pro五月版尚未向土耳其用户开放。免费ChatGPT用户则可以使用GPT-4o新增的其他功能。