OpenAI再次颠覆世界，GPT-4o惊艳亮相，干翻所有语音助手并免费可用！

今天，当各大科技公司还在努力追赶大模型的多模态能力，将文本总结、图片处理等功能整合到手机中的时候，遥遥领先的 OpenAI 直接放出了大招。其发布的产品连自家 CEO 奥特曼都感叹：“就像电影里的一样。”

在不到30分钟的发布会上，OpenAI 再次大大改变了 AI 行业和我们的未来生活，也让无数 AI 初创公司陷入困境。这并非夸大其词，因为这是 OpenAI 的发布会。

刚刚，OpenAI 正式发布了 GPT-4o，其中的「o」代表「omni」（即全面、全能的意思）。这个模型同时具备文本、图片、视频和语音方面的能力，甚至可以说是 GPT-5 的一个未完成版本。

更重要的是，这个 GPT-4 级别的模型将向所有用户开放，并将在未来几周内优先向 ChatGPT Plus 用户推送。

今天的主持人是 OpenAI 的首席技术官 Mira Murati，她表示，今天主要讲三件事：

首先，OpenAI 在未来的产品策略中优先考虑免费使用，以便让更多的人能够使用其产品。

其次，为了实现这一目标，OpenAI 此次发布了桌面版本的程序，并更新了用户界面，使其使用起来更加简单和自然。

最后，继 GPT-4 之后，OpenAI 推出了新版本的大模型，名为 GPT-4o。GPT-4o 的特别之处在于它以极为自然的交互方式为每个人带来了 GPT-4 级别的智能，包括免费用户。

此次 ChatGPT 更新后，大模型可以接收文本、音频和图像的任意组合作为输入，并实时生成文本、音频和图像的任意组合输出——这才是真正的未来交互方式。

最近，ChatGPT 不再需要注册就可以使用了。今天，OpenAI 又推出了桌面程序，其目标是让人们能够随时随地无感地使用 ChatGPT，将其无缝集成到工作流中。这款 AI 现在已经成为真正的生产力工具。

在发布会前一天，可以注意到 OpenAI 悄悄将 GPT-4 的描述从“最先进的模型”修改为“先进的”，这是为了迎接 GPT-4o 的到来。

GPT-4o 的强大之处在于，它可以接受任何文本、音频和图像的组合作为输入，并直接生成上述这几种媒介的输出。这意味着人机交互将更接近人与人的自然交流。

GPT-4o 可以在 232 毫秒内回应音频输入，平均响应时间为 320 毫秒，这接近于人类对话的反应时间。相比之下，此前使用语音模式与 ChatGPT 交流的平均延迟为 2.8 秒（GPT-3.5）和 5.4 秒（GPT-4）。

GPT-4o 在英文和代码文本上的性能与 GPT-4 Turbo 相匹敌，在非英语语言文本上有显著改进，同时在 API 上更快速且价格便宜 50%。

与现有模型相比，GPT-4o 在视觉和音频理解方面表现尤为出色。

你在对话时可以随时打断它，它会灵活地适应对话节奏。

它可以根据场景生成多种音调，表现出人类般的情绪和情感。

你可以直接通过与 AI 视频通话，让它在线解答各种问题。

从测试参数来看，GPT-4o 的主要能力基本与目前最强的 OpenAI 模型 GPT-4 Turbo 处于同一水平。

过去，Siri 或其他语音助手的使用体验都不够理想，本质上是因为语音助手对话需要经历三个阶段：

1. 语音识别（ASR）：将音频转换为文本，类似于 Whisper。

2. 大语言模型（LLM）计划下一步要说什么：将文本 1 转换为文本 2。

3. 语音合成（TTS）：将文本 2 转换为音频，类似于 ElevenLabs 或 VALL-E。

然而，我们日常的自然对话基本上是这样的：

• 在听和说的同时考虑下一步要说什么；

• 在适当的时刻插入「是的，嗯，嗯」；

• 预测对方讲话结束的时间，并立即接管；

• 自然地决定打断对方的谈话，而不会引起反感；

• 在听和说的同时考虑下一步要说什么；

• 在适当的时刻插入「是的，嗯，嗯」；

• 优雅地处理并打断。

  
  

此前的 AI 语言助手无法很好地处理这些问题，在对话的三个阶段每一步都有较大延迟，因此体验不佳。同时，它们在过程中丢失了很多信息，比如无法直接观察语调、识别多个说话者或背景噪音，也无法输出笑声、歌唱或表达情感。

当音频能够直接生成音频、图像、文字和视频时，整个体验将是跨越式的。

GPT-4o 正是 OpenAI 为此而训练的全新模型。要实现文本、视频和音频的直接转换，所有的输入和输出都必须由同一个神经网络处理。

更令人惊喜的是，ChatGPT 的免费用户也能使用 GPT-4o，体验以下功能：

• 享受 GPT-4 级别的智能

  
  

• 从模型和网络获取响应

• 分析数据并创建图表

• 讨论你拍摄的照片

• 上传文件以获取摘要、写作或分析帮助

• 使用 GPTs 和 GPT Store

• 通过 Memory 构建更加有帮助的体验

当你看完 GPT-4o 的这些演示后，你的感受或许将更加复杂。

ChatGPT 不光能说、能听、还能看，这已经不是什么新鲜事了，但「全新版本」的 ChatGPT 还是让我感到惊艳！

睡觉搭子

以一个具体的生活场景为例，让 ChatGPT 讲一个关于机器人和爱的睡前故事，它几乎不用太多思考，张口就能说出一个带有情感和戏剧性的故事。

甚至，它还能以唱歌的形式来讲述故事，简直可以充当用户的睡眠伙伴。

做题高手

又或者，在发布会现场，让它演示如何求解线性方程 3X+1=4，它能够一步步贴心地引导并给出正确答案。

当然，上述例子还是一些「小儿戏」，现场的编码难题才是真正的考验。然而，即便是复杂的编码问题，它也能三下五除二地轻松解决。

借助 ChatGPT 的「视觉」功能，它能够查看电脑屏幕上的一切，例如与代码库交互并查看代码生成的图表。不过，这也引发了对隐私的担忧——我们的隐私是否会被看得一清二楚？

为了缓解这种担忧，OpenAI 应该明确制定并严格执行隐私保护措施，确保用户数据的安全和隐私不被侵犯。

实时翻译

现场的观众也给 ChatGPT 提出了一些刁钻的问题。比如，从英语翻译到意大利语，再从意大利语翻译回英语，无论怎么折腾这个 AI 语音助手，它都游刃有余。

看来，没必要花大价钱去买翻译机了。在未来，ChatGPT 可能比你的实时翻译机还要靠谱。

感知语言的情绪还只是第一步，ChatGPT 还能解读人类的面部情绪。这使得它在与用户的互动中更加人性化和直观，为人机交互带来了全新的体验。

在发布会现场，面对摄像头拍摄的人脸，ChatGPT 一开始将其「误认为」桌子，这让大家以为要翻车了。原来是因为最先打开的前置摄像头瞄准了桌子。

不过，最终它还是准确描述了自拍中的面部情绪，并识别出了脸上的「灿烂」笑脸，展示了其强大的情绪识别能力。

有趣的是，在发布会的尾声，发言人还特别提到了英伟达及其创始人黄仁勋的「鼎力支持」，展现了他们对合作伙伴的感谢之情。这一举动显然是懂得人情世故的表现。

之前的 ChatGPT 让我们看到自然用户界面初露端倪：简单性高于一切——复杂性是自然用户界面的敌人。每个交互都应该是不言自明的，不需要说明手册。

但今天发布的 GPT-4o 则完全不同。它几乎无延迟的响应、聪明、有趣且实用，让我们和计算机的交互从未如此自然顺畅。

这里面还藏着巨大的可能性。当支持更多的个性化功能和与不同终端设备的协同后，意味着我们能够利用手机、电脑、智能眼镜等计算终端做到很多以往无法实现的事情。

AI 硬件不再是积累的过程。当下更令人期待的是，如果下个月苹果 WWDC 真的官宣与 OpenAI 达成合作，那么 iPhone 的体验提升或许将比近几年任何一次发布会都大。

英伟达高级科学家 Jim Fan 认为，号称史上最大更新的 iOS 18 和 OpenAI 的合作可能会有三个层面：

1. 放弃 Siri：OpenAI 为 iOS 提炼出一个纯粹在设备上运行的小型 GPT-4o，同时可选择付费升级使用云服务。

2. 原生功能：将摄像头或屏幕流输入到模型中，芯片级支持神经音视频编解码器。

3. 系统级集成：与 iOS 系统级操作 API 和智能家居 API 集成。虽然目前没有太多人使用 Siri 快捷方式，但现在是时候复兴这一功能了。这可能会成为一款从一开始就拥有十亿用户的 AI 代理产品。对于智能手机来说，这种整合就像特斯拉那样的全尺寸数据飞轮。

说到这里，也不得不心疼一下明天要举办发布会的 Google，他们将面临更大的压力。

1.个性化求职指导：专业导师会根据你的情况，提供简历修改和面试建议，为你制定求职方案。
2.职业规划辅导：职业规划师会帮你明确职业目标并制定计划，评估你的技能和兴趣，助你求职成功。
3.求职资源和网络：我们提供独家求职资源和行业信息，与多家公司合作，提供实习和全职机会，还可以与优秀求职者交流。
4.职业技能培训：课程助你提升求职技能，如简历撰写、面试技巧等，增强竞争力。
5.持续支持和跟进：我们将与你进行长期合作，提供职业发展咨询和指导，持续关注你的发展并提供帮助。