OpenAI 昨日在旧金山 DevDay 活动上发布多项开发者工具，涵盖 GPT-4o 与 Chat Completions API 功能升级，并推出 Realtime API、图像微调、模型蒸馏及请求缓存等新特性。
GPT-4o 更新内容
GPT-4o 新增示例设计集成功能，用户可提供包含示例设计的集合以辅助网站布局生成；文档数据提取场景下，模型可基于历史处理文件进行训练优化，有效减少准确性问题。此外，仅需约 100 张图像的微调数据即可显著提升模型性能。
Realtime API 详情
OpenAI 推出实时API云服务，支持应用集成多模态处理能力，开发者可构建直接理解语音指令并以高音量朗读回复的 AI 应用。相比传统“语音转文本→模型处理→文本转语音”的多步流程，Realtime API 允许直接将音频流发送至 GPT-4o，大幅简化开发流程并降低延迟，提升响应速度。该 API 还支持自动执行外部系统任务，未来将扩展图像与视频处理能力，并通过 SDK 更新优化 Python 和 Node.js 框架的集成体验。
Chat Completions API 新增功能
Chat Completions API 新增类似 Realtime API 的音频输入多模态处理能力，适用于对低延迟要求不高的音频处理场景。
图像微调
OpenAI 推出图像微调功能，允许开发者为 GPT-4o 提供定制化图像数据集进行额外训练，从而提升模型在计算机视觉任务中的表现，助力图像处理应用开发。
模型蒸馏与请求缓存
为降低推理成本，OpenAI 同步上线“模型蒸馏”与“请求缓存”功能。
模型蒸馏（Model Distillation）基于知识蒸馏技术，可将大型模型的高质量回复迁移至小型模型，使开发者能以更低硬件资源消耗获得相近性能。通过 API 访问该功能时，向领先模型发送提示词的回复可转化为训练数据集，用于提升小型神经网络精度。
提示缓存（Prompt Caching）支持在特定场景下复用用户输入，避免重复计算。该功能可使推理成本最高降低 50%，并改善响应速度，目前已适配 GPT-4o、GPT-4o mini、o1-preview 及 o1-mini 最新版本。