对OpenAI而言，这是动荡与进展并存的一周。尽管经历高管离职，该公司仍在2024 DevDay上发布多项新工具以稳固开发者生态。周二推出的“Realtime API”公开测试版支持低延迟、AI生成语音响应应用构建，虽不完全等同于ChatGPT高级语音模式，但已十分接近。
活动前简报会上，首席产品官Kevin Weil强调，CTO Mira Murati与CRO Bob McGrew的离职不会影响公司进程：“他们是关键人物，但我从中学到很多，我们不会放慢脚步。”
面对类似去年DevDay后的高层变动，OpenAI正努力证明其仍是AI应用开发首选平台。尽管拥有超300万开发者，但在Meta、Google等对手持续压价下，竞争日益激烈。OpenAI称过去两年API成本降低99%，但这更多是市场竞争下的被动调整。
Realtime API：打造实时语音交互体验
Realtime API允许开发者在应用中构建近乎实时的语音到语音体验，并提供六种专属声音（不同于ChatGPT且禁用第三方以防侵权）。演示中，该API被用于旅行规划助手，用户可通过语音讨论伦敦行程并获得地图标注等低延迟响应；另一场景展示了通过电话查询餐饮订购的能力。
需注意，该API无法直接致电商家，需集成Twilio等呼叫服务。此外，OpenAI未内置AI身份自动披露机制，鉴于加州新规及语音逼真度，此类合规责任目前由开发者承担。
视觉微调与提示缓存：提升性能与降本
DevDay还引入了视觉微调功能，支持结合图像与文本优化GPT-4o应用，以提升视觉理解任务表现。但严禁上传受版权保护或违规图像。同时，新增的提示缓存功能允许复用常用上下文，据称可节省50%费用并改善延迟，旨在追赶Anthropic等竞品。
模型蒸馏与Beta评估工具
OpenAI推出模型蒸馏功能，支持利用o1-preview或GPT-4o等大模型微调GPT-4o mini等小模型，兼顾成本效益与性能提升。配套发布的Beta评估工具，帮助开发者在API内直接衡量微调效果。
缺席的重磅更新
本次DevDay因“未宣布”的内容引发关注。备受期待的GPT Store无新进展，收入分成试点细节仍未公开。此外，官方明确表示今年不发布新AI模型，正式版o1及视频生成模型Sora仍需等待。