OpenAI 正逐步为 ChatGPT 推出全新的语音与图像功能,旨在提升人机交互的自然度。用户现可通过语音对话及图片展示与 AI 进行更直观的交流,例如在旅行时识别地标,或拍摄冰箱食材获取烹饪建议。
未来几周,该功能将面向 Plus 及企业版用户分批开放。其中,语音功能仅支持移动端应用,图像功能则覆盖全平台。
语音输入支持双向实时对话
新版语音功能实现了双向对话式交流,ChatGPT 可从五种合成声音中选择其一进行语音回应。用户可在 iOS 和 Android 应用中设置开启。
技术层面,语音合成采用经专业配音演员样本训练的高级文本转语音模型;语音识别则基于 OpenAI 开源系统 Whisper,确保交互流畅准确。
多模态视觉理解提供精准上下文
ChatGPT 现已支持单张或多张图片输入,以辅助聚焦对话内容。例如,上传损坏电器照片可获取故障诊断与维修建议;移动端还内置绘图工具,允许用户圈注图片细节以明确意图。
该功能基于针对视觉推理微调的多模态 GPT-3.5 和 GPT-4 模型。在正式发布前,OpenAI 已对图像识别能力进行了全面的安全风险测试。
采取渐进式策略严控安全风险
鉴于新技术可能带来的潜在风险,OpenAI 采取了谨慎的部署策略。为防止语音被用于冒充公众人物等滥用场景,目前语音功能仅限于对话聊天模式。
在图像处理方面,ChatGPT 已被限制直接分析照片中的人物身份。官方建议用户在未经验证的情况下,避免将其应用于高风险场景。
总结
ChatGPT 新增的语音与图像功能显著优化了自然交互体验。但受限于当前安全考量,OpenAI 对初始访问权限及功能范围实施了严格管控。随着后续迭代扩展,用户仍需注意 AI 的技术边界,审慎规避高风险应用。

