OpenAI 终于发布了 ChatGPT 的实时视频功能,这是其近七个月前演示过的能力。
周四在直播中,该公司表示 ChatGPT 拟人化对话功能“高级语音模式”将新增视觉能力。使用 ChatGPT 应用时,订阅了 ChatGPT Plus、Team 或 Pro 的用户可以将手机对准物体,让 ChatGPT 近乎实时地作出回应。
具备视觉功能的高级语音模式还可以通过屏幕共享理解设备屏幕上显示的内容。例如,它可以解释各种设置菜单,或对数学问题提供建议。
要访问具备视觉功能的高级语音模式,请点击聊天栏旁边的语音图标,然后点击左下角的视频图标以启动视频。要进行屏幕共享,请点击三点菜单并选择“共享屏幕”。
OpenAI 表示,具备视觉功能的高级语音模式的推送将从周四开始,并在接下来的一周内完成。但并非所有用户都能获得该功能。OpenAI 称,ChatGPT Enterprise 和 Edu 订阅用户要到明年一月才能使用该功能,而对于欧盟、瑞士、冰岛、挪威或列支敦士登的 ChatGPT 用户,目前尚无明确的时间表。
在 CBS 新闻《60分钟》节目的最近演示中,OpenAI 总裁格雷格·布罗克曼(Greg Brockman)让具备视觉功能的“高级语音模式”对安德森·库珀(Anderson Cooper)进行了解剖学知识测试。当库珀在黑板上绘制人体器官时,ChatGPT 能够“理解”他画的内容。
“位置非常准确,”ChatGPT 说道,“大脑确实就在头部。至于形状,这是一个不错的开始,但大脑更像是一个椭圆形。”
在同一场演示中,具备视觉功能的高级语音模式在一道几何题上犯了错误,这表明它容易产生幻觉。
具备视觉功能的高级语音模式已多次延期——据报道,部分原因是 OpenAI 在产品尚未准备好投入生产时就提前宣布了该功能。今年4月,OpenAI 承诺将在“几周内”向用户推出高级语音模式;几个月后,该公司表示需要更多时间。
当高级语音模式终于在初秋为部分 ChatGPT 用户上线时,它缺乏视觉分析组件。在周四发布前夕,OpenAI 将注意力集中在将仅支持语音的高级语音模式体验扩展到更多平台以及欧盟地区的用户。
谷歌和 Meta 等竞争对手正在为其各自的聊天机器人产品开发类似功能。本周,谷歌将其实时视频分析对话式 AI 功能 Project Astra 向 Android 平台上一组“受信任的测试人员”开放。
除了具备视觉功能的进阶语音模式外,OpenAI 于周四推出了一款节日主题的“圣诞老人模式”,该模式将圣诞老人的声音作为 ChatGPT 中的预设语音之一。用户可以在 ChatGPT 应用中,点击或轻触提示栏旁边的雪花图标来找到它。

