大数跨境

OpenAI 升级其语音转录和语音生成 AI 模型

OpenAI 升级其语音转录和语音生成 AI 模型 海外洞察
2025-03-20
2
导读:OpenAI 正在将其新的转录和语音生成 AI 模型引入其 API,该公司声称这些模型优于其此前发布的版本。对于 OpenAI 而言,

OpenAI 正将其新一代转录与语音生成 AI 模型接入 API,并宣称性能较前代显著提升。此举契合其“代理(agentic)”愿景,即构建能独立代表用户完成任务的自动化系统。

🤖 迈向“代理”时代

尽管“代理”定义尚存争议,但 OpenAI 产品负责人 Olivier Godement 将其通俗解释为“能与企服客户对话的聊天机器人”。他表示:“未来数月我们将看到更多代理涌现,核心目标是帮助开发者打造有用、可用且精准的代理体验。”

🗣️ 语音合成:更真实、更可控

新文本转语音模型 gpt-4o-mini-tts 不仅音色更细腻逼真,还具备更强的“可控性”。开发者可通过自然语言指令定制说话风格,例如“像疯狂科学家一样”或“使用正念导师般宁静的声音”。

产品团队成员 Jeff Harris 强调,关键在于定制语音的“体验”与“语境”。“在客服场景中,若需表达歉意,声音应包含相应情感。我们坚信用户希望掌控的不仅是‘说什么’,更是‘怎么说’。”

📝 语音转文本:告别幻觉,提升准确性

新语音转文本模型 gpt-4o-transcribe 和 gpt-4o-mini-transcribe 将取代老旧的 Whisper 模型。它们在多样化高质量音频数据集上训练,能更好捕捉口音及嘈杂环境下的语音,且大幅降低了“幻觉”风险(即捏造内容或引入无关信息)。

Harris 指出:“确保模型精确听到单词而非自行填补细节,对可靠语音体验至关重要。”不过,实际效果仍因语言而异。内部基准测试显示,gpt-4o-transcribe 在泰米尔语、泰卢固语等印度及达罗毗荼语系语言上的词错误率(WER)接近 30%,即每 10 个词约有 3 个与人工转录不符。

来自 OpenAI 转录基准测试的结果。Image Credits: OpenAI

🔒 闭源策略:规模过大,专注终端优化

不同于以往开源 Whisper 的做法,OpenAI 计划不公开提供新转录模型。Harris 解释称,新模型“规模远大于 Whisper”,无法在本地笔记本直接运行,不适合作为开源项目发布。

他表示:“开源发布需深思熟虑。我们认为终端用户设备是开源模型最具吸引力的场景之一,因此更倾向于推出针对特定需求优化的模型。”

注:本文于 2025 年 3 月 20 日上午 11:54(太平洋时间)更新,以澄清关于词错误率(WER)的表述,并采用最新版本数据更新了基准测试结果图表。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14239
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读46.0k
粉丝0
内容14.2k