人工智能语音技术公司 ElevenLabs 正式发布新一代文本转语音模型 Eleven v4 与 Eleven v4 Turbo。该公司将其定位为迄今最注重情感表达的语音模型。其中，Eleven v4 专注于通过解读文本的语调、语速、情感、角色及语境来生成更自然的语音；Eleven v4 Turbo 则专为语音 AI 代理和实时应用设计，具备低延迟特性。
ElevenLabs 表示，新模型采用了全新架构。Eleven v4 能在长文本中更一致地保持说话人声音身份，并根据上下文调整朗读方式，从而生成戏剧性、紧急、幽默或日常对话等多种叙述风格。此外，该模型还能根据前文内容相应调整后续台词的语调。
在语音制作方面拥有更多控制权
继 Eleven v3 引入行内语音标签后，Eleven v4 进一步扩展了该系统以增强用户对语音合成的控制。用户可将多个标签组合在同一命令中，使模型按指定顺序应用；也可使用自然语言指令添加笑声、愤怒情绪、特定口音、轻微雨声或手机振动等音效。同时，ElevenLabs 还改进了用于特殊单词和名称发音的 国际音标（IPA） 支持。
语音克隆功能也迎来升级。据 ElevenLabs 介绍，Eleven v4 仅需 10秒的声音录音 即可克隆个人声音。此外，公司还通过新模型重新推出了在 Eleven v3 中暂不支持的“专业语音克隆”功能。
Eleven v4 和 v4 Turbo 支持超过 90 种语言，较 Eleven v3 的约 70 种有显著增加。新版本在 日语、巴西葡萄牙语、普通话和粤语 方面的质量提升尤为明显。公司指出，基于一种语言生成的语音克隆，在其他语言中说话时也能呈现更自然的本地口音。
Eleven v4 Turbo 旨在面向实时 AI 代理
第二款模型 Eleven v4 Turbo 专注于呼叫中心、有声 AI 代理等对延迟敏感的场景。得益于双向流媒体支持，该模型可在句子完全生成前即开始输出声音。
测试数据显示，Eleven v4 Turbo 产生首个声音的中位数时间约为 150 毫秒，中位推理（inference）延迟约为 100 毫秒。需要注意的是，上述数值基于公司内部测试得出。
新模型使客户服务场景中的对话更加流畅，能够针对通话分歧、话题转接或用户等待等情况进行差异化配音。此外，声音生成可在大语言模型响应完全完成之前于后台启动。
在长内容处理方面，Eleven v4 能够 一次性生成多达 1 万个字符的内容，并配备连接不同语音输出的系统以保持长文本中语速和语调的一致性。该特性对于有声书、播客、广告以及 ElevenLabs Reader 等长格式内容尤为重要。
Eleven v4 和 Eleven v4 Turbo 可通过 ElevenAgents、ElevenCreative 以及 ElevenAPI 使用，免费账户亦可进行测试。ElevenLabs 免费计划包含 每月 1 万积分，付费套餐 从每月 6 美元起。
今年年初，在 Sequoia 领投下获得 5 亿美元投资、估值达 110 亿美元的 ElevenLabs，其年经常性收入（ARR）已从 3.3 亿美元增长至超过 6 亿美元。凭借新模型，ElevenLabs 不仅巩固了在与 Cartesia、Deepgram、Fish Audio、Boson 和 WellSaid Labs 等初创公司竞争中的地位，也增强了与 Google 和 OpenAI 声音生成模型的竞争力。