语音克隆领域蕴含着巨大的商业价值。
一个典型的例子是:ElevenLabs,这家致力于开发用于创建和编辑合成语音的AI工具初创公司今日宣布,已完成由知名投资者领投的8000万美元B轮融资,其中包括Andreessen Horowitz、前GitHub首席执行官Nat Friedman以及企业家Daniel Gross。
该轮融资还得到了Sequoia Capital、Smash Capital、SV Angel、BroadLight Capital和Credo Ventures等机构的参与,使ElevenLabs的总融资额达到1.01亿美元,公司估值超过10亿美元(此前在去年六月时约为1亿美元)。CEO Mati Staniszewski表示,新获得的资金将用于产品开发、扩展ElevenLabs的基础设施和团队、进行AI研究,以及“加强安全措施,以确保AI技术的负责任和合乎伦理的发展”。
Staniszewski在写给TechCrunch的电子邮件采访中表示:“我们筹集这笔新资金是为了巩固ElevenLabs作为全球语音AI研究和产品部署领导者的地位。”
创始人背景与产品功能
ElevenLabs由前Google机器学习工程师Piotr Dabkowski和前Palantir部署策略师Staniszewski于2022年共同创立,大约在一年前推出了测试版。Staniszewski表示,他和Dabkowski在波兰长大,受到劣质配音的美国电影的启发,决定创建语音克隆工具。他们认为,AI可以做得更好。
如今,ElevenLabs或许最为人所知的是其基于浏览器的语音生成应用,该应用能够创建逼真的声音,并提供可调节的语调、情感、节奏和其他关键发声特征的选项。免费用户输入文本后,可以获得由几种默认声音之一朗读的录音。付费客户则可以上传声音样本,利用ElevenLabs的语音克隆技术打造新的声音风格。
业务拓展与未来路线图
近年来,ElevenLabs increasingly将其语音生成技术投资于制作有声读物、为电影和电视节目配音,以及为游戏和营销活动生成角色声音的版本。
去年,该公司发布了一款“语音转语音”工具,旨在保留说话人的声音、韵律和语调的同时自动去除背景噪音,并且在电影和电视节目的情况下,还能翻译并同步源材料的语音。在未来几周的路线图包括一个新的配音工作室工作流程,其中包含生成和编辑转录本及翻译的工具,以及一款基于订阅的移动应用,该应用使用ElevenLabs的声音来朗读网页和文本。
ElevenLabs的创新为其赢得了Paradox Interactive(其近期项目包括《Cities: Skylines II》和《Stellaris》的游戏开发商)和《华盛顿邮报》等出版、媒体和娱乐公司的客户。Staniszewski声称,ElevenLabs的用户已生成了相当于超过100年的音频内容,并且该平台被41%的财富500强公司的员工所使用。
滥用风险与安全应对
但公众舆论并非完全正面。
臭名昭著的论坛4chan以阴谋论内容著称,使用ElevenLabs的工具分享模仿艾玛·沃特森等名人声音的仇恨言论。《The Verge》的詹姆斯·文森特能够利用ElevenLabs在几秒钟内恶意克隆声音,生成的样本包含从暴力威胁到种族主义和跨性别恐惧言论等各种内容。而在Vice,记者约瑟夫·考克斯记录了生成足以欺骗银行身份验证系统的逼真克隆声音的过程。
作为回应,ElevenLabs试图清除反复违反其禁止滥用条款的用户,并推出了一款检测由其平台创建语音的工具。Staniszewski表示,今年,ElevenLabs计划改进该检测工具,以标记来自其他语音生成AI模型的音频,并与未具名的“分发合作伙伴”合作,将该工具提供至第三方平台。
行业争议与权益保护
ElevenLabs也因配音演员的批评而陷入争议,这些演员声称公司在未经同意的情况下使用了他们的声音样本——这些样本可能被用来推广他们不认可的内容或传播错误与虚假信息。在一篇近期发表于Vice的文章中,受害者讲述了ElevenLabs如何被用于针对他们的骚扰活动,其中一个例子是利用克隆声音泄露演员的私人信息——如家庭住址。
此外还有一个无法回避的问题:像ElevenLabs这样的平台对配音行业构成的存在性威胁。
Motherboard报道称,配音演员越来越被要求放弃对自己声音的权利,以便客户使用AI生成可能最终取代他们的合成版本——有时甚至没有给予相应的补偿。人们担心,配音工作——尤其是廉价的基础性工作——最终将被AI生成的语音所取代,而演员们将无处申诉。
一些平台正试图寻求平衡。本月早些时候,ElevenLabs的竞争对手Replica Studios与SAG-AFTRA(美国演员工会-美国电视和广播艺人联合会)签署了一项协议,用于创建和授权媒体艺术工会成员的数字声音副本。在一份新闻稿中,双方表示,该安排确立了“公平”和“道德”的条款与条件,以确保表演者的同意——并为新作品中数字声音替身的使用协商条款。
然而,即使如此仍未能取悦部分配音演员——包括SAG-AFTRA的自身成员。
声音市场与竞争展望
ElevenLabs的解决方案是一个声音市场。目前处于测试阶段,并将在未来几周内更广泛地开放,该市场允许用户创建、验证和分享自己的声音。Staniszewski表示,当其他人使用某个声音时,原始创作者将获得报酬。
他补充道:“用户始终保留对其声音可用性和补偿条款的控制权。”“该市场旨在作为迈向将AI进步与既定行业实践相协调的一步,同时也为ElevenLabs的平台带来多样化的声音。”
配音演员可能会对ElevenLabs目前不支付现金报酬这一事实感到不满——至少目前是这样。当前的设置让创作者获得的是指向ElevenLabs高级服务的积分(我敢打赌,有些人会觉得这颇具讽刺意味)。
随着ElevenLabs——如今已成为资金最雄厚的合成语音初创公司之一——试图抵御Papercup、Deepdub、Acapela、Respeecher和Voice.ai等新兴竞争者以及亚马逊、微软和谷歌等大型科技巨头的挑战,这种情况或许会在未来发生变化。无论如何,ElevenLabs计划将其员工人数从40人增加到年底的100人,并打算继续留在快速增长的合成语音市场中——并且掀起波澜。

