大数跨境

DeepL 推出 DeepL Voice,实现语音和视频的实时文本翻译

DeepL 推出 DeepL Voice,实现语音和视频的实时文本翻译 海外洞察
2024-11-13
2
导读:DeepL 凭借其在线文本翻译服务崭露头角,该公司声称其翻译结果比谷歌等服务商提供的服务更具细微差别和精确度——这一主张

DeepL 凭借在线文本翻译业务崭露头角,其声称该服务比 Google 等公司的服务更具细微差别和精确度。这一卖点使这家德国初创公司估值达到 20 亿美元,并拥有超过 10 万名付费客户。

如今,随着对 AI 服务的热潮持续升温,DeepL 正在为平台添加另一种模式:音频。用户现在可以使用 DeepL Voice 收听某人用一种语言说话,并实时将其自动翻译成另一种语言。

目前,DeepL 能够“听”懂的语言包括英语、德语、日语、韩语、瑞典语、荷兰语、法语、土耳其语、波兰语、葡萄牙语、俄语、西班牙语和意大利语。所有 DeepL Translator 目前支持的 33 种语言均提供翻译字幕。

图片来源:DeepL

DeepL Voice 目前尚未将结果以音频或视频文件的形式直接提供:该服务旨在用于实时对话和视频会议,并以文本形式呈现,而非音频。

在第一种场景中,你可以将翻译设置为出现在智能手机上的“镜像”——即在会议桌上将手机放在双方中间,以便各方都能看到翻译后的文字;或者作为转录内容,与对方并排共享。视频会议服务则将翻译结果显示为字幕。

语音产品布局与市场竞争

这种情况可能会随时间发生变化,该公司创始人兼首席执行官 Jarek Kutylowski 在一次采访中暗示。这是 DeepL 的首款语音产品,但很可能不会是最后一款。“[语音]是未来一年翻译技术发展的方向,”他补充道。

还有其他证据支持这一说法。Google——DeepL 最大的竞争对手之一——也开始在其 Meet 视频会议服务中整合实时翻译字幕。此外,还有众多 AI 初创公司在构建语音翻译服务,例如 AI 语音专家 ElevenLabs(ElevenLabs 配音)以及 Panjaya,它使用“深度伪造”声音和与音频匹配的视频来创建翻译。

后者使用了 ElevenLabs 的 API,据 Kutylowski 称,ElevenLabs 本身也在利用 DeepL 的技术来驱动其翻译服务。

功能现状与集成限制

音频输出并非唯一尚未推出的功能。目前也没有针对语音产品的 API。DeepL 的主要业务专注于 B2B 领域,Kutylowski 表示该公司正在直接与合作伙伴和客户合作。

集成选择也不广泛:目前支持 DeepL 字幕的视频通话服务只有 Teams,Kutylowski 称这“涵盖了我们要大部分客户”。至于 Zoom 或 Google Meet 何时或是否会整合 DeepL Voice,目前尚无消息。

自研模型与实时性优势

对于 DeepL 用户来说,这款产品的推出似乎姗姗来迟,这不仅是因为市场上充斥着大量旨在用于翻译的其他 AI 语音服务。Kutylowski 表示,自 2017 年 DeepL 成立以来,这一直是客户的头号需求。

等待的原因之一是,DeepL 在构建产品方面采取了相当谨慎的方法。与许多依赖并调整其他公司大型语言模型(LLM)的 AI 应用不同,DeepL 的目标是从头开始构建自己的服务。今年七月,该公司发布了一款专为翻译优化的新 LLM,据称其性能优于 GPT-4 以及来自 Google 和 Microsoft 的模型,主要原因在于其主要用途就是翻译。该公司还持续提升其书面输出质量和术语表。

同样,DeepL Voice 的独特卖点之一是它将实时工作,这一点很重要,因为市场上许多所谓的“AI 翻译”服务实际上存在延迟,这使得它们在需要现场使用的场景中难以甚至无法使用,而这正是 DeepL 所针对的使用场景。

Kutylowski 暗示,这也是新的语音处理产品专注于基于文本的翻译的另一个原因:文本可以非常快速地计算和生成,而处理和 AI 架构在能够像现在这样快速生成音频和视频方面还有很长的路要走。

应用场景与数据隐私

视频会议和会议可能是 DeepL Voice 的使用场景,但 Kutylowski 指出,该公司设想的另一个主要应用场景是服务业,例如餐厅的一线员工可以使用该服务来帮助更轻松地与客户沟通。

这可能很有用,但也凸显了该服务的一个棘手问题。在一个我们突然更加意识到数据保护,并担忧新服务和平台如何挪用私人或专有信息的时代,人们是否愿意让自己的声音被采集并以这种方式使用,仍有待观察。

Kutylowski 强调,虽然语音会被传输到其服务器进行翻译(处理过程不在设备端进行),但其系统不会保留任何数据,也不会用于训练其大语言模型。最终,DeepL 将与客户合作,确保他们不违反 GDPR 或其他任何数据保护法规。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k