Captions是一家由人工智能驱动的视频编辑初创公司，推出了名为Lipdub的新应用，可将视频片段翻译成28种语言。
Lipdub在App Store上免费提供，支持包括法语、印地语、西班牙语、意大利语、葡萄牙语、日语等在内的多种语言。该应用甚至允许用户将视频翻译成德州俚语、Z世代用语、海盗语和婴儿语。演示视频显示，该应用还能根据所选目标语言改变唇部动作。然而，有时音频与唇部动作之间存在一定的延迟。
用户可以翻译一段单人讲话时长不超过一分钟的视频，然后将其分享到其他社交媒体平台。
在其网站上，Captions 表示已有超过300万创作者使用其同名视频编辑应用。该初创公司声称拥有超过10万名日活跃用户。Captions 应用提供多种基于人工智能的视频编辑功能，例如去除“嗯”和“啊”等语气词、降低背景噪音以及增强语音清晰度。该应用还具备“AI Lipdub”功能，如果在后期编辑中修改了字幕文本，它可以调整唇部动作以匹配新的内容。
Captions由曾在Snap担任设计工程负责人的Gaurav Misra于2021年创立。今年6月，该公司在由Kleiner Perkins领投的B轮融资中获得了2500万美元，参与投资的机构包括Sequoia Capital、Andreessen Horowitz（a16z）和SV Angel。截至目前，Captions已筹集了4000万美元的资金。
利用翻译和AI配音来触达更广泛的受众已成为一种日益流行的趋势。今年6月，YouTube宣布正在测试一款AI驱动的工具，让用户能够自动为他们的视频进行多语言配音。该公司表示，他们还在致力于改进唇形同步技术。上个月，该公司称正在将AI驱动的配音功能直接整合到YouTube Studio中，以便希望将视频转换为其他语言的用户更方便地使用。
本月早些时候，AI语音生成平台ElevenLabs发布了其配音工具，支持29种语言。Rest of World此前报道，配音服务提供商通过为MrBeast等热门YouTuber的内容进行翻译，每年赚取数百万美元。
AI驱动的配音初创公司吸引了大量投资者兴趣，例如总部位于英国的Papercup和总部位于以色列的Deepdub均已筹集了数百万美元资金。