AI视频创作平台D-ID推出AI视频翻译工具，支持语音克隆与口型同步
AI视频创作平台D-ID最新推出了利用AI技术将视频翻译成其他语言的工具。作为AI编辑流程的一部分，该技术不仅能翻译内容，还能克隆说话者的声音并调整口型以匹配译文。
这项技术源于D-ID此前让老照片“动起来”并开口说话的成功应用。凭借这一创新，该公司于2022年完成2500万美元B轮融资，致力于服务越来越多使用其技术制作AI驱动视频的美国企业客户。
目前，D-ID已向订阅用户免费开放AI Video Translate技术，帮助创作者自动翻译视频以扩大影响力。该功能支持阿拉伯语、普通话、日语、印地语、西班牙语和法语等30种语言。D-ID订阅服务年费从56美元起（含基础积分），最高档位为1,293美元/年，之后转为企业定价。
D-ID表示，新AI视频翻译技术可帮助客户在向全球受众扩展营销、娱乐及社交媒体活动时节省本地化成本，并将与配音及AI视频领域的其他解决方案展开竞争。
多年来，配音技术虽提升了多语言观看体验，但小型创作者往往难以获取。随着技术门槛降低，这一状况正在改善。例如，YouTube推出的多语言音频功能旨在帮助创作者触达更广受众，知名创作者MrBeast已率先利用该技术将热门视频扩展至11种语言。
随着AI发展，声音创建、翻译及克隆能力持续增强。微软今年宣布将使用AI实时翻译并为YouTube视频等内容配音；7月，Vimeo也推出了结合AI语音克隆的音频与字幕翻译工具。此外，Descript、ElevenLabs、Speechify、Veed、Camb.ai、Captions.ai、Akool等公司均提供语音克隆或AI翻译产品；HeyGen、Deepbrain AI等则支持使用多语言AI虚拟形象制作视频。
Wav2lip等开源库降低了初创企业构建此类工具的门槛，使AI技术应用更简单、经济。（注：D-ID的新视频翻译功能由其专有模型Rosetta-1提供支持。）
D-ID的新视频翻译技术将通过D-ID Studio及API提供，目前开放一个月试用，详细演示可在官网查看。
该功能支持10秒至5分钟的视频，文件大小需低于2GB。为确保最佳效果，视频画面中应仅有一人正对镜头，且面部全程清晰可见。