Meta首席执行官马克·扎克伯格上周在Instagram频道上宣布了新的生成式人工智能模型Voicebox。与文本转语音（text-to-speech）人工智能模型不同，Voicebox即使在未针对这些领域进行训练的情况下，也能执行包括编辑、降噪和风格迁移在内的众多任务。
Voicebox 的核心功能
如果您向Voicebox提供两个声音样本和一段文本，您可以以第一个声音样本为参考，根据它来修改第二个声音样本。同样，该功能也可用于在不同语言中产生更自然的语音。
用户也可以将Voicebox用于语音编辑功能。如果录音过程中存在背景噪音，如狗叫声或物品掉落声等突发噪音，则可以将它们删除。为此，您需要将音频文件和转录文本（transcript）输入给Voicebox。Voicebox会评估这两项输入，并根据转录文本清理背景噪音。
值得一提的是，您也可以使用此技术编辑语音记录。如果存在发音错误的单词，Voicebox可以基于转录文本修正该部分。在填充缺失部分的新文本时，确保生成的声音与现有声音和语调保持一致。
此外，该模型能够从单个文本序列生成许多语音示例。借助这一特性，可以为训练其他语音处理模型而合成数据生成。
模型的训练过程与方法
据Meta研究团队透露，Voicebox旨在通过上下文学习实现文本引导的语音生成任务，并由此开发出单一模型。
Voicebox支持英语、法语、西班牙语、德语、波兰语和葡萄牙语共六种语言，并通过一种特殊方法进行了训练。使用流匹配（Flow Matching）技术的Meta人工智能团队，因此呈现出比扩散模型学习方法更具泛化能力和更高效的方法。
流匹配技术使模型能够从各种语音数据中学习，而无需对数据进行标注。因此，Meta人工智能团队成功在不实际标注数据的情况下，在5万小时语音和有声书转录文本上训练了该模型。
相比之下， 大型语言模型 （LLM）通常 单词 和 文本序列的统计模式 在尝试学习时，Voicebox，被训练用于学习将语音样本与其转录文本相匹配的模式。
本质上，在训练过程中，模型会接收一段语音样本以及与该语音样本对应的文本。随后，语音的某些部分会被掩码处理。接着，模型利用上下文中的周围语音和文本，来生成被掩码的部分。通过反复执行这一过程，模型学会了从文本中生成自然的语音。
此外，该模型 有声书数据 进行训练，因此在日常和非言语声音所在的对话中，其表现并不理想。 对于声音风格、音调、情感 以及 声学特性 在这些细节上实现完全控制也几乎不可能。Meta 人工智能团队表示，未来将在这些领域进行改进。
目前，由于伦理方面的担忧，该模型并未公开发布。研究结果则表明，Voicebox 有望在未来作为新功能添加到各类应用中。