为开发能理解多种方言的AI，Meta推出了SeamlessM4T模型。该模型支持近100种语言的跨文本与语音翻译及转录。
伴随新翻译数据集SeamlessAlign开源，Meta称SeamlessM4T代表了AI驱动语音到语音、语音到文本领域的“重大突破”。
Meta在博文中表示：“我们的单一模型提供按需翻译，使讲不同语言的人们能够更有效地沟通。”“SeamlessM4T无需单独的语种识别模型即可隐式地识别源语言。”
SeamlessM4T是Meta“No Language Left Behind”（文本到文本机器翻译模型）和“Universal Speech Translator”（支持闽南语的直接语音到语音翻译系统）的精神继任者。它建立在Massively Multilingual Speech框架之上，该框架提供超过1,100种语言的语音识别、语言识别和语音合成技术。
Meta并非唯一投入资源开发复杂AI翻译和转录工具的公司。
除Amazon、Microsoft、OpenAI及多家初创公司提供的商业服务和开源模型外，Google正创建“Universal Speech Model”，旨在构建能理解全球最广泛使用的1,000种语言的模型；Mozilla则主导了Common Voice项目，这是训练自动语音识别算法的最大多语言语音集合之一。
但SeamlessM4T是迄今为止将翻译和转录功能结合到一个模型中更具雄心的努力之一。
Meta表示，开发过程中从网络抓取了数百亿句公开文本和400万小时语音。Meta AI研究科学家Juan Pino未透露确切数据来源，仅称有“多种”来源。
并非所有内容创作者都同意利用公共数据训练可能用于商业目的的模型。部分人针对基于公开数据构建AI工具的公司提起诉讼，要求供应商提供署名或补偿，并设立明确的退出机制。
Meta声称其挖掘的数据主要来自开源或授权来源，不受版权保护，但也承认其中可能包含个人可识别信息。
Meta使用抓取的文本和语音创建了训练数据集SeamlessAlign。研究人员将44.3万小时语音与文本对齐，并创建了2.9万小时“语音到语音”对齐，以此“教会”SeamlessM4T语音转录、文本翻译、文本生成语音及跨语言词汇翻译。
Meta声称，在内部基准测试中，SeamlessM4T在语音转文本任务中对背景噪音和“说话人差异”的处理优于当前最先进的语音转录模型。这归功于训练数据集中丰富的语音和文本数据结合，使其比仅基于语音或仅基于文本的模型更具优势。
Meta在博客文章中写道：“凭借最先进的成果，我们相信SeamlessM4T是AI社区在追求创建通用多任务系统方面的重要突破。”
但该模型可能包含哪些偏见仍值得探讨。
《对话》（The Conversation）近期文章指出，AI驱动的翻译存在缺陷，包括性别偏见。例如，Google Translate曾在某些语言中预设医生为男性而护士为女性；Bing翻译器则将“the table is soft”翻译成德语阴性形式“die Tabelle”（指表格figures）。
语音识别算法也常含偏见。《美国国家科学院院刊》发表的研究表明，领先公司的语音识别系统在转录黑人说话者音频时，出错率是白人说话者的两倍。
在这方面，SeamlessM4T并非孤例。
Meta在白皮书中透露，该模型在“从中性术语翻译时会过度泛化为阳性形式”，且在大多数语言中，从阳性参考（如英语代词“he”）进行翻译时表现更好。
此外，在没有性别信息的情况下，SeamlessM4T约有10%的时间倾向于翻译为阳性形式。Meta推测这可能是由于训练数据中“阳性词汇的过度代表”。
Meta辩称，SeamlessM4T并未添加不成比例的有毒文本，这是翻译和大型生成式AI模型的普遍问题。但它并不完美：在孟加拉语和吉尔吉斯语等语言中，会产生更多涉及社会经济地位和文化内容的仇恨或粗俗翻译；在处理性取向和宗教主题时，毒性也更强。
Meta指出，SeamlessM4T公开演示版包含输入语音毒性过滤及输出过滤功能，但在开源发布版中默认不存在。
白皮书未解决的更大问题是词汇丰富度的丧失。人类译员会做出独特选择，形成非正式的“翻译腔”特征指纹。AI系统虽可能生成更“准确”的翻译，但往往以牺牲多样性为代价。
这也是Meta不建议将SeamlessM4T用于长篇翻译和认证翻译（如政府机构认可的翻译）的原因。Meta也不鼓励将其用于医疗或法律目的，以规避误译责任。
这是明智之举。历史上曾有多起AI误译导致执法错误的案例：2012年9月，警方因误译短信错误指控一名库尔德男子资助恐怖主义；2017年，堪萨斯州警察使用Google Translate询问西班牙语使用者是否允许搜查车辆毒品，因翻译不准确导致司机未完全理解同意内容，最终案件被驳回。
Pino表示：“这种单一系统方法减少了错误和延误，提高了翻译过程的效率和质量，使我们更接近实现无缝翻译的目标。”“未来，我们希望探索这一基础模型如何启用新的通信能力，最终让我们更接近一个每个人都能被理解的世界。”
希望在那个未来，人类不会完全被排除在外。