Meta AI于2022年2月宣布研发“通用语音翻译器”（UST），同年7月在“不让任何语言掉队”（NLLB）项目下，将翻译支持扩展至阿斯图里亚斯语、卢旺达语和乌尔都语等200种低资源语言。目前，Meta AI正着力提升非书面口语的翻译能力。
Meta为何聚焦非书面语言？
尽管英、中、西等主流语言已获广泛支持，但全球仍有20%人口使用的语言未被现有系统覆盖。此外，当前AI翻译模型多侧重常见书面语，超过40%的口头语言尚处于技术盲区。
通用语音翻译的技术突破
为构建UST，Meta AI针对三大翻译系统挑战，通过扩充多语言训练数据缓解数据稀缺问题，并积极探索新路径以应对模型规模化带来的建模难题及评估需求。
团队以闽南语（Hokkien）为案例进行研究，重点创建含人工解释的数据集，并从大规模未标记语音中自动挖掘数据。同时采用伪标签（pseudo-labeling）技术，利用已标记数据模型预测未标记数据标签。在建模阶段，借助中文（Mandarin）书面文本增强对话翻译能力，实现跨语言口语实时互译。
除AI建模外，Meta还应用自研S2UT技术将语音转换为声学序列，输出由输入单元波形构成；并采用UnitY两阶段解码机制：第一阶段生成目标语言文本，第二阶段生成对应语音单元。
Meta AI的未来研究方向
Meta AI不仅深耕翻译领域，还在开发类似DALL-E的视频生成工具Make-A-Video。该系统通过学习文图匹配数据及无关文本视频片段，掌握词汇视觉呈现与物体外观特征，背后依托WebVid-10M和HD-VILA-100M数据集支持。
据Meta AI负责人Jérôme Pesenti及Research首席执行官Joelle Pineau透露，公司正研发用于具身化交互式元宇宙的AI技术，提出“无限机器人”概念，旨在让机器人走出实验室，在家庭或办公场景中与人及物体自然互动。
Pineau强调，打造能从丰富交互中学习的机器人是关键一步。为此，Meta AI联合卡内基梅隆大学（CMU）和麻省理工学院（MIT）开发新型AI触觉传感器，可解析通信位置信息并通过内置摄像头测量接触力。
如同Boston Dynamics机器人融入元宇宙移动概念，Meta亦计划通过虚拟形象与机器人交互，填补虚拟现实与现实世界的鸿沟，持续推进具身化交互式元宇宙AI技术的构建。