微软研究人员表示，几乎所有人的面部动作均可与语音及音频片段同步，并已利用AI生成说话人体动画。尽管“深度伪造”视频已渗透生活各领域，既能制作趣味内容，也可能歪曲政治人物言论，但这项技术的发展表明其或将长期存在。
作为全球科技巨头之一，微软虽未直接使用“deepfake”一词，却已涉足该领域且并非孤军奋战。此前，三星曾推出能精准重现眉毛、嘴巴等细节的端到端模型；Udacity上线了从语音自动生成课程视频的系统；卡内基梅隆大学也发表过面部动作迁移技术论文。
基于上述研究，微软团队提出了一项提升声音驱动头部动画质量的新技术。以往人脸生成依赖中性、清晰且低噪音频，而新方法通过将音频序列分解为音素内容、背景噪音等因素，能有效处理充满噪音和情感丰富的数据样本。
人类言语包含时长、语调及语境等多种变化，除语音内容外，还传递着情绪状态、身份特征（性别、年龄、族裔）及个性信息。微软将此项工作定义为从声纹表示学习角度提升性能的首次尝试。
该技术核心为可变自动编码器（VAE），用于学习隐藏表示。输入音频经VAE转换为编码内容、情感及其他因素的多种表示形式。系统据此采样内容表示，并结合输入面部图像驱动视频生成器，从而产生与面部匹配的声音动画。
团队表示，该方法在清晰中立口语表达指标上与其他方法表现相当，且在各类情感谱系中均保持一致性能，兼容当前所有现代面对面交谈应用。