AI学习分享活动是我协会举办的2022浙江程序员节系列活动之一，分享内容包括程序员的人工智能数字化进阶、趣味AI项目、AI专业论文三个专题。在程序员节活动期间，我们每周会陆续推出一个专题内容分享，欢迎关注！本期分享专题为“趣味AI项目”。接下来带来：基于SimSwap 模型的人脸替换——谁是你的秘密恋人。
摘要：
SimSwap是由上海交通大学和腾讯合作实现的换脸框架，它的全称是Swapping face using ONE single photo，就是说用一张图完成换脸。SimSwap提出了一种ID注入模块（IIM），在特征层面将源脸的身份信息迁移到目标脸，消除了原图特征信息与解码器的权重之间的相关性。这样，就将特定人脸互换算法的结构扩展到了任意人脸互换框架。
01
这是Mo最近开发的新项目，能够将我们上传的两张人像照片，转化为具有不同风格的双人合照。
具体步骤如下——
STEP 1：扫描二维码
STEP 2： 上传照片
STEP 3： 选择想要的风格 并点击提交
02
看到这里是不是会好奇这个项目背后的原理呢？
事实上，这个项目是依靠SimSwap 框架下的人脸替换。
SimSwap是由上海交通大学和腾讯合作实现的换脸框架，它的全称是Swapping face using ONE single photo，就是说用一张图完成换脸。
而一直身居换脸界C位的DeepFakes是怎么换脸的呢，对于同一人脸的大量图片进行分析并提取特征，然后将这种特征替换到目标图像上。这意味着什么呢？我换一个新脸，就得训练一个新模型。
SimSwap提出了一种ID注入模块（IIM），在特征层面将源脸的身份信息迁移到目标脸，消除了原图特征信息与解码器的权重之间的相关性。
这样，就将特定人脸互换算法的结构扩展到了任意人脸互换框架。
也就像我们在展示的那样，不用精挑细选“正脸”或“中性表情，直接从网上抓一把人物图片，也能够完美换脸。
这就大大节省了要反复建立新模型的时间和金钱。
除了泛化到任意人脸变换之外，SimSwap也能更好地保存原图的脸部表情和角度。
不管是表情嘴巴嘟嘟，还是目标图和原图一侧一正两个角度，都能完美换脸。
其实，像这种目标脸属性（表情，姿势，灯光）比较复杂情况下造成的特征损失，一直是换脸面对的困难之一。表情一夸张，或者处于极端角度和光线下时，就可能导致模糊和伪影。
这是因为在换脸任务中，常常要为了匹配原始特征而删除一些纹理信息，进而使图像的深层特征产生丢失。
此外，由于图像和它的属性在特征层面高度耦合，对于特征的直接修改也会造成图像属性性能的下降。
而SimSwap提出了一种弱特征匹配损失（Weak Feature Matching Loss），保证了输入目标和生成结果在高语义水平上的一致，并使判别器在最后几层计算特征匹配项。
这样，即使没有对特定属性做任何明确的约束，输入图像的属性也能被一种隐式的方式保留。
可以看到，虽然SimSwap在原特征表现上稍微落后，但涉及到脸部姿态这种复杂属性时，它的保存能力更好。
03
根据一系列科学计算，我们期待的双人合照图像出现了。卷积神经网络是上文提到的这个框架中所处的计算机视觉领域的基础算法，还能够利用到生活中的许多场景。
卷积神经网络课程地址：
https://momodel.cn/classroom/course/detail&id=5fd22947af9564c76a30dc52&activeKey=info&src=e47e8dbeab
此外，我们还专门打造了一款适合入门的小程序——【Mo AI编程】，可以帮助大家拓展思维，欢迎扫码上方海报二维码开始学习。
————随时随地，想学就学————