黄仁勋真的骗过了全世界？- 大数跨境

首页

黄仁勋真的骗过了全世界？

清科灵境

2021-08-12

导读：这一段精心“伪造”的视频真的可以骗过全世界吗？用“伶眸”深度伪造合成检测来鉴别一下

文 | 深信科创

头图来源 | NVDIA

相信很多关注科技圈的小伙伴们今天都跟小编一样，朋友圈已经被英伟达三个月前的那场发布会刷屏了。

黄仁勋的虚拟厨房以及他本人的数字克隆人

刷屏的原因就是英伟达在8月12日SIGGRAPH 大会上首映的“在元宇宙中连接：GTC 大会主题演讲的制作”纪录片，NVIDIA团队成员讲述了NVIDIA 首席执行官黄仁勋在 2021 年 4 月 GTC 大会上的主题演讲背后的秘密，在整个演讲中从黄仁勋本人到厨房，再到其它细节，全部是由英伟达旗下平台Omniverse通过真人建模、动作捕捉、AI渲染等技术手段渲染出来的，像素级别细致的黄仁勋的虚拟厨房以及他本人的数字克隆人引得无数观众大呼受骗，朋友圈里也就有了“黄仁勋骗过了全世界”在不停刷屏。

（图片来源：英伟达）

相信看到这里，很多人都跟小编一样对于英伟达在图像技术方面的造诣深感牛X，但是问题来了：

这一段精心“伪造”的视频真的可以骗过全世界吗？用“伶眸”深度伪造合成检测来鉴别一下

熟悉深信科创的朋友们应该都了解，深度伪造合成检测是深信科创自主研发的AI“伶眸”的看家本领。所以小编轻车熟路地将英伟达的演讲视频导入到“伶眸”中一验真假，看一看英伟达能否骗过我们的AI视频深度伪造合成检测。

通过伶眸的检测我们可以看到，一开始伶眸给出的视频中人脸的真实度一度达到百分之九十多，但是很快随着视频的播放，伶眸检测出的人脸真实度的百分比骤然下降，只过了几秒钟便检测出视频中的人脸真实度仅为3.31%，换句话说就是视频中的人脸并不是真实的，是伪造的！

“伶眸”是如何实现深度防伪检测的呢？

01 共性伪造特征挖掘：

当前伪造检测方法依赖特定的伪造方法和数据集，泛化能力弱，因此需要通过横向对比各类伪造方法，挖掘其中的共性特征，以期通过共性特征的学习，提高伪造检测方法的泛化性。主要从以下两个方面出发：一方面挖掘共有伪造模式导致的共性伪造特征，如大量现有伪造方法中的上采样导致伪造图像的频域特征与真实图像存在差异，针对这种情况，可以在鉴别算法中，加入DCT、FFT等变换处理将图片信息转成频域信息，放大伪造特征；另一方面挖掘视频伪造的时空特性导致生物特征不一致，如面部朝向与鼻尖不一致，眨眼动作不连贯等，对于此类现象，可以利用LSTM、GRU等网络结构，对于序列信息进行有效学习、归类。

02从细微痕迹自动学习取证特征：

针对细微痕迹的特征提取，设计专门的类似中心差别卷积(Central difference convolution)的结构，避免池化操作模糊了细微痕迹在模型中的传播。同时设计像素级损失函数，引导模型学习细微痕迹。

（中心差别卷积）

03视频宏/微观、全局/局部运动轨迹结合分析：

使用卷积层结构，实现对单帧信息的采样，并配合长短时记忆，运用时序信息，以达到对局部和全局运动轨迹的综合分析；同时利用双通道，对图像进行像素级预测（如对面部掩膜的预测或利用图像分割技术对像素进行分类）和宏观分类预测，最后利用空时注意力机制，对宏观特征和微观特征分配权重，实现特征融合，输出最终分析结果,以此提高综合模型的泛化能力(高鲁棒性)和推演能力