

极市直播回放丨第84期-刘虹雨：结合深度神经网络进行有效的图像修复和编辑

极市平台

2021-06-30

导读：回复“84”或“刘虹雨”即可获取PPT下载地址~

↑ 点击蓝字关注极市平台

图像修复和图像编辑是图像处理的重要基本任务，同时也一直是研究热点。

在这次分享中，我们邀请到了来自虎牙直播AI基础技术部的刘虹雨算法工程师，为我们介绍他团队在如何结合深度神经网络进行有效的图像修复和编辑这两个问题上的探索工作，两份工作都已经被CVPR2021收录。

多样性修复是指针对图像孔洞区域生成出多样的修复结果而非以往的单一结果，在PD-GAN中他们根据图像孔洞边缘生成内容确定性越大而中心确定性越小提出一种spatially probabilistic diversity normalization来解决多样性图像修复的问题，同时他们还提出了一种perceptual diversity loss 来提升多样性的效果。对于图像编辑，他们通过低层级控制信息如线条或者颜色来直接影响最后生成结果，DeFLOCNet中他们提出了一种有效的injection方式，帮助低层级控制信息（颜色和线条）有效的控制生成结果。

PD-GAN: Probabilistic Diverse GAN for Image Inpainting

本文提出一种非常自然的prior，即越靠近孔洞的中心其多样性越高，diverse越强，越靠近孔洞边缘其多样性越低越应该与上下文consistent起来，保证无缝链接，这样整个生成的图像就可以多样并且不突兀。通过采用vanilla GAN的框架，利用latent code对来影响孔洞内容，利用前面提到的prior本文很好地保证了GAN的特性就是多样性，同时也保证了生成内容能够与上下文融为一体。

DeFLOCNet: Deep Image Editing via Flexible Low level Controls

本文设计了Structure generation block, 把线条以及色彩看作孔洞区域的结构信息，并通过Spade Norm注入到feature中。同时，设计了Texture generation branch 辅助纹理的生成。最终提出了DeFLOCNet，并在图像编辑任务上取得了不错的效果。

在极市平台公众号后台回复“84”或“刘虹雨”即可获取PPT下载地址~

➤详情传送门

极市直播｜CVPR 2021-刘虹雨：结合深度神经网络进行有效的图像修复和编辑

➤论文

1.PD-GAN: Probabilistic Diverse GAN for Image Inpainting

链接地址：https://arxiv.org/abs/2105.02201

2.DeFLOCNet: Deep Image Editing via Flexible Low level Controls

链接地址：https://arxiv.org/abs/2103.12723

➤分享大纲

1、个人介绍

2、图像编辑和修复的相关知识介绍

3、PDGAN的介绍