ICML 2023｜两个步骤让瑕疵消失！解决GAN-SR 的伪影问题，只需配上一个DeSRA

 [ICML2023]：https://arxiv.org/abs/2307.02457

code：https://github.com/TencentARC/DeSRA

video：https://recorder-v3.slideslive.com/#/share?share=82996%5C&s=e6ebdd07-a83b-4f4b-8eab-a5f103c6c46b

本文对无真值测试集GAN伪影的产生原因与特性进行了分析，提出了一种先检测再删除的方案DeSRA。具体来说，

• 首先，我们度量MSE-SR与GAN-SR之间的局部相对方差距离，
• 然后，基于上述距离与语义感知阈值定位问题区域，
• 最后，采用少量相关样例微调GAN-SR模型以使其能处理类似类型的伪影。

当加持DeSRA后，我们可以成功的在推理阶段消除伪影，同时改善了超分模型在实际场景的应用能力。

本文出发点

GAN-SR在图像超分领域取得了极大成功，相比MSE-SR方案，GAN-SR重建结果具有非常优异的纹理与清晰度。但实际应用中，GAN-SR也带来了MSE-SR方案所没有的伪影问题(见上图标注)。

针对真实场景应用问题，已有不少方案取得了非常优异的效果，比如以下几个不容错过的方案：

• 腾讯优图提出并获得NTIRE2020-真实图像超分比赛双赛道冠军的RealSR^[1]；
• ETH@张凯提出并被ICCV2021收录的BSRGAN，也是业界首个广义盲图像超分退化模型^[2]
• 腾讯ARC@王鑫涛提出的Real-ESRGAN，次将ESRGAN推向了更广义的使用场景^[3]
• 深圳先进院@董超团队提出的CloserLookBlindSR，进一步扩展了盲图像超分的性能上限^[4]

上述几个方案侧重于数据退化建模方面的优化改进，但GAN伪影问题并未得到有效解决。针对此，港理工@张磊团队提出了消除GAN伪影打造更实用盲图像超分的LDL方案^[5]。尽管LDL确实改善了GAN-SR的伪影问题，但是从图示我们仍然可以看到：当面向真实场景测试数据集时，伪影问题仍然存在。由于这些伪影并未出现在训练数据中，仅仅通过改善训练机制难以解决这些伪影问题。

为更好的说明上述问题，作者尝试将GAN伪影问题分为以下两类：

• GAN-training Artifacts：这类伪影通常发生在训练阶段，主要源于不稳定优化与SR的病态属性。这类伪影可以通过类似LDL的方案进行改善消除；
• GAN-inference Artifacts：这类伪影通常发生于实际应用未知测试数据推理阶段，也可以理解为其数据分布与训练数据分布之间存在差异，已有的数据建模与训练方案无法解决该类伪影。

相比GAN-training Artifacts，GAN-inference Artifacts问题挑战更大：(1) 没有对应的真值数据；(2) 这类伪影难以建模模拟。与此同时，这类伪影有这样两个特性：(1) MSE-SR生成结果中并无这些伪影；(2) 这些伪影非常明显且面积较大。

此外，作者还发现：(1) 通过轻微调整退化信息(如添加噪声、调整图像尺寸)可以消除这类问题。(2) 不同的训练迭代会产生不同程度的伪影，进一步说明GAN的不稳定训练也是导致这类伪影的因素之一，即无法通过优化GAN训练来改善。

有鉴于此，作者提出了一种两阶段方案：先检测再消除。具体怎么操作的呢？听我娓娓道来~

GAN伪影定位机制

如何进行GAN伪影定位呢？我们按照某种可量化的规则自动检测分割存在明显GAN伪影的区域。由于真实场景测试数据缺乏真值，我们选择MSE-SR生成结果作为参考对GAN-SR生成结果中的GAN伪影进行定位。也就是说，我们希望GAN-SR重建结果不要偏离MSE-SR重建结果太多。

Relative Difference of Local Variance 基于上述分析，作者设计了一种可量化的指标衡量GAN-SR与MSE-SR的块间差异以判断GAN伪影。我们采用局部区域像素标准差类衡量局部纹理复杂度，定义下：

注：n表示局部窗口尺寸，默认为11。然后，我们计算两个块标准差之间的差异以衡量纹理差异d：

注：x表示GAN-SR块，y表示MSE-SR块。

如右图a所示，对于具有相似语义的块，大的纹理差异d往往意味着GAN伪影的存在。然而，d仅能度量块之间的绝对差异，而这与纹理复杂度强相关。

如右图b所示，当面对相近d时，不同语义的块具有截然不同的视觉感知：树叶区域并没有伪影，而建筑区域则存在伪影。因此，我们希望：该度量准则应当是一种独立于原始纹理方差的相对指标。因此，作者将上述指标进一步扩展为如下：

此外，为促进对距离图的操作，我们希望将其归一化到[0,1]范围。参考SSIM，作者进行了类似变换：

最后，作者还引入一个常量C以稳定除操作。最终的度量准则D定义如下：

从上图所示，所提度量准则D可以成功的生成伪影标记图。但是，这仍然不够：不同语义区域对伪影的容差是不一样的。因此，作者进一步采用潜在语义信息对所检测的伪影图进行优化调整。

我们采用ADE20K数据集预训练SegFormer将数据集分割为不同的语义区域。为确定不同语义区域最合理的调节参数，对于每一类，我们对其D值进行降序排列并 设置85%比例的D作为调节参数：

最终，对于每个图像，基于分割提炼后的伪影图M可以如下计算得到：

注：通过消融分析，作者设置 。

最后的最后，作者对上述所得执行形态学处理得到最终的伪影检测图(见前面Figure5-7)，处理步骤如下：

• 首先，执行 腐蚀操作；
• 然后，执行 膨胀操作；
• 其次，执行 膨胀以填充孔洞；
• 最后，过滤掉较小的离散小区域。

GAN-SR微调方案

尽管GAN-inference伪影检测很有实际意义，我们希望更进一步改善GAN-SR模型性能。由于我们旨在解决对于未知真实数据的GAN-inference伪影问题，而此时并没有对应的真值。那么，如何为其制作合理的真值呢？

考虑到“weak restoration without artifacts is even better than strong restoration with artifacts”，作者提出采用MSE-SR重建结果作为复原参考以构建伪真值。

如图所示，该伪真值合成过程可描述如下：

基于此，我们就可以采用少量的数据对 对GAN-SR模型进行微调已消除对应伪影。此时，我们仅需少量微调即可：1K足矣。

此外，值得一提的是：这种微调方式不会影响其他无伪影区域且可以有效抑制同类型伪影。该方案有效的机制在于：微调过程可以减小与合成数据与真实数据之间的分布差异，进而缓解GAN-inference伪影问题。

评价指标

由于缺乏真值，像PSNR、SSIM这类经典的指标就不能使用了。作者首先测试了NIQE、MANIQA两个无参考图像质量评价指标，参考左图，可以看到：这两个指标并不能总是匹配人类视觉感知质量。

有鉴于此，作者采用以下三个测度来衡量检测结果哦：

• IoU，检测领域常用指标：
• Precision，将检测到的伪影区域定义为S，正确检测集合描述为: 。因此，检测精度可表示为： 。
• Recall，类似的定义被检测到的伪影区域为 并进而得到召回率定义： .

注：在这里，默认设置参数p=0.5.

本文实验

上表1与表2基于Real-ESRGAN、LDL两个方案从检测准确性角度进行了对比分析，从中可以看到：

• LDL(thr=0.0001)取得了最佳召回率，答案从左图可以看到：它将大部分区域都视作了伪影，故这种检测几乎没有什么实际意义；
• 相比其他方案，所提方案取得了更高的检测精度。

上图&表从画质改善角度进行了对比分析，可以看到：

• 所提方案可以大幅减少伪影问题，同时不会引入额外新的伪影问题。搭配上所提方案后，Real-ESRGAN的伪影问题从51.1IoU减少到了12.9；LDL则从44.5减少到3.9；
• 从视觉效果看，所提方案具有更加的视觉质量。

参考资料

公众号后台回复“数据集”获取100+深度学习数据集下载～