♥
为较全面地展示文化遗产数字化保护的前沿技术，本课题组每周收集整理与文化遗产数字化保护相关主题参考文献，包括：虚拟修复、高光谱、风险评估、三维特征提取等进行精读，并通过公众号推送分享，欢迎老师与同学们提出宝贵的建议和推荐相关文献。
引用格式：Cao J , Zhang Z , Zhao A . Application of a Modified Generative Adversarial Network in the Superresolution Reconstruction of Ancient Murals[J]. Computational Intelligence and Neuroscience, 2020, 2020:1-12.
推荐理由：针对现有壁画图像分辨率低、细节粗糙的问题，提出一种超分辨率重建算法，用于增强艺术壁画图像，从而优化壁画图像。算法以生成对抗网络（GAN）为框架。首先，使用卷积神经网络（CNN）提取图像特征信息，然后将特征映射到与原始图像大小相同的高分辨率图像空间。最后输出重建的高分辨率图像，完成生成网络的设计。具有深度和残差模块的 CNN 用于图像特征提取，以确定生成网络的输出是否是真实的高分辨率壁画图像。详细来说，增加网络深度，引入残差模块，删除网络卷积层的批量标准化，使用亚像素卷积实现上采样。此外，采用多种损失函数相结合，分阶段构建网络模型，进一步优化壁画图像。当前团队建立了壁画数据集。与现有的几种图像超分辨率算法相比，该算法的峰值信噪比（PSNR）平均提高了1.2-3.3 dB，结构相似度（SSIM）提高了0.04±0.13；在主观评分方面也优于其他算法。本研究提出的方法在壁画图像的超分辨率重建中是有效的，有助于进一步优化古代壁画图像。
内容介绍：
1. 背景与意义
古壁画是文化遗产宝库中的一颗璀璨明珠。目前，壁画的保护主要集中在古代壁画的实地研究和壁画受损区域的修复上。然而，由于自然风化和人为破坏，古代壁画经常遭受颜色退化、色素剥落、大面积脱落等破坏，使其信息量减少，美感降低。虽然现代修复技术有助于修复壁画，但没有任何技术可以保证壁画本身不会受到损害。基于上述信息，本研究提出了一种新的超分辨率重建算法，应用于古代壁画图像的超分辨率重建。提出的算法的改进主要有以下几点：
(1) 网络设计以GAN为基本框架，包括生成网络和判别网络；引入了 MSE 损失、VGG 损失和对抗性损失函数，分两个阶段优化网络。
(2) 生成网络基于CNN，将反卷积操作替换为亚像素卷积，去掉batch标准化，引入residual模块加深网络，优化网络结构。
(3) 判别网络增加了网络层数，并集成了残差模块，使网络能够提取更多的图像信息，增加判别网络的表达能力，进一步优化生成网络模型 。
2. 理论背景和方法
壁画图像通过超分辨率重建算法增强艺术性。本研究基于古代壁画的特点和图像复原算法，设计了一种新的艺术壁画图像超分辨率重建算法。算法的整体结构如图1所示，主要集中在网络结构设计、损失函数、训练和测试过程三个方面。
图1. 壁画图像超分辨率重建算法的结构
壁画图像修复网络分为两部分：生成网络和判别网络。生成网络旨在在超分辨率重建后输出高分辨率图像。判别网络旨在确定生成网络的输出图像和真实壁画图像的真实性。生成网络的设计架构遵循encoder-decoder结构，主要分为特征提取和图像重建。判别网络输入是低分辨率的壁画图像，输出是与输入图像对应的高分辨率图像。
3.实验和结果
3.1 实验数据
本研究采用公共开放的DIV2K数据集结合少量壁画图像数据集完成网络模型的构建。DIV2K包含800对类型多样、特征丰富的图像，壁画数据集包含100对古代高质量壁画图像，在一定程度上解决了深度域的适配问题。在训练过程中，我们使用DIV2K和50对壁画图像来完成模型的构建。在测试过程中，另外50对壁画图像用于收集结果数据分析。本研究中的验证数据集是古代壁画图像。对比实验分为客观指标对比和主观评价对比，使实验更完整，实验结果更有说服力。
实验环境：验证了所提算法的有效性。硬件环境主要由英特尔酷睿 i5-9400fF@2.90 GHz、16 GB 内存和 Nvidia GeForce RTX2070 显卡组成。软件环境为Python 3.7，在Windows 10系统上进行语言编程，以TensorFlow为框架，完成壁画图像的超分辨率重建。
3.2 结果分析
将十幅不同风格、色彩对比度不同、纹理细节丰富的壁画图像局部放大四倍，将所提算法的超分辨率重建效果与双三次插值BI算法、EDSR算法和SRGAN算法进行对比。结果如图2所示。
图2. 不同算法下不同壁画图像的超分辨率重建效果对比
如图2所示，基于插值的 BI 算法重新存储的超分辨率图像显得模糊，图像纹理呈锯齿状。是因为该算法假设图像像素的灰度值是连续平滑变化的。然而，这种假设并不符合实际情况。此外，该算法没有考虑图像的退化模型，导致超分辨率不理想。目前，基于深度学习的 EDSR 算法和 SRGAN 算法在实践中得到广泛应用。与BI算法相比，这两种算法大大提高了修复效果。
然而，由于这些算法中用于图像特征提取的网络层数较少，无法获得更多的图像细节.的缺点是导致图像边缘区域的超分辨率重建效果模糊。此外，基于这些算法的图像色彩优化有时可能存在较大偏差，因此需要提高对重建图像细节的恢复效果。与上述超分辨率相比本研究提出的算法在纹理信息和颜色饱和度方面对超分辨率重建取得了较好的效果。
利用PSNR、SSIM、NIQE和推理时间精度指标对实验结果进行评定总结在表1中。
表1. 各种算法的实验结果
如表1所示，本研究提出的算法性能在 SSIM 中排名第一，在 PSNR 和 NIQE 中排名第二。然而，所提出的算法在推理时间方面表现不佳，在所有考虑的算法中排名第六。是因为本研究提出的算法使用更复杂的网络结构进行图像特征学习，以牺牲推理速度为代价获得更好的图像质量。
4. 结论
使用CNN作为基础设施来实现壁画图像的特征提取。通过残差学习优化生成网络，然后通过亚像素卷积的上采样，基于提取的特征实现壁画图像的超分辨率重建。在判别网络中，使用深度卷积神经网络和残差模块来区分生成的高分辨率图像和真实的高分辨率图像。与常见的单一损失函数不同，本研究提出的算法采用了多种损失函数的组合。此外，它采用阶段性网络模型优化的方法，实现了从低分辨率图像到高分辨率图像的科学转换过程。
5. 相关思考
与现有算法相比，该算法优化后的壁画图像有显着改善。结果表明，该算法对色彩丰富、纹理结构强的壁画图像的超分辨率重建效果较好。然而，这个算法也有一些缺点。在壁画图像的超分辨率重建中，其他颜色的噪声往往出现在颜色单一、对比度强的区域，使图像颜色不纯，降低了艺术价值。对抗神经网络的训练时间是不确定的。未来，我们将融合超分辨率重建与图像降噪算法，以解决高分辨率图像中的噪声现象。我们还将通过采用更科学的GAN训练终止条件来实现壁画图像的超分辨率重建进行研究。
来源期刊：Computational Intelligence and Neuroscience
DOI:10.1155/2020/6670976
关注我们
了解更多遗产数字化前沿信息
高光谱解混|虚拟修复|风险评估
如果你喜欢这篇文章，请记得长按二维码关注
文献整理：王庆民
排版：孙宇桐、徐元豪
审核：王诗涵、林敬凯