一种高保真遥感图像薄云去除方法- 大数跨境

GIS前沿

2023-11-13

摘要:为改善非均匀薄云覆盖遥感图像薄云去除存在校正不足或颜色失真的问题,该文提出了一个融合注意力特征的高保真薄云去除端到端网络。首先,设计了注意力特征融合模块,该模块引入注意力机制以及融合模块,并通过3个注意力特征融合模块级联,使网络关注薄云覆盖区域的信息提取,减少无云部分的影响。同时,加入颜色损失函数和锐化损失函数以提高图像准确的颜色保真度和细节清晰度。通过实验结果表明,该方法的输出结果在视觉评估和定量评价指标(峰值信噪比和结构相似度)上均优于其他方法的结果。该网络对于多种场景下的非均匀薄云图像均有较好的去云效果,且输出的图像色彩效果真实、亮度过度平滑、细节轮廓清晰。

引言

随着空间分辨率的不断提高,光学遥感图像越来越广泛地应用于农业监测、资源勘察、城市规划以及环境灾害预防等各种领域。然而,光学遥感图像容易受到天气因素的影响,其中云雾对图像的干扰非常明显,被薄云遮挡的图像会信息损失、细节模糊,影响图像后续解译与应用。因此,薄云去除是光学遥感图像重要的一个预处理步骤。

传统薄云去除方法主要基于物理成像模型和线性叠加模型。其中最典型的方法为He等基于大气散射模型提出的暗通道先验算法 (dark channel prior, DCP)。许多学者在此基础上对遥感图像去云做了进一步的研究,Li等提出了一种基于同态滤波和球面模型改进的暗通道先验的两阶段薄云去除方法; Shi等提出了一个基于多尺度暗通道先验 (multiscale dark channel prior, MDCP) 的薄云去除框架。

近年来,学者们开始针对光学遥感图像特点的研究薄云去除网络。Li等提出了一种基于卷积神经网络的端到端图像去模糊处理方法,将几个未知参数统一为一个参数,利用多尺度卷积神经网络估计未知参数,以提高高空间分辨率遥感图像的清晰度。Pan提出了一种名为空间注意生成对抗网络的模型 (spatial attention generative adversarial network,SPAGAN),该模型通过识别和聚焦云区域,生成质量良好的无云图像; Li等提出了一种基于生成对抗网络和云失真物理模型的半监督方法,用于去除来自不同区域的未配对图像的薄云; Zi等提出一种多光谱图像薄云去除方法,通过U-Net估计多云图像的参考薄云厚度图,再利用Slope-Net 的卷积神经网络估计每个波段的薄云厚度系数以获得不同波段的薄云厚度图,最后从多云图像中减去薄云厚度图以得到恢复的清晰图像; Luo等提出了一种基于慢速特征分析的空间-光谱自适应方法来去除遥感影像中的薄云。

虽然这些方法在遥感图像薄云去除方面取得了一些成果,但是算法大多只关注薄云均匀分布、地景相似的遥感图像。实际遥感图像由于覆盖范围广、大气环境复杂,云层厚度和空间分布往往呈现出非均匀特性,即图像中同时存在无云和有云区域,薄云区域的光学厚度存在非均匀性。这些特性造成传统算法对于非均匀薄云分布遥感图像的去云结果往往存在校正不足或在无云区域出现颜色失真的情况。为了解决上述问题,本文提出了加入图像特征融合模块的注意力端到端薄云去除网络。一方面,针对薄云的非均匀分布特性,构建注意力特征融合子网络,该网络由3个相同的注意力特征融合模块构成。每个模块在通道注意力和空间注意力子模块中间,设计加入一个融合模块,以便在有效提取薄云信息的同时过滤无云区域; 另一方面,为提高图像保真度,网络加入处理图像颜色和边缘信息的损失函数,以确保去云结果的颜色和细节保真性。基于人工合成图像以及真实图像的实验结果表明,本文提出的注意力特征融合网络对不同场景的均匀和非均匀薄云遥感图像均具有较好的去云效果。

1 研究方法

1.1 网络框架

本文提出的基于注意力特征融合的薄云去除网络整体框架如图1所示。网络由编码器、解码器和注意力特征融合子网络组成。首先,输入的薄云光学遥感图像进入编码器生成特征图,送入由3个注意力特征融合模块组成的子网络。网络中,3个注意力模块紧密连接,前一模块的输出作为后一模块的输入。将3个模块分别提取的薄云特征信息共同作为输出,传向解码器,最终输出一张RGB无云图像。

图1 网络整体结构

1.2 编码器和解码器

通过图1所示,网络的编码器由5个卷积层组成,在保持特征图像大小不变的情况下,编码器的卷积层通过增加一倍通道数的方式将输入特征图像逐步由3通道增加至128通道。这样使得输入的图像信息能够逐步增加特征信息量,而不至于单次特征通道数量增加过多使训练效果降低。且到达第5个卷积层时,通道数达到128,对于轻量级网络来说,已能提取丰富的信息,无需再增多卷积层导致网络的训练效率降低。为与编码器相互对应,解码器同样由5个卷积层组成,压缩整理网络的特征信息,将融合后的128通道特征图逐步降为3通道,输出彩色无云遥感图像。

1.3 注意力特征融合子网络

如图1所示,注意力特征融合子网络由3个结构相同的注意力特征融合模块级联构成。前一模块的输出作为后一模块的输入,递进地提取图像特征。同时网络将3个模块各自的输出连接在一起,共同传向解码器部分,保证信息完整性。

每个注意力特征融合模块的内部结构如图2所示,包括: 卷积层、通道注意力模块、融合模块、空间注意力模块、批标准化层和Leaky ReLU(LReLU)层。该模块用于过滤图像中无云区域的信息,促使网络聚焦图像中薄云区域进行信息提取与重建。

其中,通道注意力模块与空间注意力模块采用卷积块注意模块(convolutional block attention module, CBAM),其结构如图3所示。

为了提高特征信息的提取能力,在通道注意力和空间注意力模块中间设计增加了一个融合模块,其结构如图4所示。模块分为2个分支,上分支保持特征图的通道数不变,将512像素×512像素大小的特征图进行3次步长为2的下采样提取特征图的局部信息,得到64像素×64像素大小的特征图,再将下采样后的特征图通过3个反卷积层上采样为原特征图大小,以此获取特征图局部特征。下分支保持特征图像大小不变,仅改变特征图像通道数,每次2倍提高特征图的通道数,再以相反的方法将特征图减小到128通道以获取特征图全局特征。将2个分支分别获取的特征接入连接层,通过3个不变卷积层整合特征信息输出到下一环节。融合模块能够整合通道注意力模块输出的通道差异化特征信息,生成具有丰富细节的特征图像传输给空间注意力模块,便于后续对薄云区域信息进行重建。

2 实验结果与分析

2.1 参数设置

实验环境通过Tensorflow[13]框架构建本网络,CPU为Intel(R) Core(TM) i7-8700,GPU为Nvidia GeForce RTX2080,显存大小为16 GB。模型的轮数设置为80,设置优化器Adam 的学习率为0.001,批大小为16的梯度下降。

2.2 数据集

为了提升模型的泛化能力,本文在公共遥感薄云数据集RICE[14]的基础上,加入了GF-1/2,Landsat ETM+/TM以及WorldView-2等卫星所拍摄的清晰无云遥感图像。基于Pan等[15]提出的云模板提取方法,获得了大量不同形状和空间分布的云图,再将云图与无云遥感图像根据Photoshop[16]的滤色混合模式进行结合,扩充了人工薄云图像数据集。数据集包含河流、山脉、建筑物和土壤等多种场景。本文建立了5 500对训练数据集,700张测试数据集。测试集包含400张合成薄云图像以及300张真实薄云图像。数据集图像的大小均为512像素×512像素。

2.3 实验结果评价

本文方法与DCP[1]方法、Ren等[17]开发的多尺度卷积神经网络 (multi-scale convolutional neural network, MSCNN)、Dhara等[18]提出的自适应大气光细化与非线性色彩平衡去云算法 (adaptive airlight refinement and non-linear color balancing, AARNCB)、Cho等[19]提出的模型辅助的多波段融合算法 (model-assisted multiband fusion, MAMF) 以及SPAGAN[7]方法共5种薄云去除方法进行实验对比。为了客观进行实验对比,利用本文建立的数据集重新对SPAGAN模型进行了训练。

本文设置了3组对比实验,包括: 公有数据集RICE图像实验、人工合成图像实验和真实遥感图像实验。表1为RICE数据集薄云去除结果对比。从表1中图像可以看出,AARNCB,MAMF以及MSCNN方法均无法去除非均匀真实薄云图像,处理后的图像可看性降低、细节丢失明显、出现伪影。DCP方法可以去除部分云,但先验信息评估不准确,导致处理后的图像整体亮度降低,饱和度升高。SPAGAN方法结果整体较暗,细节丢失明显。对比来说本文方法具有较好的去云效果且细节恢复明显,具有较强的视觉效果。

表1 RICE数据集薄云去除结果对比

表2为本文人工合成薄云图像去云结果。其中图像1和图像2为均匀薄云覆盖图像,图像3和图像4为非均匀薄云覆盖图像。对于均匀覆盖的薄云图像,所有方法都能对图像还原。然而MSCNN和AARNCB方法处理后的图像颜色失真,锐化过度; MAMF方法处理后的图像颜色偏移严重; DCP方法预测出的结果亮度较低; SPAGAN方法去云效果明显,但是颜色还原不准确。对于非均匀薄云图像,DCP方法有较好的去云效果,但是由于暗通道中无极小值,导致预测出的图像相比于原图亮度低,损失细节; MSCNN和MAMF方法无法去除云较厚的部分,过度增强图像对比度,此外MSCNN方法还会出现偏色问题; SPAGAN方法去云效果好,但纹理细节有所损失; AARNCB方法与本文方法结果相似,但仍有部分云残留。通过对比可知,本文方法在颜色保真度、清晰度以及薄云去除效果都有较好的表现,更接近于真实图像。

表2 厚度分布不同情况薄云图像输出结果对比

表3为真实遥感图像去云结果,图像收集自GF-1/2和Landsat ETM+/TM等传感器,图像来自中国和意大利等国家,包括多种场景。收集的真实遥感图像均为可见光波段合成的RGB真彩色图像,通过数据提供的参考信息和目视判别确定为薄云。由表3中图像可以看出,对于不同分辨率、不同薄云覆盖的图像本文方法在颜色保真和细节重建上均能取得最好的去云视觉效果。表明本文通过合成图像训练得到的网络能够在真实遥感图像上获得良好的去云效果,表明本文方法具有良好的鲁棒性。

表3 真实薄云图像输出结果对比

为了客观评价薄云去除效果,本文采用了3种评价指标对实验结果进行定量评估。其中包括全参考评价指标——峰值信噪比(peak signal to noise ratio, PSNR[20])、结构相似度指数(structural similarity, SSIM)以及无参考图像空间质量评估指标(blind/referenceless image spatial quality evaluator, BRISQUE[21])。PSNR与SSIM数值越大,BRISQUE数值越小,说明输出图像质量越好。

从测试集中随机挑选200张图像计算评价指标,计算结果如表4所示。根据表4中数据可知,本文方法的PSNR,SSIM以及BRISQUE 3个评价指标均为最优。

表4 不同方法处理结果评价指标对比

2.4 实验分析

为验证本文提出的融合模块的作用,本文设计了该模块的消融实验,实验结果如图5所示。

图5 融合模块消融实验

图像上黄色框为有云无云的过度区域,图像右侧为黄色框1和2的放大细节。从整体来看,在图像1山丘中,没有信息融合模块的输出结果去云效果不好,厚云处出现泛白现象,输出图像过度不自然。从局部来看,在图像2城市中,无信息融合模块的输出结果有云与无云的边界感明显,且楼房区域对比度较低。而有融合模块的2张输出图像整体细节充足,颜色恢复效果好,明暗过度平滑,对比度强。

为验证本文设计的细节损失函数Ls和颜色损失函数Lc的作用,设置了有无2个损失函数的消融实验,结果如图6所示,其中黄色框1为薄云部分,黄色框2为原图中无云部分,图像右侧为对应黄色框1和2的放大细节图像。在图像颜色方面,如图像1城市图像,房屋部分在没有损失函数的输出结果中,屋顶颜色与原始图像相差较大,而有损失函数的输出结果其颜色还原程度与原图近似,接近真实图像。在图像细节方面,如图像2中,无锐化损失函数的输出结果山峰及道路的细节模糊,图像层次被降低,而有锐化损失函数的输出结果中图像既能保证无云部分的细节,又能将有云部分的细节加强。

图6 调整损失函数消融实验

为进一步验证网络的有效性,将清晰无云图像输入网络进行测试,结果如图7所示。输出结果与原图在视觉评价上非常接近。农业区和城市区图像的SSIM定量评价指标均为0.92。值得注意的是,本文方法并未引入无云图像进行模型训练,这表明本文提出的注意力子网络能够有效关注薄云特征,忽略无云特征,模型具有很好的鲁棒性。

图7 无云图像网络输入输出对比

3 结论

本文搭建了注意力特征融合子网络,并加入颜色损失函数和锐化损失函数,提出基于注意力特征融合的光学遥感图像薄云去除网络。

大量实验结果表明,该模型对于非均匀覆盖图像,不仅具有良好的去云效果,而且输出图像的颜色保真度高、细节丰富度、亮度和平滑度等方面均优于其他对比方法。在定量分析上,本文方法随机抽取图像测得的PSNR为23.74 dB,SSIM为0.90,BRISQUE为23.62,均为所有方法中的最优指标。最后,模型将无云图像输入网络,其输出结果不会进行图像压暗和薄云去除等操作,表明模型的鲁棒性强。

然而,对于地物有大片接近云亮度的部分,网络有时会误判成云,进而对该部分误去云。并且本文数据集为可见光波段合成的RGB真彩色图像,无多波段或雷达等多源数据。这些问题将是后续研究以及数据处理的重点。

（原文有删减）