摘要：针对合成孔径雷达(SAR)影像与光学影像匹配中传统算法匹配效果不佳的问题,提出一种基于风格迁移与边缘特征的归一化互相关匹配算法。首先使用循环一致对抗生成网络(CycleGAN)训练从SAR影像到光学影像的风格迁移网络,将SAR影像风格迁移生成人工光学影像,其次将SAR影像及人工光学影像进行边缘提取并融合边缘得到SAR影像边缘特征,同时提取光学影像边缘特征,随后基于二值边缘特征图进行双向一致性约束下的归一化互相关匹配,最后使用快速抽样一致性算法进行误匹配剔除。实验结果表明,本算法比合成孔径雷达尺度不变特征变换(SAR-SIFT)算法与位置尺度定向不变特征变换(PSO-SIFT)算法更适应于SAR与光学影像之间的匹配,而相对于绝对相位方向梯度直方图(HAPCG)算法与辐射不变特征变换(RIFT)算法,本文算法具有更高的匹配成功率以及更低的匹配用时。

关键词：影像匹配; 风格迁移; 边缘检测; 合成孔径雷达影像; 光学影像; 归一化互相关

引言

光学遥感影像内容直观丰富便于理解,但影像质量易受天气以及光照影响,而合成孔径雷达(synthetic aperture radar,SAR)影像具有全天时、多天候的优势,但获取影像的散射特性强不易理解［1］,因此,综合利用光学影像以及SAR影像能够获取更加丰富准确的信息,前提是保证影像能够准确配准。常见的影像匹配算法如基于点特征的尺度不变特征转换(scale-invariant feature transform,SIFT)［2］算法在SAR影像中难以提取到有效的特征从而导致匹配效果不佳,因此部分学者基于SIFT算法进行改进,提出如合成孔径雷达尺度不变特征变换(SAR-SIFT) ［3］、位置尺度定向不变特征变换(position scale orientation-scale invariant feature transform,PSO-SIFT)［4］、光学与SAR的SIFT(optical and SAR scale-invariant feature transform,OS-SIFT)［5］等算法以及在这些算法基础上进一步改进的算法［6-7］,提高了SAR与光学影像的匹配效果。一些基于区域的算法如归一化互相关(normalized cross correlation,NCC)［8］、信息熵(mutual information,MI)［9］算法同样受限于SAR影像与光学影像之间存在的非线性灰度差异。以上这些算法都较为依赖影像梯度或者灰度特征信息,很难保证匹配算法的稳定性。针对这一问题,有专家学者将相位一致性模型引入异源影像匹配,提出了绝对相位方向梯度直方图(histogram of absolute phase consistency gradients,HAPCG)［10］ 、局部相位特征描述(local histogram of orientated phase congruency,LHOPC)［11］以及辐射不变特征变换(radiation-variation insensitive feature transform,RIFT)［12］等方法,在SAR与光学影像匹配中获得了不错的结果,但是基于相位一致性模型的匹配对影像的噪声还是较为敏感,仍然有待改进。如果能够减少SAR与光学影像之间的差异,再使用上述方法进行匹配［13］,将会改善匹配效果,而基于深度学习的风格迁移［14］是一种有效的方法。Merkle ［15］通过训练图像风格迁移网络,将光学卫星影像进行风格迁移生成人工SAR影像,然后采用经典匹配方法进行配准,得到了较为准确的匹配结果,不过该方法依赖于风格迁移网络模型的训练结果,需要使用大量数据集来确保风格迁移后的影像质量。针对文献［15］中的问题,文献［13］提出风格迁移后的人工光学影像与原SAR影像之间存在稳定的不变边缘特征可以用于匹配,在训练样本不足的情况下,针对不同类型数据采用不同数据样本训练对应的风格迁移网络,利用SAR影像与人工光学影像差异图提取SAR影像的稳定边缘特征,对边缘特征图使用NCC进行匹配,但实际应用中一张影像可能包括各种类型场景,如何正确调用相应的网络模型将会成为挑战,同时利用二值边缘特征进行NCC匹配其匹配速度还有待提高。

针对以上问题,本文提出一种基于风格迁移与边缘特征的匹配算法。该方法使用SEN1-2［16］数据集训练,将SAR影像风格迁移为人工光学影像并分别提取Canny边缘特征,随后将边缘进行融合得到融合边缘,同时提取光学影像边缘,在边缘特征图上基于双向一致性约束进行匹配,通过多组实验验证本文算法能有效提高匹配性能。

2014年Goodfellow［17］提出生成式对抗网络(generative adversarial network,GAN),主要结构包括生成器和判别器两部分,以随机噪声为输入并生成输出。随后基于GAN发展的图像翻译网络(image-to-image translation with conditional adversarial networks,Pix2Pix) ［18］、循环一致对抗生成网络(cycle-consistent generative adversarial networks,CycleGAN) ［19］等多种风格迁移网络相继提出。由于CycleGAN具有训练时不需使用配对数据集的优点,本文选择CycleGAN作为风格迁移网络进行训练。进行风格迁移后的影像能够有效减少噪声影响,但是原SAR影像的部分边缘信息在风格迁移后会丢失,为得到更加准确的边缘信息,将SAR影像与人工光学影像的边缘特征进行融合,本文边缘融合步骤如下：

(1)对SAR影像与人工光学影像进行Canny边缘检测,并使用形态学操作剔除部分细小边缘,得到二值边缘图像I1、I2。

(2)获得在SAR影像与人工光学影像中均为边缘的点图Ic,公式为

Ic=I1·I2   (1)

(3)将I1、I2、Ic按固定大小划分为多个区域Ib1、Ib2 以及Ib3,根据区域内边缘点个数Nb1、Nb2 、Nb3之间的比值获取融合边缘图像I相应区域的边缘特征,具体融合规则如式(2)所示。

(2)

式中,Nb1、Nb2 与Nb3分别为区域Ib1、Ib2 以及Ib3内边缘点个数;T0、T1为所设的比率阈值。

经过融合后得到SAR影像的融合边缘特征,使用NCC作为相似性度量,在融合边缘特征与光学影像边缘特征中进行匹配。本文使用SAR影像与人工光学影像中均为边缘的点以及光学影像边缘点作为待匹配特征点对,仅在边缘点间进行匹配并添加双向一致性约束对NCC匹配结果进行初步剔除,使用图像金字塔加速匹配过程,上一层影像获得的匹配点对向图像金字塔下一层影像进行传递时,在这些点对及其邻域点对之间进行匹配以提高匹配精度,邻域大小根据该层匹配点对数量进行设置以节省匹配时间,图像金字塔层数根据影像尺寸大小以及边缘点密度进行设置。在精度评定阶段,对图像进行格网划分,每个格网选择1～2个匹配点,根据这些匹配点进行精度评定。本文SAR与光学影像匹配流程如图1所示。

注：①NCC表示归一化互相关系数(normalized cross correlation);②FSC表示快速样本共识(fast sample consensus)。

图1 本文匹配流程

本文使用SEN1-2数据集训练SAR到光学影像的风格迁移网格,从SEN1-2数据集中选取了具有山地、农田、水体以及城市等各类场景影像各10 000对影像作为训练数据集,在Windows10系统下采用Pytorch深度学习框架进行训练,使用NVIDIA Quadro P6000 GPU加速训练过程,总共训练200 h。匹配使用两组实验影像如图2(a)、图2(d)以及图2(b)、图2(e)所示,第一组影像位于城市地区,房屋与道路清晰,SAR影像与光学影像均有较多的规则边缘且存在梯度反转现象,影像大小为534像素×528像素;第二组影像位于郊外地区,含有丰富水体,地块分明,边缘明显,影像大小为600像素×600像素。SAR影像风格迁移生成人工光学影像的结果如图2(c)、图2(f)所示,可以看出风格迁移后的影像与光学影像更加接近。为定量描述风格迁移以及本文边缘融合处理对于SAR影像边缘检测的影响,从训练数据集中选取100组影像,使用Canny算法进行边缘检测,并使用峰值信噪比(peak signal to noise ratio,PSNR)以及均方误差(mean squared error,MSE)衡量边缘检测效果,最终计算结果取均值。其中,PSNR值越高表示边缘检测效果更好,单位为分贝(dB),而MSE值越低表示检测效果更好,单位为像素。计算结果如表1所示,由表可知风格迁移以及本文的边缘融合处理能有效提高边缘检测效果。

表1 边缘检测质量评价

图2 实验数据及其风格迁移结果

为衡量算法匹配性能,将本文算法与PSO-SIFT算法、SAR-SIFT算法、HAPCG算法以及RIFT算法在两组SAR与光学影像中进行匹配,从正确匹配点数(number of correct matches,NCM)、匹配成功率(matching success rate,MSR)、均方根误差(root mean square error,RMSE)以及匹配时间(time)四个方面进行对比分析。本文算法使用的匹配模板尺寸为61像素×61像素,其余算法均使用其默认参数,匹配容差为2像素,匹配结果如图3～图4所示,具体匹配数据如表2所示,表中“—”表示匹配失败RMSE无效。可知,PSO-SIFT算法与SAR-SIFT算法在两组实验影像中的匹配均失效,而HAPCG算法与RIFT算法成功匹配且匹配点对分布均匀。本文算法在第一组数据中的NCM小于RIFT算法并且匹配点对分布不够均匀,这是因为第一组数据存在的梯度反转情况导致部分边缘提取位置有偏差,大部分匹配点对在双向一致性约束下被剔除,个别匹配点产生偏移,这也导致本文算法在第一组数据中的RMSE略微低于HAPCG算法与RIFT算法。但是第一组数据中本文算法的MSR分别是HAPCG算法与RIFT算法的8.46倍与1.03倍,同时匹配时间分别是HAPCG算法与RIFT算法的28.60%与62.48%。在第二组数据中,本文算法在匹配时间上具有明显优势,用时仅有HAPCG算法与RIFT算法的11.23%与25.35%,因为第二组数据的边缘特征丰富且整体边缘分布较为均匀,使用了更高的图像金字塔层数且待匹配点邻域半径可以更小。同时算法匹配精度未受到明显影响,其RMSE略低于HAPCG算法与RIFT算法,分别是其90.4%与87.60%。

表2 不同算法匹配性能

图3 第一组影像匹配结果

图4 第二组影像匹配结果

针对SAR影像与光学影像匹配中传统算法效果不佳的问题,本文提出一种基于风格迁移的边缘匹配算法。首先训练从SAR影像迁移为光学影像的风格迁移网络,将SAR影像及其风格迁移生成的人工光学影像提取Canny边缘并融合边缘,同时获得光学影像的边缘特征图,其次基于二值边缘特征图进行双向一致性约束下的NCC匹配,使用图像金字塔加速匹配过程,最后使用FSC进行误匹配剔除。实验结果表明,本文算法比PSO-SIFT算法与SAR-SIFT算法更加适合对SAR与光学影像进行匹配,而相对于HAPCG算法与RIFT算法,本文算法在匹配时间以及MSR上具有优势。但本文算法还有不足之处,获得的匹配点分布还是不够均匀,且未针对旋转差异以及尺度差异进行算法设计,可针对该点进行改进。

原标题：结合风格迁移与边缘特征的SAR与光学影像匹配

潘 明1,2 谭 海2 钟旭辉1,2

(1. 辽宁工程技术大学 测绘与地理科学学院, 辽宁 阜新 123000;

2. 自然资源部国土卫星遥感应用中心, 北京 100048)

引文格式： 潘明,谭海,钟旭辉.结合风格迁移与边缘特征的SAR与光学影像匹配［J］.北京测绘,2023,37(7)：938-943.