

图像与信号处理|深度学习和APAP模型结合的大视差图像拼接算法

汉斯出版社

2023-04-27

导读：关注汉斯出版社公众号即可获取最新论文咨讯！

导读：

图像间位置偏差较大时，图像拼接容易出现错位、重影问题。提出一种深度学习和APAP模型结合的大视差图像拼接算法，该算法使用基于学习的SuperPoint网络同时提取图像特征点和描述符，采用SuperGlue网络对特征点进行筛选和最优匹配，最后通过APAP模型求取局部投影变换完成拼接。实际结果显示，在Mikolajczyk数据集上，基于学习的SuperPoint和SuperGlue网络在特征点提取和匹配方面相比传统算法重复率提升20%左右，准确率达到99%，鲁棒性更强，准确率更高。最终拼接图相比传统算法图像质量评价指标NIQE降低6.5%左右，基本消除错位、重影问题，更符合视觉效果。

基本信息：

深度学习和APAP模型结合的大视差图像拼接算法

Large Parallax Image Mosaic Algorithm Based on Deep Learning and APAP Model

作者：

熊禹：广西科技大学自动化学院，广西柳州；东风柳州汽车有限公司，广西柳州；尹希庆*, 吴志运：广西科技大学自动化学院，广西柳州

关键词:

图像拼接；深度学习；APAP模型；SuperPoint网络；SuperGlue网络；Image Mosaic；Deep Learning；APAP Model；SuperPoint Network；SuperGlue Network

项目基金：

广西重点研发计划项目(2021AB01021)

原文链接：

https://doi.org/10.12677/JISP.2023.122011

内容简介：

在汉斯出版社《图像与信号处理》这本期刊中，有论文提出一种深度学习和APAP模型结合的大视差图像拼接算法。在特征点提取上采用基于学习的SuperPoint网络进行特征提取，使用基于学习的SuperGLue网络寻找最优匹配点和剔除垃圾点，最后通过APAP模型进行局部投影变换进行拼接，利用加权融合方法进行融合。该方法能够融合深度学习在特征点提取上的鲁棒性、正确匹配率优势，提高最后拼接图的质量。

为了验证本文算法的有效性，分为两部分进行实际验证，分别为特征匹配性能和拼接性能，并用传统的算法进行比较。在特征匹配中采用Mikolajczyk标准数据集进行匹配性能测试，该数据集包含图像模糊(bikes)，光照变化(leuven)，图像压缩(ubc)，视点变化(wall)，在图像拼接性能中采用公用大视差图像拼接实验数据集进行测试，在进行实验前，将两组数据集图像的分辨率调整为640 × 480。

对特征匹配中的匹配性能，采用重复率和正确匹配率对算法性能进行评价，并与传统SIFT、SUFR和ORB算法进行对比分析，其中使用Repeatability%表示图像中提取体征点的重复率，该值越稳定，表示提取特征点鲁棒性越强。MatchScore评价图像间的正确匹配率，MatchScore值越大，正确匹配率越高。