课题组华巍在Remote Sensing发表论文：面向石窟寺虚拟修复的佛龛相似性指数计算

成果简介

近日，课题组博士生华巍在Remote Sensing期刊上发表了题为“Similarity Index Based Approach for Identifying Similar Grotto Statues to Support Virtual Restoration”的论文，该论文以云冈石窟第18窟主佛像“千佛袈裟”上雕刻的众多小佛为例，提出了通过2D照片提取文物相似度指数来筛选参照文物的方法，并进一步匹配其相似特征点，确定了石窟类文物数字化修复的量化科学依据。文中基于pHash算法计算文物相似度指数，使用sift算子匹配其对应的相似特征点。实验结果表明，该论文所提出的方法能够计算出石窟类文物相似度指数，量化文物间的相似关系，并根据该指数找到修复所需的参照小佛像。而引入sift算子再次匹配相似特征点，增加了文物相似度指数的可视性。

全文速览

2.1 技术路线与研究方法

 图1 整体实验流程

本文实验流程如图1所示，首先使用数码相机采集云冈石窟第18窟北壁大佛的原始照片，预处理后使用context capture软件制作正射影像图，然后选取北壁大佛正射影像图中“千佛袈裟”部分作为试验区。接下来从“千佛袈裟”正射影像试验区中分割出11个小佛像，对小佛像进行旋转，变形矫正等预处理，然后基于phash算法生成相似度指数。最后选取相似度指数最高的小佛像对，基于sift算法可视化小佛像之间的相似特征点。

2.2 数据预处理

 图2 云冈石窟第18窟北壁大佛正射影像采集顺序

按照图2箭头方向，分区域采集18窟北壁大佛的原始照片，生成正射影像。

 图3 实验区：云冈石窟第18窟北壁大佛“千佛袈裟”上的小佛像 

选取北壁大佛正射影像图中“千佛袈裟”部分作为试验区，共分割出11个小佛像。

 图4 旋转预处理和分割后的佛像图像 

对小佛像进行背景去除和旋转矫正预处理。

 图5 预处理后的11个小佛像

2.3 方法比选

判断图像相似度的方法有很多，其中hash算法可以给出准确的相似度数值。为了在平均哈希 (aHash), 差值哈希 (dHash), 和感知哈希(pHash)算法中，找到最佳算法，做了方案比选。

选择一张预处理后的小佛像正射影像图，进行亮度调节、旋转、锐化、模糊、对比度调节、尺寸调节等处理，来测试算法的鲁棒性和准确性。

图6 原始图像和变换后的图像 (a)原图；(b)图像(亮度调整)；(c)图像(尺寸调整)；(d)图像(对比度调整)；(e)图像(锐化)；(f)图像(模糊)；(g)图片(颜色调整)；(h)图像(旋转)。 

实验结果如表1：

 表1 三种哈希算法的比较结果 

可知，综合考虑鲁棒性和准确度，本文选择了感知哈希算法（phash）。

2.4 相似度指数生成

 图7 pHash算法流程图 

如图7所示，基于phash算法，提出了相似度指数生成的公式。其中S代表相似度指数，i代表两张小佛像正射影像执行phash算法后得到的哈希值。

通过对11个小佛像两两执行上述算法，得到了11个小佛像之间的相似度指数表。

 表2 实验结果统计

2.5 相似特征点可视化

因为相似度指数只能客观给出相似程度的百分比，并无法知道两个小佛像之间具体哪些部位相似，因此需要对选出的小佛像使用sift算法进行可视化。

图10是可视化后的结果，可以一目了然的看出，相似度指数高的小佛像之间相似特征点究竟在哪里。

图8 利用SIFT算法提取相似佛像的细节特征点 (a) 1号佛像与2号佛像的特征点匹配；(b) 2号佛像与3号佛像的特征点匹配；(c) 4号佛像与9号佛像的特征点匹配；(d) 4号佛像与10号佛像的特征点匹配

结论

石窟石刻类文物是不可移动文物的重要组成部分，其上雕刻的大部分小佛像几何形态与艺术风格相似。小佛像的相似度判别是石窟石刻类文物价值认知、现状评估和虚拟修复的基础和关键。论文以云冈石窟第18窟北壁主尊佛像“千佛袈裟”上的小佛像群为研究对象，提出了一种客观判定文物相似性的研究方法，解决了目前文物相似性判断依赖专家主观评判，尚无客观定量指标的问题。在研究中，总结了一种pHash算法与sift算法相结合的相似佛像自动判别方法。利用pHash算法可以快速准确的生成唯一的“哈希指纹”，并提出了一种文物相似度指数的计算方法，客观定量的给出了文物相似程度。研究还利用了sift算子的尺度不变特性，对初筛的相似文物图像，匹配了具体的相似特征点，以供文物专家参考。