文献推荐 | 敦煌壁画的纹理相似性和结构连续性稀疏建模修复

为较全面地展示文化遗产数字化保护的前沿技术，本课题组每周收集整理与文化遗产数字化保护相关主题参考文献，包括：虚拟修复、高光谱、风险评估、三维特征提取等进行精读，并通过公众号推送分享，欢迎老师与同学们提出宝贵的建议和推荐相关文献。

引用格式：

Wang H , Li Q , Zou Q . Inpainting of Dunhuang Murals by Sparsely Modeling the Texture Similarity and Structure Continuity[J]. Journal on Computing and Cultural Heritage, 2018.

推荐理由：

壁画是最古老的绘画形式之一，是世界历史的珍贵遗产，由于环境的变化和人类活动，许多壁画遭受了不同程度的损坏，迫切需要利用现代科学手段进行保护。本篇文章重点研究稀疏表示理论下线描图辅助的壁画修复算法，针对传统算法中修复后结构不连续和纹理填充错误问题，提出利用专家线描图对壁画修复进行指导，通过配准破损图像和线描图，有效为后续修复算法提供结构指导，保证了纹理和结构信息的连续性，提高了信息补全的准确性。最后，文章通过大量的实验对方法进行验证，实验结果证明了该方法的有效性。

内容介绍：

1. 背景与意义

古代壁画是人类文明在历史上的视觉表现，是世界各地文化交流的重要媒介。然而，由于自然风化和人为破坏，古代壁画经常遭受颜色退化、色素剥落、大面积脱落等破坏，使其信息量减少，美感降低。虽然现代修复技术有助于修复壁画，但没有任何技术可以保证壁画本身不会受到损害。为此，大多数国家和博物馆倾向于将壁画数字化为绘画图像，并使用图像修复算法进行修复工作。幸运的是，多年来一直在进行一个项目，敦煌研究院的一些画家在莫高窟的每个洞穴中绘制壁画的线条图。这些画家不仅使线条图与洞穴中剩余绘画的素描笔划对齐，而且还在受损区域创建线条结构。

2. 理论背景和方法

工作主要包括三个部分，首先对图像进行预处理，在经验丰富的敦煌壁画修复专家的指导下对受损区域进行填充，以确保修复位置。然后，利用人机交互技术，根据线图完成受损区域缺失的结构信息，得到带有人工标记结构的受损壁画图像；其次，确定待修复块选择策略，包括：（1）分类及修复顺序（2）纹理块的随机选取（3）块的结构复杂度；最后，建立局部连续性约束下的稀疏修复模型，求得再l0范数最小化约束下的稀疏解，求得线性组合后的修复块Ψp。

图1.敦煌壁画辅助结构信息边界及填充原理示意图

3. 实验和结果

3.1 实验数据

本文算法中所涉及到的破损敦煌壁画数据图和线描图(图 1-1、1-2、1-3 和 1-4)由敦煌研究院提供，图 4-8(a)-(j)第一行来自 敦煌 660 数据集。其中图 1-1 画名为《舞伎反弹琵琶》为甘肃敦煌市莫高窟第 112 洞窟内南壁墙上中唐时期(公元 781-848)所绘，图 1-1 画名为《听法飞天》为第 263 洞窟内北壁墙上北魏(公元 439-534)时期所绘，图1-1 画名为《莫持梵夹菩萨》为第 320 洞窟内东壁北侧墙上元朝(公元 1271-1368)时期所绘。而图 1-4 中所有的线描图由于年代问题无法对临摹的时间画家所考究。图 4-8(a)-(j)第一行从左至右分别为北凉-272-1s(公元 421-439)，北魏-435-1b(公元 439-534)，北周-290-1c(公元 557-581)，北周-299-a(公元 557-581)，初唐-322-1c(公元 618-712)，初唐-329-1f (公元 618-712)，盛唐-148-1a(公元 705-781)，隋-420-1g(公元 581-618)，五代-061-1b (公元 907-960)和西魏-249-r(公元 534-556)。

为了验证算法的有效性，将与Criminisi 算法，Wang 算法，Xu 算法，Darabi 算法以及Content aware fill做比较，并分析实验结果，相应将各参数修改成与本文所设参数一致。

3.2 实验结果

图2. (1)行为结构预处理后图，(2)-(6)行分别为 Criminisi 算法修复结果，Wang 算法修复结果，Content aware fill 修复结果，Darab算法修复结果，Xu 算法修复结果，(7)为本文算法修复结果

从第(2)行中 Criminisi 算法修复结果来看，结构和纹理都出现了错误填充结果，大部分修复结果中都出现了结构不连续现象，和错误填充现象。第(3)行是在 Criminisi 算法基础上进行改进的 Wang 算法，可还是出现了与上述算法几乎同样的错误，原因除了 “蝴蝶效应”之外，还在于没有将待填充块的局部纹理约束考虑进去，而在搜寻最佳待修复块时，只选择一块作为填充块。第(4)行为Content aware fill 算法，几乎所有的修复结果都出现了较为严重的结构不连续现象，主要因为没有将图像块领域的约束考虑进去。第(5)行为 Darabi 算法结果，可以看到，几乎所有的结构信息处都存在不想要的纹理，这是因为该算法用最邻近搜索方式寻找相似块，缺乏全局一致性。第(6)行Xu 算法从修复结果上看要好于 Criminisi’s，Wang’s，Content aware fill’s 和 Darabi’s 算法，没有出现结构不连续性的现象，在所有修复结果里，纹理不一致性还是会出现。而本章提出的一些关键点，包括对纹理区域和结构区域的分类，重新定义的块结构复杂度 PSC，待修复块所需满足的领域连续约束以及块的稀疏线性表示都起到了重要的作用，所以也就自然的解决了已有五种修复算法在填充时所出现的结构不连续以及纹理不一致等问题，得到最好的修复结果。

表1. 不同修复算法下 10 张待修复图像的 PSNR 值和 SSIM 值

4. 结论

在传统的壁画修复算法中，由于没有将相应的线描图作为修复的结构指导，所以在修复那些破损较为严重的壁画时，常常会出现结构纹理都不连续的错误填充现象，而现今主流的方法，尤其是在填充步骤时，都是从破损图像中的完好区域选出最“特殊”的最相似的单一填充块进行复制粘贴操作，但往往这样的操作会导致连续填充错误的类似“蝴蝶效应”现象以及“块效应”重复现象。

本文提出的稀疏表示理论下线描指导壁画修复方法，具体来说，在修复过程中，利用与彩色壁画对应的线条图来保持结构的一致性，提出了一个斑块结构复杂度指数来对结构斑块进行排序，并构建了稀疏表示模型来选择候选斑块。在稀疏模型中，设置了纹理一致性和结构连续性约束。对敦煌莫高窟壁画进行了模拟破坏和真实破坏实验，并与其他五种方法进行了比较。结果证明了该方法的有效性和有效性。此外，还研究了参数对修复效果的影响。对于自动将线条图与彩色图像对齐的配准方法还可以进一步研究，另外对于壁画或图像修复，可以引入统一的客观定量评价指标。

来源期刊：

Journal on Computing and Cultural Heritage

DOI:https://doi.org/10.1145/3280790