

文献推荐 | 一种提取古代壁画精致线稿的新方法

遗产数字化与虚拟修复课题组

2024-12-25

导读：壁画是人类文明的瑰宝，具有极高的艺术价值和历史价值。然而，由于环境的变化和人类的活动，许多壁画遭受了不同程度的破坏，提取线稿对于保存修复这些彩绘文物有着重要意义。

一种提取古代壁画精致线稿的新方法

引用格式：Yu, Z.; Lyu, S.; Hou, M.; Sun, Y.; Li, L. A New Method for Extracting Refined Sketches of Ancient Murals.Sensors 2024, 24, 2213. https://doi.org/10.3390/s24072213

01 研究背景

壁画是人类文明的瑰宝，具有极高的艺术价值和历史价值。然而，由于环境的变化和人类的活动，许多壁画遭受了不同程度的破坏，提取线稿对于保存修复这些彩绘文物有着重要意义。壁画的色彩与纹理信息是复杂多样的，它们通常基于线稿。因此，准确定位壁画边缘信息是提取壁画精细线稿的关键。传统的线稿是由画家手工绘制的，这种方法比较复杂，耗时，而且往往缺乏准确性。为了提高线稿提取的准确性，研究人员探索了许多自动提取壁画线稿的方法。目前线稿自动提取方法主要是基于边缘检测的方法，可分为两类：传统的边缘检测算法和深度学习边缘检测方法。而本论文提出了一种提取古代壁画精细线稿的新方法。

实验数据与设备

文章采用实验室模拟壁画作为实验数据，如图1包括“水月（SHUIYUE）”和“大佛（DAFO）”，先完成线稿绘制并拍摄正射影像作为真实值，再依据线稿在黏土板上勾勒壁画线条并上色。实验数据使用尼康D850数码相机收集数据，拍摄时相机中轴线垂直于壁画表面，距离约1.2米，最高分辨率为8256×5504。最大像素为46M像素，有效像素为45M像素。

图1 Smulated mural and its corresponding original sketch. (a,b) The original sketch and image of “SHUIYUE”, (c,d) the original sketch and image of “DAFO”, respectively.

拟定方法

本文提出的流程如图2所示，原始数据是将模拟壁画用数码相机拍摄。在预处理阶段，利用CLAHE增强图像对比度。采用双边滤波去除图像中的噪声，用拉普拉斯和FNR检测图像的边缘，从而得到一幅精致的壁画线稿。

图2 The proposed approach.

CLAHE：通过设置局部区域阈值，将超出部分均匀分布到直方图各部分，可抑制噪声和避免块效应，在RGB图像的R、G、B通道分别执行后重新合成，能使壁画颜色边界更清晰，增强边缘像素点检测。简单来说，CLAHE就是在一定约束条件下图像的直方图均衡化。本文处理过程直接使用RGB图像完成。分别对R、G和B通道进行CLAHE处理然后将三个通道重新合成到一个RGB图像中。由于壁画中有许多颜料混合，不同颜色区域的边界往往变得模糊。对壁画进行CLAHE处理可以使这些边界更加清晰，并提高对比度。边缘检测的本质是检测灰度值发生急剧变化的像素点。经过对比度增强后，图像的边缘像素点更容易被检测到。

图3 The process of CLAHE on murals.

双边滤波：双边滤波的基本思想是同时考虑滤波的像素域和范围。双边滤波的权重函数是由空间邻近因子和灰度相似因子相乘得到的。在引入权重函数后，窗口像素点的加权结果由空间邻近和灰度相似共同决定。灰度相似因子随着灰度的减小而增大两个像素之间的差异。在归一化之后，权重被提升。与经典的高斯滤波不同，双边滤波将像素灰度相似性与空间信息相结合。这种方法不仅保留了图像的丰富细节，但也会抑制均匀区域中的相干点，如图4所示。对于参数的选择，首先，两个标准差值是核函数的方差。方差越大，项目对权重的影响就越大。本文使用这种方法来过滤壁画中的无效信息，同时尽可能不影响壁画的图像边缘信息。我们认为壁画由许多颜料和线稿组成，提取精细线稿也需要相关的颜色信息。在本论文中，邻域直径d被设置为9。控制灰度相似度的高斯函数的标准差设置为50。控制空间接近的高斯函数的标准差被设置为75。

图4 Comparison of results for different filters. (a) The original image (CLAHE), (b) the result of(a) using Bilateral filter, and (c) the result of (a) using Gaussian filter. The figures below (a1-c1) are the corresponding partially enlarged details.

边缘检测：在各种类型的图像中，不同的物体对电磁波具有不同的反射特性。导致物体和背景相交处出现显著的灰度变化，从而在图像中形成边缘。边缘检测技术是利用灰度变化来检测物体边缘信息，勾勒物体轮廓，并实现图像分割。边缘检测是所有基于边界分割方法的第一步。论文中，我们使用了Kornia库中的Laplacian Edge方法。

Laplacian Edge（Kornia）：Laplacian运算属于二阶微分，能获取更详细边界信息，Kornia库中的Laplacian方法优化了参数，可更好识别各类线稿，符合壁画线稿提取需求。

图5 The left shows the detection results of the original Laplacian method, and the right showsthe detection results of the Laplacian Edge used in this paper.

FNR：我们设计了一个细微噪声去除器(FNR)来去除壁画中的细微噪声，同时保留壁画的线稿。思路是将像素点(x,y)作为中心，在方形像素点中，边界长度为2n+1，每个像素点被判断是否为黑色像素点。如果在中心点的方形区域内有m个点是黑色像素点，则像素点(x,y)被判断为连接线的部分。否则视为独立噪声点，如果判断结果为独立噪声则在图像中设置为白色，如图6所示，该去除器将图像中的每个像素点检测并执行操作，从而实现去除噪声并保持图像中线稿的目的。根据图像的特性，可以调整参数n和m。根据多次实验，n设置为3，m设置为4，以在本工作中达到最佳效果。

图6 Schematic diagram of fine noise remover, where n and m are settable terms

实验结果与讨论

1.预处理：原始壁画图像颜色信息丰富但线稿与背景色相似，采用颜色变换预处理可突出线稿与背景的区别。

2.CLAHE：通过增强图像对比度，使颜色域边界和线稿更清晰，利于边缘检测，但会产生噪声，实验中设置网格大小8×8和阈值参数2效果最佳。

3.双边滤波：能有效去除CLAHE产生的噪声信息，尤其是面区域，同时保留边缘信息，与直接输入边缘检测器的原始图像和CLAHE增强图像的检测结果相比，可去除大量噪声并增加有效信息。

4.Laplacian Edge（Kornia）结合FNR：使用Laplacian Edge（Kornia）检测图像边缘后，用FNR去除噪声，以MCC为统计指标，增强图像在视觉和精度上均有显著提升，通过消融实验验证了图像增强技术的有效性。

5.与其他方法比较：与传统Canny和深度学习方法（HED、LDC、PiDiNet）对比，使用SSIM作为统计指标，结果表明其他方法存在线稿粗、复杂区域检测差或无法完整呈现壁画等问题，而本文方法能提取出更精细、准确的壁画线稿，对实际壁画的实验也验证了本方法的适用性。

CLAHE

由于壁画中存在着线、颜料以及颜料重绘区域，不同色域之间的边界十分模糊，线状信息不够明显，为了更好地提高边缘检测的检测效果，故使用CLAHE增强图像的对比度，同时一定程度上抑制生成的噪声。为了达到最好的效果，我们选择将网格大小定为8×8、阈值参数设置为4。如图所示，可以看到参数设置在2、3时，图像存在过分增强的部分，设置为1时，图像增强效果不够明显，因此选择阈值clip_limit=4。可以看到图像对比度有了较为明显的变化，不同色域之间、色域与线条之间、浅色域与背景之间都有了明显的差别，利于边缘检测器的分割。

实验选择使用CLAHE方法进行图像增强，是为了尽可能获取更多线稿以及更加丰富的细节。同样为了验证这一步骤的适用性，将CLAHE增强后的图像和原始图像直接输入边缘检测器中，获得的结果如下图7所示，可以看出增强后的图像经过边缘检测后可以得到更多符合真实图像的线稿与细节，但不可避免的会产生噪声。

图7 (a-d) lmages enhanced by CLAHE. (a-d) The images obtained by setting the threshold of CLAHE to 1, 2, 3, and 4, respectively, (e) the result after directly extracting the original image, (f) the result after extracting the enhanced image, and (el,f1) the corresponding local zoom-in details.

双边滤波

壁画通常包含复杂的信息，壁画数据的捕捉经常受到噪声的干扰。虽然CLAHE有效地增强了图像对比度，从而提高了壁画线稿提取的效果，但它也在一定程度上放大了这些复杂的信息。为了获得更准确的线稿，解决这些复杂的信息至关重要，同时不能影响壁画的边缘信息。普通滤波器容易导致边缘信息的丢失，因此我们引入了双边滤波器来过滤图像中的无效信息，这样可以保持边缘信息的完整性。经过CLAHE处理后，对图像进行双边滤波，如图8所示。复杂的图像信息特别是在面部区域，被有效地淡化和过滤，同时，边缘信息得到很好的保留，基本上没有受到影响。此外，为了验证这一步的可行性，通过双边滤波增强的图像直接输入到边缘检测器中。将结果分别与原始图像的检测结果和CLAHE增强图像的检测结果进行了比较。如图8所示，双边滤波从检测结果中去除大量噪声，同时保留所有边缘信息并增加有效信息的数量。

图8 The image after being enhanced by CLAHE, (b) the result of bilateral filtering of (a);(a1,b1) the corresponding sketch extraction results, respectively.

Laplacian Edge（Kornia）结合FNR

我们使用了拉普拉斯边缘(Kornia)进行图像边缘检测，以获得精细的壁画线稿。图7和图8所示的结果是直接使用拉普拉斯边缘(Kornia)方法获得的边缘图。可以看出，虽然结果良好，但仍存在细微的噪声。我们设计了一个精细噪声去除器，用于添加到拉普拉斯边缘(Kornia)中。为了最大限度地保留壁画的精细线稿信息，去除器的检测半径设置为3，最小点数设置为4。为了验证这些操作的必要性，我们随后将检测算法应用于模拟和增强壁画，并将其准确性与模拟壁画的真实线稿进行比较。壁画的线稿提取与其他边缘检测目标略有不同，更侧重于预测更多线稿和更复杂的线稿。为了展示我们图像增强技术的适用性，我们进行了消融实验。我们选择了CLAHE增强和双边滤波增强的“水月”图像作为研究对象。我们分别使用Laplacian Edge(Kornia)和FNR对图像进行边缘检测。这些实验的结果图如下：

图9 (a) The original painted cultural relics images; (b) ground truth; (c) the result after processing of the original image using the Laplacian Edge; (d) the result after processing of the enhanced image using the Laplacian Edge; (e) the result after processing of the enhanced image using the Laplacian Edge with FNR.

与其他边缘检测方法比较：为了获得最佳壁画线稿，我们使用传统边缘检测方法(Canny)和深度学习方法(HED，LDC)对增强图像进行了实验。它们获取壁画的精细线稿具有挑战性，因此很难生成全面的壁画线稿数据集。然而，壁画图像中的边缘信息与其他数据类型中的边缘没有显著差异。因此，我们使用网络提供的预训练模型进行了实验。我们选择结构相似性指数(SSIM)作为统计指标。SSIM值越大，性能越好，如图11所示。很明显，虽然HED和LDC都能比我们的方法更好地获得完整的边缘，但对壁画中精细和复杂部分的识别并不理想。此外，这两种深度学习技术产生的线稿较粗，在复杂区域只能识别出少量的人工绘制，对壁画中人物发丝的检测效果较差。 PiDiNet只能很好地识别外轮廓，不能很好地获取复杂区域的线稿。壁画线稿比其他物体的边缘精细得多，通常需要更精细和准确的线稿作为未来修复的证据。在本论文中，使用FNR方法的拉普拉斯边缘(Kornia)在壁画线稿的精细提取方面表现出更好的结果。它也有很好的检测效果，特别是在提取人物头发等复杂部分时。与其他方法相比，我们的方法可以提取线条更精细、信息更准确的线稿。

图11 Comparison with other methods: (a) The original painted cultural relics images(b) ground truth; (c) Canny; (d) HED; (e) LDC; (f) PiDiNet; (g) ours. The figures below (a1-g1)are the corresponding partially enlarged details.

此外，为了验证我们方法的可行性，我们使用实际壁画作为研究对象并采用上述方法进行了实验。实际数据来自云冈石窟第5窟西壁的壁画比较结果如图12所示。我们发现从实际壁画中提取的结果与模拟壁画实验的结果相似。Canny检测到的线稿浅且变形。例如，壁画中佛像的头发是用一笔画的，但检测到的是两条线。HED和LDC得到的线稿很粗，这些方法在复杂区域识别线条的效果不是很好。如图12所示，我们可以发现毛发细节识别并不出色。PiDiNet有很好的效果，但得到的线稿并不能完全反映壁画的真实情况。然而，与这些方法相比，我们的方法更适合提取壁画的线稿。我们的方法的结果相对简单，几乎没有人工干涉，并且可以很好地识别毛发区域的纹理特征。

图12 Comparison with other methods: (a) actual cultural relics images; (b) Canny, (c) HED(d) LDC; (e) PiDiNet; (f) ours. The figures below (a1-f1) are the corresponding partially enlarged details.

结论

本文提出了一种利用图像增强和边缘检测技术从壁画中提取精细线稿的新方法。该方法使用图像增强技术突出壁画的边缘信息，同时防止由过度增强产生的噪声。此外，本文提出的边缘检测方法有效地提取了壁画的完整轮廓及其精细的纹理特征。根据我们的结果，该方法非常高效，并产生比较客观的结果。然而，我们的方法也有一些局限性。首先，我们的方法适用于精细的目标，如壁画等，这种方法不能保证从严重损坏的壁画中获得线稿的准确性。虽然我们的方法提取结果较好，但仍然存在一些明显的噪声，如何评估没有实际原始壁画实验结果是一个需要解决的问题，我们认为制作一个大型的壁画线稿数据集是一个很好的研究方向，今后，我们会继续对这些问题进行调查，以提高线稿提取的准确性。