年度盘点 | 挺膺担当，奋力前行暨遗产数字化与虚拟修复课题组2022年度总结

2022 summary

日月行，光阴迫，新年已经来临，回首紧张而充实的2022，病毒不能将我们打垮，在做好自身防疫的前提下，我们秉持着赓续传承、踔厉奋发、笃行不怠的科研精神逐梦攻坚。在各位老师的悉心指导和耐心帮助下，一个个科研梦在遗产数字化与虚拟修复课题组的学术土壤中扎根、发芽，并结出累累硕果。我们将从学术成果、主要工作、学术交流、媒体报道、国际组织任职这五个方面总结过去的2022年，并对崭新的2023提出新的展望与要求。

2022年团队在读硕士生25人，博士生3人，其中校级奖学金获得者14名。2022年，课题组共发表论文14篇（SCI5篇，核心2篇，EI会议5篇，普刊2篇），新获批专利1项。获得测绘科技进步二等奖1项，生产力促进二等奖1项。新当选ISPRS第四委员会文化遗产可视化与虚拟重建工作组组长。相关工作被央视等主流媒体报道。其中，主要成果简介如下：

Enhancement and Restoration of Scratched Murals Based on

Hyperspectral Imaging—A Case Study of Murals in the Baoguang Hall of Qutan Temple, Qinghai, China

作者：孙鹏宇,侯妙乐,吕书强,汪万福等

图1 瞿昙寺壁画影像

内容介绍：环境变化和人类活动已经造成了世界各地壁画的严重退化世界各地的壁画。划痕是这些受损壁画中最常见的问题之一。我们提出了一种新的方法，用于虚拟增强和去除壁画上的划痕；它可以为实际修复提供辅助参考和支持。首先，主成分分析 ，对反射率校正后的壁画高光谱数据进行主成分分析（PCA）。对选定的第一主成分图像进行了高通滤波。主成分融合 用高通滤波后的第一主成分图像取代原来的第一主成分，然后对第一主成分图像进行反演。主成分图像，然后将其与其他原始主成分图像进行反PCA转换，以获得一个增强的主成分图像。组成的图像进行反PCA转换，以获得一个增强的高光谱图像。因此，壁画中的线性信息得到了增强，划痕和背景之间的差异也得到了改善。第二。增强后的壁画高光谱图像被合成为真彩色图像，并转换成到HSV颜色空间。使用多尺度高斯函数估计图像的光亮度成分，并对其进行校正。使用多尺度高斯函数估计图像的亮度成分，并使用二维伽马函数进行校正，从而解决了壁画局部黑暗的问题。从而解决了壁画中局部黑暗的问题。最后，增强后的壁画图像被用作输入到三元域翻译网络预训练模型。翻译网络中的局部分支 进行整体的噪声平滑和壁画的颜色恢复，而部分非局部区块则被用来从划痕中提取信息。用来提取划痕中的信息。映射过程是在隐藏空间中学习的 空间中学习映射过程，以实现对划痕的虚拟清除。此外，我们在网络末端添加了一个巴特沃斯高通滤波器，使其视觉效果更清晰，高频信息更丰富。我们对秦始皇陵博物院壁画的这些方法进行了验证。瞿昙寺宝光殿的壁画进行验证。结果表明，所提出的方法优于总变化（TV）模型、曲率驱动扩散（CDD）模型和Criminisi算法的修复结果。Criminisi算法。此外，所提出的综合方法产生了更好的恢复效果，并且与直接使用三域翻译网络进行恢复相比，所提出的组合方法产生了更好的恢复效果，并改善了壁画的视觉丰富性、可读性和艺术表现力。使用三域翻译网络进行恢复。

引用格式：Sun P,Hou M,Lyu S,Wang W, Li S,Mao J,Li S.Enhancement and Restoration of Scratched Murals Based on Hyperspectral Imaging—A Case Study of Murals in the Baoguang Hall of Qutan Temple, Qinghai,China. Sensors 2022, 22, 9780.https://doi.org/10.3390/s22249780.

The Point Cloud Semantic Segmentation Method for the Ming and Qing Dynasty Offical-style Architectures Roof Consider-ing th Construction Regulations

作者：董友强,栗怡豪,侯妙乐等

图2 基于s0 + s1 + s2尺度组合的特征向量的分割结果

内容介绍：点云语义分割在明清时期公务式建筑屋顶的bim扫描过程中发挥了重要作用。为了克服屋顶构件形状的复杂性和不同屋顶构件类型之间的尺度差异，本文提出了一种考虑施工规则的MQDOAs屋顶点云语义分割方法。该方法由两个阶段组成。在第一阶段，从MQDOAs的构造规则中提取特征，包括归一化对称距离（NSD）、相对高度（RH）和局部高度差（LHD），以及规则的几何特征。为了降低尺度差异的影响，我们还采用了多尺度特征连接策略，构造了特征分类向量。在第二阶段，采用RF方法对点云进行分类。为了验证该方法的有效性，我们以完全和谐大厅为研究案例。实验结果表明，该方法的总体分类准确率达到了分割效果，达到了96.8%。

引用格式：Dong Y, Li Y, Hou M. The Point Cloud Semantic Segmentation Method for the Ming and Qing Dynasties’ Official-Style Architecture Roof Considering the Construction Regulations[J]. ISPRS International Journal of Geo-Information, 2022, 11(4): 214.

Application of hyperspectral imaging

technology to digitally protect murals

in the Qutan temple

作者：高振华,杜明义,曹宁,侯妙乐等

图3 中国青海省瞿昙寺大黑天殿北墙的壁画图片

内容介绍：高光谱成像技术是文化遗产保护领域的一个研究热点。它可以用来快速、无创地获取不同类别文物表面的详细光谱信息。我们可以利用光谱信息直观地分析颜料成分、线条特征、绘画技巧和图案。高光谱成像对于古代壁画和其他文物的保护、修复和研究具有很高的科学意义和应用价值。在这项研究中，以中国青海省瞿昙寺大黑天殿的壁画为样本，进行了颜料光谱匹配和丰度反演，以获得颜料分布。这些数据通过连续体去除和直方图拉伸来增强，以获得隐藏信息。暗道先验、Criminisi和Retinex方法被用来实际恢复壁画的图像。研究结果表明，通过使用高光谱成像数据、构建的纯颜料光谱库和合适的方法，可以对壁画颜料的类型和分布进行定量分析，并且可以提取壁画中的线条。萃取出来。高光谱图像有助于识别被颜料或表面材料隐藏的信息。壁画图像可以被增强，隐藏的信息可以通过增强方法被突出，例如连续体去除和直方图线性拉伸。此外，高光谱成像数据具有独特的优势此外，高光谱成像数据在修复壁画图像方面具有独特的优势，结合除雾方法和图像涂抹算法可以实现壁画的虚拟修复。实现壁画图像的虚拟修复。简而言之，高光谱成像技术被发现对颜料分析有非常有利的作用。在颜料分析、线条提取、信息增强、隐性信息提取和古代壁画的虚拟修复方面有很好的效果。

引用格式：Gao, Z., Du, M., Cao, N. et al. Application of hyperspectral imaging technology to digitally protect murals in the Qutan temple. Herit Sci 11, 8 (2023). https://doi.org/10.1186/s40494-022-00847-7.

基于分块PCA与端元提取的壁画线条增强研究

作者：毛锦程,吕书强,侯妙乐,汪万福

图4 瞿昙寺西回廊十五区影像对比

内容介绍：线状特征是壁画中的重要元素。然而受到自然及人为因素的影响，壁画的部分线条常常变得模糊，人眼难以辨别。因此，提出一种利用高光谱影像分块主成分分析(PCA)与端元提取相结合的线状特征增强方法。首先，利用支持向量机(SVM)对壁画的合成真彩色影像进行分类，根据分类结果得到壁画标签数据，实现高光谱影像同质区域的分块数据。其次，对各分块影像进行顶点成分分析(VCA)得到候选端元集，通过构造投影矩阵合并相似端元确定最终端元集。然后，利用非负最小二乘算法解混得到线条丰度图。最后，将分块PCA 的第一主成分影像归一化后与线条丰度图进行波段加权平均获取线状特征增强影像，将其与合成真彩色影像进行 HSV 图像融合得到线状特征融合影像。以瞿昙寺壁画局部高光谱影像为例进行了验证，结果表明，该算法能增强壁画中的线状特征，且较 PCA 增强法效果更好。

引用格式：毛锦程,吕书强,侯妙乐,等. 基于分块PCA与端元提取的壁画线条增强研究[J]. 图学学报,2022,43(3):425-433. DOI:10.11996/JG.j.2095-302X.2022030425.

Measurement and analysis of facial features of terracotta warriors based on high-precision 3D point clouds

作者：胡云岗,兰德省,王婧玚,侯妙乐,李松年

图5 一号坑T19探方中的兵马俑

内容介绍：栩栩如生的陶瓷兵马俑的惊人逼真度一直吸引着公众和考古学家的兴趣。自从20世纪70年代从中国第一个皇帝秦始皇的陵墓群中发现这些陶俑以来，它们一直吸引着公众和考古学家的兴趣。引起了公众和考古学家的兴趣。这些真人大小的模型是以个人为原型，还是仅仅根据标准模型制作而成，目前仍有争议。争论的焦点是，真人大小的模型是以个人为基础的，还是仅仅根据标准化的模型制作的。这项研究以定量和非接触式的方式研究了兵马俑的面部特征。在高精度三维点云建模技术和人体测量法的支持下，本研究以定量和非接触式的方式检验了兵马俑的面部特征。利用数学方法分析了兵马俑和29个现代中国民族的面部特征的相似性和不相似性。使用数学统计方法，如MDS、方差分析、排序分析和聚类分析，分析了兵马俑和29个现代中国民族的面部特征的异同。结果显示，兵马俑的特征与当代中国人高度相似，表明兵马俑是根据真实肖像制作的，目的是为了组成一支真实的军队，以保护秦始皇的来世。

引用格式：Hu,Y.,Lan,D.,Wang,J. et al. Measurement and analysis of facial features of terracotta warriors based on high-precision 3D point clouds. Herit Sci 10, 40(2022). https://doi.org/10.1186/s40494-022-00662-03(03):425-433.

基于光谱增强指数LeNet-5的古书画褪色文字提取与识别

作者：侯妙乐,孙鹏宇,杨雪韵,武望婷,吕书强

图6 网络结示意图

内容介绍：古书画中所记载的文字是了解历史的珍贵资料，对褪色文字进行提取和识别是挖掘和展示历史价值的基础。本工作首次提出基于光谱增强指数与LeNet-5相结合的古书画褪色文字提取与识别方法，利用高光谱成像无损检测、光谱范围广等优点，获取古书画的高光谱数据，分析文字与背景的光谱特征,构建字迹增强指数，实现古书画中褪色文字的增强，构建LeNet -5卷积神经网络利用手写汉字集进行训练，对密度分制后的字迹图像进行自动识别。以清代画家张士保所作《论道图》中部分褪色文字为例进行了验证，文字识别的正确率为 70.8% 。结果表明，本工作所提出方法可有效提高古书画褪色文字提取与识别的智能化程度

引用格式：侯妙乐,孙鹏宇,杨雪韵,武望婷,吕书强.基于光谱增强指数与LeNet-5的古书画褪色文字提取与识别[J].文物保护与考古科学2022,34(05):7280.DOI:10.16334/j.cnki.cn31-1652/k.20210402092.

建筑遗产监测知识图谱构建方法研究

作者：胡云岗,林敬凯,乔云飞,邓 扬,侯妙乐

图7 建筑遗产监测知识图谱数据层（部分）

内容介绍：建筑遗产及其监测领域存在大量相互关联的概念与数据。有效的组织和管理这些概念与数据，是建筑遗产监测智能化发展趋势。知识图谱是描述客观世界里概念、实例及其相互关系的一种新技术，通过构建语义网络知识库，能够更好地组织、管理和理解海量信息，为知识检索、智能问答和个性化推荐提供可能。为此，针对建筑遗产监测知识图谱，设计了模式层，构建了满足基本服务的知识库，初步实现了数据层，进而提出了建筑遗产监测知识图谱的构建方法。在建筑遗产知识 图谱的模式层划分了建筑遗产监测对象与内容、监测方法与项目、监测原则、监测数据及监测关联关系5个层级，进行了各自本体模式层的详细设计与定义。通过建筑遗产领域已有数据的知识抽取，初步形成了以实体－关系－实体、实体－属性－属性值为结构的知识数据库。建筑遗产监测知识图谱的提出与实现，为进一步组织和关联该领域的概念与数据、完善建筑遗产监测的理论与方法体系提供了技术路线，为面向知识服务的建筑遗产精准化监测奠定了基础。

 引用格式：胡云岗,林敬凯,乔云飞,邓 扬,侯妙乐.建筑遗产监测知识图谱构建方法研究[J].北京建筑大学学报2022,38(04):7180.DOI:10.19740/j.2096-9872.2022.04.10.

(1)彩绘文物表面颜料光谱混合模型及定量反演方法研究

(2)面向虚拟修复的大型复杂文物知识建模基本问题硏究

(3)遥感云图-电磁波-热红外对地震等重大地质灾害的预测机理

(4)大型综合性博物馆典型古建筑的高效智能虚拟复原

(5)面向价值链的文物数字孪生体构建理论研究

(6)不同气候条件区域和不同类型文物自然灾害风险监测策略研究

(7)民族民间文化资源版权保护和解析

(8)佛像类文物虚拟修复技术与多元化价值阐释系统研发

(9)面向博物馆展陈文物防震展具的3D打印技术服务

(10)故宫养心殿地垫高光谱及数字影像虚拟修复

(11)万寿寺山门内券顶壁画高光谱颜料识别与虚拟修复

(12)云冈石窟清代壁画颜料高光谱无损分析（以第5、6窟为例）

(13)山西省大同市关帝庙壁画数字化保护

图8 部分项目工作照

       依托测绘学会文化遗产保护专委会，课题组侯妙乐教授6月23日组织和主持“测绘大讲堂”第三季第七期，主题为“时空信息赋能文化遗产保护”。论坛邀请郭华东院士和查群研究员做报告，并展开线上讨论，线上观看人数超过2万人。

图9 腾讯会议宣传视频

2022年度课题组在北京市科协的支持下连续第四次承办了第十九届京台青年科学家论坛——建筑遗产保护与发展研讨会，与京台两地青年科学家共同分享建筑遗产保护与发展领域的最新技术、理论、方法与应用，促进京台两地在建筑遗产保护与发展领域实现理念融合、技术共享与合作共赢。活动吸引了中国国家博物馆、北京大学、清华大学、北京交通大学、中央美术学院，台科大、台中科技大学等京台两地10余所高校与科研机构200余人参与。

图10 研讨会专题汇报

在2022年，博士生杨溯成为中央记录频道纪录片《码农的异想世界》主人公之一，四川日报，香港文汇报有进行了相关报道。其中，研发的大足时刻1：1沉浸式体验设备，被中央纪录频道宣传，相关报道获得332万播放量。

曾经雕凿石像的匠人

也是那个时代掌握技术的“程序员”

——文物虚拟修复工程师 杨溯

图11 纪录片片段

2022年8月20日，北京日报刊发系列报道讲述北建大测绘学院团队红色“1＋1”社会实践项目。

图12 北京日报报道

       2022年8月16日，新京报以半个版篇幅报道北建大测绘学生团队以数字技术复原石碑石刻的社会实践活动。

图13 新京报报道

      2022年，本课题组侯妙乐教授在国际摄影测量与遥感学会（ISPRS）第四委员会新成立文化遗产可视化与三维重建工作组并任组长。工作组目标是吸引不同领域专家对文化遗产时空信息管理、可视化和虚拟重建感兴趣的专家学者进行合作交流。

      工作组主要分四个主题：

1. 文化遗产认知和概念建模

2. 文化遗产监测与评估

3. 文化遗产 数字孪生和文化遗产虚拟修复

4. 文化遗产的可持续发展和其他应用https://www2.isprs.org/commissions/comm4/wg11/

未来工作计划：

（1）继续加强多学科交叉协同研究，促进实验室平台的开放性。

（2）进一步重视标准化、规范化的研究，发挥实验室平台的引领作用。

（3）不断加强人才队伍的建设，完善组织架构，广泛吸纳多学科、多领域的高精尖人才，加强人才合作与交流。

（4）扩大国际影响力，通过国际性成果的发表和国际会议的组织，进一步建设国际化的实验室。

（5）打通科学研究与文化发展，通过对标志性研究成果进行展览和文化挖掘，助力首都文化发展。

 时局日新，催人奋进；时不我待，只争朝夕。2023年是充满机遇与挑战的一年，志行万里者，不中道而辍足。目标在前，责任在肩，我们要始终把“砥砺奋进”刻在前行的道路上，以奋发昂扬的状态、扎实进取的作风、只争朝夕的魄力迎难而上，继续弘扬课题组的团队文化：共享共赢、心怀梦想、乐观坚韧、传承超越。

艰难困苦，玉汝于成；路虽远，行则将至；事虽难，做则必成。

新春佳节之际，恭祝全体师生福启新岁，万事顺遂，事业有成，学术长青！