年度盘点 |接续奋斗，砥砺前行暨遗产数字化与虚拟修复课题组2023年度总结

2023 Summary

随着2023年的帷幕缓缓降下，在过去的一年，我们经历了风雨洗礼，看到了美丽风景，取得了沉甸甸的收获。大家珍惜一年来的不易，也对未来充满信心。

2023年团队在读博士5人，硕士33人。获2023年研究生国家奖学金1项，学业奖学金一等奖2项，二等奖3项。北京雨燕奖学金二等奖2项，三等奖1项。“壁画可溶性盐含量高光谱检测技术”获2023“挑战杯”首都大学生课外学术科技特等奖，全国三等奖。“遗迹守望者”-不可移动文物自然灾害风险监测平台”获得2023“挑战杯”首都大学生课外学术科技三等奖。“复原先农地祇之貌，数字赋能中轴申遗”获得2023北京市“双百行动计划”优秀示范项目。“工程场景数字化赛项目”获得北京市大学生工程实践与创新能力大赛二等奖。团队获得北京市科技进步二等奖1项。

2023年课题组新获批资助项目9项，新授权专利4项，共发表论文16篇，包括SCI收录论文8篇，EI会议5篇，中文核心期刊3篇。其中，主要成果简介如下：

Knowledge Graph Representation Method for Semantic 3D Modeling of Chinese Grottoes

作者：杨溯,侯妙乐

图1 以华严寺三圣龛为例的概念图

内容介绍：将三维几何模型与语义信息相结合可显著提高文化遗产的适用性和可理解性。由于领域知识的空白和理解上的差异，对不具备文化遗产专业知识的个人来说，中国石窟的语义三维建模是一项挑战。现有研究对于本体和知识图谱对中国石窟知识的表述并不充分。为了克服这些障碍，我们提出了一种知识图谱表示方法，为不同层次的参与者提供显性知识。包括模式层构建和数据层构建。

结合三维几何模型和语义信息能显著提升对中国石窟的理解。研究中提出的知识图谱表示法解决了非专家理解石窟复杂性的难题。文章中设计了ChgOnto本体包含空间对象、信息对象、数字设备和时间对象四个高级概念类，并且详尽定义了洞窟组成部分、元素、属性及其空间关系。

该方法整合了CIDOC CRM本体和GeoSPARQL类别，并通过自然语言处理工具从非结构化文本中提取信息，填充知识图谱。文章以中国世界文化遗产大足石刻作为案例，以验证所提方法的实用性和有效性。结果表明：我们的方法为中国石窟的语义三维建模提供了一个强大的知识共享平台，并表现出良好的可扩展性。本文提出的方法也可为其他类型的文化遗产提供信息参考。

引用格式：Yang, Su, and Miaole Hou. "Knowledge graph representation method for semantic 3D modeling of Chinese grottoes." Heritage Science 11.1 (2023): 266.

A Detection Method for the Ridge Beast Based on Improved YOLOv3 Algorithm

作者：侯妙乐，郝务宸，董友强，纪宇航

图2 不同方法的比较

内容介绍：

古代中国建筑屋脊上的脊兽，作为瑞兽，不仅起装饰作用，还反映出建筑的等级。在古建筑三维重建、年代测定和文化旅游服务等方面，脊兽的检测技术具有重要意义。但由于脊兽的纹理相似性高，传统检测算法难以准确识别，导致检测性能不佳。

为了解决这一问题，文章提出了一种基于YOLOv3算法的脊兽检测改进方法。该方法在基础网络中通过深度可分离卷积合并局部特征，使用点卷积连接信道信息，提高了特征的多样性和感受野。文章还优化了特征提取网络的残差结构，以更好地捕捉脊兽的细粒度特征，提高检测精度。

在预测头的改进上，文章引入了挤压和激励模块，对特征图的通道关系进行建模，以增强特征的指向性并减少干扰信号。通过并行1×1和3×3卷积，加强了对语义信息的提取，进一步提升了检测效果。

实验结果显示，改进后的算法在脊梁数据集上的mAP达到了86.48%，相较于原始的YOLOv3算法提高了3.05%，同时模型参数减少了70%，显示出较好的检测性能。文章提供了一个有效的古建筑构件自动化检测的参考方法。

引用格式：Hou, M., Hao, W., Dong, Y. et al. A detection method for the ridge beast based on improved YOLOv3 algorithm. Herit Sci 11, 167 (2023). https://doi.org/10.1186/s40494-023-00995-4

基于流形学习与光谱解混的文物表面字迹增强——以云冈第38窟为例

作者：王诗涵，吕书强，李丽红 ，侯妙乐，宁波

图3 云冈石窟第38窟字迹增强结果对比

内容介绍：文物表面的文字是了解历史的关键信息，对文物表面文字信息的探索成为文物保护的重要环节。结合流形学习与光谱解混，提出一种新的文物表面字迹增强方法。首先，利用基于流形学习的等距映射方法对预处理后的高光谱图像进行非线性降维，得到信息量最大的灰度图像；其次，分析文字与背景的光谱特征，通过多层非负矩阵分解方法得到字迹丰度图；然后，将二者进行加权平均得到字迹增强图像，再与合成真彩色影像进行HSV融合，得到字迹融合影像；最后，为更好地辨认文字，在字迹增强图像上裁剪文字并做形态学变换，得到字迹提取图。以云冈石窟第38窟的一景褪色文字高光谱图像为例进行了验证，结果表明，该方法能够有效地增强出文物表面的褪色文字，且较其他增强方法效果更好。

引用格式：王诗涵,吕书强,李丽红等. 基于流形学习与光谱解混的文物表面字迹增强——以云冈第38窟为例[J].文物保护与考古科学, 2023, 35(05):75-82. DOI:10.16334/j.cnki.cn31-1652/k.20220402483.

基于丰度反演及光谱变换的书画霉斑虚拟修复

作者：侯妙乐，王庆民，谭丽，武望婷，吕书强

图4 霉斑区域虚拟修复结果

内容介绍：古书画在保存过程中容易滋生霉斑病害，霉斑不仅影响书画的外观，还会对纸质文物造成不可逆转的永久性破坏。为了给霉斑清洗提供直观参考，提出基于丰度反演及光谱变换的书画霉斑提取与虚拟修复方法。选取与霉斑区域光谱曲线存在明显差异的 450 ～ 600 nm 之间 244 个波段作为特征波段，通过连续最大角凸锥端元提取与灰度分割，提取霉斑区域。再对高光谱影像进行主成分变换，选取包含信息量最大的前三主成分合成影像，利用Criminisi 算法对霉斑区域进行修复，再将修复后的影像进行主成分逆变换，完成高光谱影像的虚拟修复。以中国近现代画家倪田的《捕鱼图》为例进行了研究，发现修复后的霉斑区域与画体融入性较好，边界自然平滑，均方根误差值普遍变小。研究结果可为书画霉斑清洗提供直观的修复依据，具有较强的实用性。

引用格式：侯妙乐,王庆民,谭丽，武望婷，吕书强.基于丰度反演及光谱变换的书画霉斑虚拟修复[J].文物保护与考古科,2023,35(02):8-18.DOI:10.16334/j.cnki.cn311652/k.20210702208.

基于高光谱壁画盐分指数的模拟壁画盐含量反演

作者：国洲乾，吕书强，侯妙乐，孙宇桐，李淑阳，崔雯漪

图5 最优高光谱盐分指数反演盐浓度拟合图

内容介绍：壁画酥碱与盐霜主要由其所含的可溶性盐造成，具有不可逆性，严重影响壁画的健康状态，利用非接触式的高光谱技术对壁画所含可溶性盐进行定量反演具有重要意义。针对壁画盐分检测成本高、时效低、需要实地取样等问题，提出一种基于高光谱盐分指数的壁画盐含量反演模型。用黄沙土、麦秸、细麻与无水Na2SO4等在室内配制成不同盐含量梯度（盐土比例：0～1%）的模拟壁画样本，采用地物波谱仪进行光谱采集，将断点校正与平均后的数据建立样本光谱集，以7：3的比例将样本集划分用于建模与预测。对原始反射率进行一阶微分、去包络线后一阶微分、倒数的对数后一阶微分、SG平滑后一阶微分4种增强处理，将原始反射率与增强处理后的光谱数据与盐浓度进行相关分析，取贡献度高的前三强相关波段。用最强相关波段分别进行线性拟合与抛物线拟合建立单波段回归模型。利用前三相关波段构造一种适用于壁画盐分的高光谱指数，并与归一化盐分指数、三种盐分指数、亮度指数进行精度评估，评价指标为决定系数、均方根误差、散点拟合线的斜率与截距。结果表明该研究可为壁画盐含量的快速、无损检测提供新的技术手段。

引用格式：国洲乾,吕书强,侯妙乐等.基于高光谱壁画盐分指数的模拟壁画盐含量反演[J].光谱学与光谱分析,2023,43(10):3272-3279.

Three-Dimensional Point Cloud Semantic Segmentation for Cultural Heritage: A Comprehensive Review

作者：杨溯，侯妙乐，李松年

图6 文化遗产三维点云语义分割通用工作流程

内容介绍：在文化遗产领域，点云作为地理信息的重要原始数据，不仅是三维物体的三维（3D）空间展示，而且有可能逐步向具有场景理解、自主认知和决策能力的智能数据结构迈进。随着对点云数据语义可理解性的需求以及机器学习和深度学习方法在点云语义分割中的广泛应用，有必要进行一次全面的文献综述，内容涵盖从点云数据采集到语义分割算法以及在文化遗产中的应用策略。本文首先回顾了当前从单一平台获取文化遗产点云数据的趋势，以及多传感器和多平台协同数据融合。然后，讨论了点云语义分割算法的优缺点以及在文化遗产领域的具体应用。这些算法包括区域生长、模型拟合、无监督聚类、有监督机器学习和深度学习。此外，文章还总结了与文化遗产相关的公共基准点云数据集。最后，介绍了文化遗产领域三维点云语义分割存在的问题和建设性发展趋势。

引用格式：Yang S, Hou M, Li S. Three-Dimensional Point Cloud Semantic Segmentation for Cultural Heritage: A Comprehensive Review. Remote Sensing. 2023; 15(3):548. https://doi.org/10.3390/rs15030548

2023年，课题组参加和举办了十余次学术交流活动，并且开设中国文化遗产保护与修复通识课，邀请九位不同领域专家前来授课。

图7 2023年6月，课题组受邀参加黄山对话会

图8 2023年7月，举办文化遗产可视化与虚拟修复研讨会

图9 2023年9月，赴埃及开罗参加国际摄影测量与遥感学会（ISPRS） 2023地理信息周

图10 2023年10月，参加“数字云冈”20周年研讨会

图11 2023年10月，京台青年科学家论坛系列活动

图12 2023年11月，建筑遗产精细重构与健康监测北京市重点实验室学术委员会年度会议

图13 2023年12月，空间信息技术赋能

文化遗产保护学术论坛

图14 2023年12月，高质量党建引领高质量

科研创新系列学术交流会

图15 部分专家讲座海报

图16 人民日报截图

https://mp.weixin.qq.com/s/hnC-OT2xqp61KnEDCezg-g

图17 新京报报导图片

http://www.xinhuanet.com/edu/20230403/9188963894dc40718d7d52e3f4fe507c/c.html?page=2

北京卫视报道

1、坚实：源自我们的经费保障逐渐可持续。我们的课题经费也走向集约型发展，大家和老师一起共同争取，共同使用。

2、力量：源自我们的科学研究逐渐自成体系。以虚拟修复为核心，借助实景三维、数字孪生和CItyGML等手段，我们逐渐提出从时空信息建模到时空分析再到服务的文化遗产数字化保护治理方案。

3、神采：源自课题组触目可及的万千气象。疫情过后，我们课题组逐渐恢复活力。开展各项活动，各学习小组也在不断成长进步，充满生机和活力。在此，非常感谢常老师及各位同学的辛勤付出。

4、底气：源自生生不息的课题组文化。习主席感慨：“泱泱中华，历史何其悠久，文明何其博大，这是我们的自信之基、力量之源。”而我们作为文化遗产数字化保护的科研团队，要把科学研究的成果作为滋养我们砥砺前行的精神动力。

2023年，课题组的脚步坚定而有力，面对挑战，我们不断提高认知边界，勇往直前，不断探索，圆满完成了科研任务。

如今，2024年的门扉已经敞开，新年的钟声是我们奋进的号角。在这崭新的一年，课题组将持续秉承“学以致用、实践为本”的核心理念，我们不仅追求知识的深度探索，更要将理论转化为实际应用，造福社会。

春节临近，课题组祝愿所有师生在新的一年里，胸怀远志，健康快乐，在科研的道路上，勇攀高峰，再创辉煌。让我们携手并进，在2024年的征途上共同书写更加灿烂的篇章！