文献推荐 | 基于深度学习框架的文化遗产点云语义分割

为较全面地展示文化遗产数字化保护的前沿技术，本课题组每周收集整理与文化遗产数字化保护相关主题参考文献，包括：虚拟修复、高光谱、风险评估、三维特征提取等进行精读，并通过公众号推送分享，欢迎老师与同学们提出宝贵的建议和推荐相关文献。

引用格式：

Pierdicca, Roberto; Paolanti, Marina; Matrone, Francesca; Martini, Massimo; Morbidoni, Christian; Malinverni, Eva Savina; Frontoni, Emanuele; Lingua, Andrea Maria (2020). Point Cloud Semantic Segmentation Using a Deep Learning Framework for Cultural Heritage. Remote Sensing, 12(6), 1005–. doi:10.3390/rs12061005 

推荐理由：

在数字文化遗产(DCH)领域，深度学习点云语义分割有助于在合适的LoD中识别历史建筑元素，从而加速由历史建筑测绘数据转化为HBIM的建模过程。本文，我们通过添加颜色、法矢量等有意义的特征改进DGCNN网络，提出了一个深度学习点云语义分割框架。建筑遗产大型公开数据基准ArCH数据集经由成熟的测绘手段采集和标注，涉及教堂、回廊等诸多场景，也包括不同时期，不同风格的拱顶和立柱等历史建筑元素。本文方法已经成功应用于ArCH数据集并取得较高的精度，证明了所提方法的有效性和稳定性。

内容介绍：

1. 背景与意义

在数字文化遗产领域，3D点云可用于更高效地管理文化遗产资源。在计算机中利用三维数据表达历史建筑遗产已经成为了一种最先进的技术，形态分析(morphological analysis)、病害专题图绘制(map degradation)和丰富数据(data enrichment)只是3D数据应用的缩影。数字文化遗产信息的管理是促使人们更好地理解遗产数据与制定恰当保护策略的根基，而一个高效的信息管理策略应当考虑三个主要概念：分割、分层关系的组织和语义信息的附着。地面激光扫描(TLS)和摄影测量能够产生大量的三维数据，反映了遗产精细的几何属性。与此同时，近些年诸如移动测量系统(MMS)等技术的发展也产生了密集的历史建筑三维数据。因此，在数字文化遗产领域，三维点云的管理、处理和解译正变得越来越重要。这些能反映几何结构的三维点云在建筑遗产多媒体体验、三维建模中的必要性逐渐凸显。

目前，HBIM的研究趋势呈现出通过将几何模型转化为具有丰富语义和信息的3D模型来管理多样化的建筑遗产数据。但这并非易事，因为通常HBIM是基于scan-to-BIM的过程实现点云向参数模型的转化。在这一过程中，主要依赖领域专家手工编辑点云模型进行作业，这种手工方法有两个弊端：一是非常耗时，二是造成大量点云数据的浪费。文献研究表明，传统方法普遍采用手工操作，近期点云深度学习成为了一个非常有潜力的研究领域，发展出了许多优秀的点云语义分割框架，如PointNet/Pointnet++等，为点云数据的处理提供了更有力、更高效的方法。这些深度学习框架有利于历史建筑元素的自动识别，从而在HBIM环境中加速模型的构建。据我们所知，在本文研究之前，还没有使用深度学习方法自动识别历史建筑元素的应用案例，考虑到历史建筑结构的复杂性，历史建筑点云语义分割具有一定的挑战。

本文基于DGCNN提出了历史建筑点云语义分割方法，不同于PointNet，该方法利用局部图捕捉点云的局部几何信息，采用一种类似于图像卷积的算子处理图中的连接边，我们通过添加颜色、法向量等特征进行改进，在ArCH数据集上开展实验研究，取得了较高的分割精度。

2. 理论背景和方法

图1为方法的技术路线，细节将在后续小节中给出。

图1.工作流

2.1 ArCH数据集

训练和测试所用的数据和统计如图2、图3所示，在之前推送中已经进行了详尽介绍，场景均为世界文化遗产：

a) The Sacri Monti (Sacred Mounts) of Ghiffa (SMG) and Varallo (SMV);

b) Trompone圣坛 (TR);

c) Santo Stefano教堂 (CA);

d) the Castello del Valentino (VAL).

图2.ArCH数据集

图3. 点云数量统计

2.2 数据预处理

为了使数据集能够应用于神经网路，先后进行了预处理操作使云的结构更均匀。ArCH数据集的预处理方法包括3个步骤:空间转换、子采样和特征选择。

空间转换：将每个建筑场景的坐标平移至原点

子采样：子采样的目的在于精简数据，常用的采样方法有随机采样、octree采样和空间采样。随机采样会影响结果的稳定性，因此本文将此种方法舍弃。对于octree采样仅在TR_church场景中使用，并设置level参数为20.其余场景均采用空间子采样，并设置最小距离为0.01m

特征选择：局部特征定义了点云几何信息的统计特性，常用的几何特征多为手工特征描述符，为了尽可能地减少人工特征的干预，本文在预处理阶段仅使用法向量和曲率，并设置k为10。

2.3 历史建筑点云语义分割

选取PointNet、Pointnet++、PCNN、DGCNN和本文DGCNN-Mod在ArCH数据集上进行对比实验。图4是本文DGCNN-Mod整体结构，输入数据为每个场景的建筑区块点云，以12维特征向量的形式描述每个点：XYZ坐标、X'Y'Z'标准化坐标、HSV空间颜色特征和NxNyNz法向量。

图4.本文DGCNN-Mod整体结构

3. 实验与结果

如图5所示，将TR_church场景分成6个部分，采用6折交叉验证测试了不同参数的平均分割精度，结果如图6所示。

图5.TR_church场景6折交叉验证

图6.不同方法分割结果

图7.不同方法在TR_choister场景中的分割结果

图8.TR_choister场景每种类别的分割结果

图9.TR_church场景标注与自动分割结果对比

将TR_choister场景分为左右两个部分，左部分为训练数据，右部分为测试数据，从训练数据中选20%作为验证数据，实验结果如图7、8。

图10.实验二不同方法分割结果

图11.实验二每种类别点云分割结果

图11.三维模型构建的初始阶段

图12.不同类别点的分割混淆矩阵

9个场景用于训练，1个场景SMG用于验证，SMV种1个场景用于测试。图10是每个方法的分割结果，图11是每种类别的分割结果，图12为混淆矩阵。

4. 结论

点云语义分割能够自动识别不同类型的历史建筑元素，从而节省点云分析的时间，加速参数模型的构建。由于历史建筑的复杂性，点云语义分割具有一定挑战。本文首次在建筑遗产领域评估了最先进的深度学习框架，除了在ArCH数据集上对比多种深度学习方法，我们提供了一个改进的深度学习框架，提高了分割精度，证明了该方法的稳定性与有效性。ArCH实验结果表明深度学习方法可用于历史建筑点云语义分割，并展示了其在HBIM领域的应用巨大潜力。

来源期刊：Remote Sensing