

文献推荐 | 文化遗产的三维点云语义分割研究综述

遗产数字化与虚拟修复课题组

2024-03-04

♥

引用格式

Yang S, Hou M, Li S. Three-Dimensional Point Cloud Semantic Segmentation for Cultural Heritage: A Comprehensive Review[J]. Remote Sensing, 2023, 15(3): 548.

文章内容概述

在文化遗产领域，点云作为一种空间信息的原始数据，不仅是三维对象的三维空间表达形式，而且还有潜力逐步发展成为具有场景理解、自主认知和决策能力的智能数据结构。点云语义分割则有助于实现这一目标。在提升点云数据语义可理解性的需求下，机器学习和深度学习方法在点云语义分割中已广泛应用。因此，有必要进行一个全面的文献综述回顾文化遗产领域中的点云数据获取、语义分割算法及其应用策略。本文首先回顾了“单一平台多传感器”和”多平台协作数据融合”获取文化遗产点云数据发展趋势；然后，讨论了区域增长、模型拟合、无监督聚类、监督式机器学习和深度学习的优缺点，以及在文化遗产领域中的特定应用；最后，展示了文化遗产领域点云语义分割存在的问题和发展趋势。

内容介绍：

背景

点云语义分割在文化遗产领域的特点:

（1）文化遗产中的点云需要较高的点密度来表达物体表面复杂的几何细节；

（2）文化遗产的基本几何元素包括大量的非平面、曲线几何形状、不规则形状和复杂结构；

（3）在处理点云之前，确定待分割类别总是依赖于文化遗产领域专家知识；

（4）同一文物，在不同的研究目标和实际应用中，语义类别可能存在差异；

（5）不同文物中相同的语义类别具有显著形态差异，如不同历史时期和风格古建筑屋顶；

（6）结构分析和损伤检测等应用对点云语义分割的精度要求高。

此外，目前点云语义分割的基本流程及应用主要如图1所示

图1 点云语义分割基本流程

点云数据获取

表1 文化遗产中不同的点云数据获取手段

表2 文化遗产中“多传感器-单平台”点云采集案例

表3 文化遗产中“多平台数据融合”点云采集案例

三维点云分割（3DPCS）

3DPCS主要应用于文化遗产点云中基本几何形状的识别和提取，特别是不可移动文化遗产。3DPCS可分为区域增长、模型拟合和基于聚类的三种方法。其中，区域增长通常用于从历史建筑点云中检测和分割平面。模型拟合的方法则可以分割更基本的几何基元与不规则的几何形状，用于BIM和HBIM的参数化建模。基于模型拟合和聚类的方法可通过计算真实点与拟合平面之间的距离实现表面缺陷检测和变形分析。

三维点云语义分割（3DPCSS）

3DPCSS研究案例仍以欧洲历史建筑为主。基于机器学习的3DPCSS已广泛用于室内和室外3D城市场景的语义理解。在文化遗产领域，从导入点云到输出语义标注的基本过程包括四个步骤:（1）点云邻域选择（2）局部特征提取（3）显着特征选择（4）点云监督分类；随着深度学习技术的出现，点云语义分割有了巨大的进步，但仍存在一定局限性。为了构建合适的深度学习模型，前期需要大量的人力资源进行数据标注和模型训练。与城市3D点云场景相比，文化遗产点云标注需要领域知识（对文化遗产场景和结构的正确理解）。

存在问题与发展方向

（1）语义分割需要解决多源数据融合对数据带来的挑战；

（2）如何通过知识约束解决深度学习中过拟合的问题；

（3）过于依赖数据样本，在古建筑以外的文化遗产类型缺乏探索；

（4）语义分割在基于点云的文物表面损伤识别、应力分析、语义建模、Scan to bim等方面应用前景广阔；

（5）构建新型的点云信息模型，从而实现点云数据的可计算、可理解、可分析也是未来的发展趋势。