♥
为较全面地展示文化遗产数字化保护的前沿技术，本课题组每周收集整理与文化遗产数字化保护相关主题参考文献，包括：虚拟修复、高光谱、风险评估、三维特征提取等进行精读，并通过公众号推送分享，欢迎老师与同学们提出宝贵的建议和推荐相关文献。
引用格式：F. Matrone, et al."A BENCHMARK FOR LARGE-SCALE HERITAGE POINT CLOUD SEMANTIC SEGMENTATION." ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences XLIII-B2-2020.(2020): doi:10.5194/isprs-archives-XLIII-B2-2020-1419-2020.
推荐理由：在数字文化遗产领域，点云语义分割标准数据集的缺失阻碍了点云自动分类研究的发展。基于语义层级的点云分类能够支撑建筑遗产社群更好地解译、分析数字孪生，进而促进遗产的修复和保护工作。该文首次公开了一个适用于遗产场景的3D点云数据基准，ArCH(Architectural Cultural Heritage)，为训练和评估机器学习、深度学习算法提供了数据基础，数据集可访问http://archdataset.polito.it/进行下载。
内容介绍：
1. 数据集
ArCH数据集包括17个已完成标注和10个未标注的点云场景，未标注的点云可以通过众包方式由用户标注完成。数据集中所陈列的场景均在UNESCO世界文化遗产(或候补)名录中：
(1). Strasbourg Cathedral大教堂，1988年被列入世界文化遗产；
图1 Strasbourg Cathedral大教堂
(2). Valentino’s Castle法庭(VAL)，包括“Savoy皇室庭院”，于1997年被列入世界文化遗产；
图2 Valentino’s Castle法庭
(3). Sacro Monte of Varallo(SMV)和Ghiffa(SMG)，2003年列入世界文化遗产；
图3 Sacro Monte of Varallo
(4). 坐落于Neustadt的St. Pierre教堂，2017年被列为世界文化遗产
图4 St. Pierre教堂
(5). Bologna门廊，2020年被列为候选。
图5 Bologna门廊
其余场景均是历史遗产的一部分并且兴建与不同的历史时期，拥有多样的建筑风格。因此，同一类别元素锁具有差异性、多相性，给不同数据集间的类别定义造成了一定困难。但同时，提供给神经网络不同的元素，在各式建筑遗产的研究中也提升了模型的泛化能力。
图 6_SMG_portico点云，Sacro Montedi Ghiffa(SMG)
图 7_SMV_chapel_27to35点云，Sacro Monte of Varallo(SMV)
在已标注的17个数据中包括了教堂、礼拜堂、门廊、凉亭和回廊，15个场景用于训练，2个用于测试。一个为A_SMG_portico,代表简单和具有一定对称性的建筑，有较多标准和重复的几何元素。另一个为B_SMV_chapel_27to35，代表复杂、非对称建筑，具有两层结构，包括室内和室外，带有不同类型的拱顶、楼梯和窗户.两处点云用于评估算法的有效性，衡量网络在简单和复杂情形下的泛化和学习能力。
图8 Arch数据集主要特征
2. 数据获取
为建筑文化遗产建立标准3D数据基准是富有挑战的，因为高分辨率、高密度的测量产生了庞大的点云数据。大多数场景通过融合不同传感器数据进行获取，如相机Nikon D880E、D3100、D3X,扫描仪FARO 3DX 130、120、Riegl VZ-400，无人机SONY Ilce 5100L、DJI Phantom 4Pro等。
数据预处理
对原始点云数据进行预处理，使其更加均匀，采用CloudCompare软件经过如下三步：
(1).空间变换；
(2).子采样；
(3).特征选择
原始点云坐标位于地理坐标系中，数值过大不利与神经网络处理。所以对原始点云坐标进行截断，将每个场景进行空间平移，移动至坐标系原点。由于点云数据量过于庞大，有必要对其进行子采样。该文摒弃了随机子采样方式，因为该方式容易造成测试的不稳定。选取两种方法进行子采样，即octree采样和空间子采样。空间子采样的点间最小空间距离参数设定为0.01m，足以保留高级别的细节，也使得点云几何结构更加规则，同时减少了文件大小。局部特征选择knn=10条件下所算得的法向量，因此点云结构为x,y,z,r,g,b,label,Nx,Ny,Nz.
3. 类别定义
通过自动识别建筑元素，能够支持和加速HBIM模型的三维几何重建。在这种情况下，利用面向对象的软件或已有的基础标准类为Arch数据集选取类别十分关键。参照IFC标准和CityGML数据模型，定义了如下9个类别：“墙”、“地板”、“屋顶”、“柱”、“装饰物”、“拱顶”、“拱门”、“楼梯”、“门窗”，最后附加一个“其它”类别。
图9 ArCH数据集标注点云样例
4. Arch数据基准的目标和评估
目前，该数据集可以通过访问http://archdataset.polito.it/进行获取，它分为两个部分：
(1).已被标注的训练集；
(2).测试集点云；
本数据集可用于训练和评估最新的分割或分类算法，也可以提交预测结果到网站，Overall Accuracy、F1 Score、Precision、Recall和IoU将会被自动计算。目前，一些基于深度学习的语义分割模型已经在ArCH数据集中得到测试，如PointNet/PointNet++(Qi et al.)、PCNN(Atzmon et al.)、DGCNN(Wang et al.)等
图10 精度计算公式
图11 各类别的点云数量
5. 相关思考
本文公开提出了ArCH数据基准，ArCH适用于大范围建筑文化遗产3D点云语义分割的研究工作，同时还提供了一个通用的评估框架。该数据集包括已经标注的数据和一部分未标注的数据，也诚邀研究团体为艰难的标注任务贡献力量。在先前的一些研究中，已经证明了基于DNN的方法能够为3D遗产点云分类提供稳定的策略，但相对于其他研究领域，文化遗产领域仍然存在一些瓶颈，这导致目前并没有出现一个优秀的方法。通过提供公开数据集和开源代码，来促进新算法的研发。大范围公开数据集将会极大程度上促进建筑文化遗产语义分割的发展。
来源期刊：ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial; Information Sciences
DOI:10.5194/isprs-archives-XLIII-B2-2020-1419-2020
关注我们
了解更多遗产数字化前沿信息
高光谱解混|虚拟修复|风险评估
如果你喜欢这篇文章，请记得长按二维码关注
文献整理：纪宇航
排版：孙宇桐、徐元豪
审核：王诗涵、林敬凯