李清泉院士：优视摄影测量方法及精度分析- 大数跨境

GIS前沿

2023-11-24

摘要：无人机最优路径规划和精准数据采集是复杂城市场景三维重建的关键问题。优视摄影测量利用被摄对象的概略模型，结合密集采样的初始视点生成和采样点可重建性约束的视点优化技术，实现最小数据采集代价下的精确三维模型重建。本文首先研究了优视摄影测量的基本原理; 然后利用优视摄影测量技术进行真实场景的无人机影像采集，并结合激光扫描点云进行空三精度分析和Mesh模型质量验证。试验结果表明，优视摄影测量显著提高了Mesh模型的重建质量; 对于倾斜摄影难以观测的部分建筑物立面区域，精度提升达到3~5倍; 与倾斜摄影相比，优视摄影测量能建立稳健影像连接，实现较高的绝对定位精度。

关键词：优视摄影测量无人机倾斜摄影实景三维可重建性约束路径规划

李清泉, 黄惠, 姜三, 等. 优视摄影测量方法及精度分析[J]. 测绘学报，2022，51(6)：996-1007. DOI: 10.11947/j.AGCS.2022.20210685

LI Qingquan, HUANG Hui, JIANG San, et al. Optimized views photogrammetry and its precision analysis[J]. Acta Geodaetica et Cartographica Sinica, 2022, 51(6): 996-1007. DOI: 10.11947/j.AGCS.2022.20210685

阅读全文：http://xb.sinomaps.com/article/2022/1001-1595/20220618.htm

引言

实景三维已逐步成为构建新型智慧城市的重要组成部分^[1^-2^]。当前，实景三维中国建设主要集中在地形三维和城市三维两个层级。传统卫星和航空遥感系统可为大范围地形和城市三维建设提供基础观测数据^[3^]。但是，这类遥感平台的飞行高度和观测方式决定了所获取数据的分辨率和完整度有限，难以满足复杂城市场景精细三维模型建设和更新所亟须的高空间分辨率、高时间分辨率和多视角观测的数据需求^[4^]。近年来，无人机遥感平台和倾斜摄影设备组成的无人机倾斜摄影系统具备多视角的数据采集方式和灵活的数据采集能力，业已成为城市实景三维相关应用重要的数据采集平台^[5^-7^]。

基于影像数据的大规模城市场景三维Mesh建模技术同样非常成熟，基本实现了全自动化生产。针对复杂城市场景中地物高度变化大、遮挡严重等问题，传统倾斜摄影提供的观测仍然有限，很难进一步提升三维重建模型的精度和完整性。城市复杂场景三维重建的关键难点在于如何实现无人机最优路径规划和精准数据采集，达到最小数据采集代价下的精确三维模型重建目标。因此，基于无人机倾斜摄影的城市实景三维建设首先需要解决影像数据的采集问题，具体归结为无人机平台选型和路径规划两个方面。

按照常用的气动布局分类，无人机平台可分为固定翼无人机和多旋翼无人机^[8^]。其中，固定翼无人机通常采用油动动力装置，具有飞行速度快、续航时间长(可达几个小时)的优点，可在固定飞行高度下获取城市大范围场景的影像数据。相反，多旋翼无人机一般利用锂电池供电，导致飞行速度和续航时间(约半小时)较差。但是，多旋翼无人机具备非常灵活的操作方式，能够更好地满足复杂城市场景条件下的数据采集任务^[9^]。

飞行路径规划是无人机倾斜摄影数据采集需要解决的另外一个重要问题^[10^-11^]。现有路径规划方法可分为传统路径规划方法和场景感知路径规划方法。在摄影测量与遥感领域，传统路径规划方法会预设无人机在被摄场景对象上方飞行，通常采用固定航高或仿地飞行模式垂直或倾斜向下摄影采集照片^[12^-13^]。由于飞行高度较高和建筑物遮挡等因素，这类方式生成的无人机路径存在明显的视线遮挡区域，导致重建模型存在误差大或局部模型变形、影像纹理分辨率不一致等问题，很难满足城市场景精细三维建模的需求，如图 1所示。

图 1 传统路径规划模型下模型质量问题

Fig. 1 Model quality problem under classical path planning

近年来，场景感知路径规划方法得到了深入研究^[10^, 14^]。这类方法从待重建场景的三维几何信息出发，计算精确三维重建所需的拍照视点，进而生成无人机的飞行路径。根据是否依赖概略模型辅助，可分为两步法^[11^, 15^-16^]和一步法^[17^-18^]。其中，两步法先通过传统模式采集影像数据，制作生成被测场景对象的概略模型，用于生成优化路径并采集影像制作精细模型，如文献[16]利用概略模型，提出一种最大化候选视点信息量并限制航线总长度的路径生成方法。相反，一步法不依赖概略模型，直接利用场景的先验信息，高效生成路径规划所需要的必要信息。文献[18]提出面向城市场景三维重建的无人机航摄规划方法，即优视摄影测量。优视摄影测量本质上属于张祖勋院士提出的贴近摄影测量范畴，其路径规划方法利用已有的二维地图和遥感影像，生成地物场景的盒式概略模型，避免了两步法的两次数据采集。结合密集采样的初始视点生成和采样点可重建性约束的视点优化技术，实现了无人机路径规划和精准数据采集。文献[19]提出了基于最优质量传输理论的多机器人协同探索和主动重建技术，与优视摄影测量的目标相同。但是，两者依赖的数据采集平台与应用领域不同。前者主要利用概略模型实现多机器人的动态任务规划; 优视摄影测量则关注三维模型重建质量，自动优化生成无人机的最佳飞行路径和相机拍照方向。

结合多旋翼无人机高度灵活的机动性能和多视角数据采集能力，优视摄影测量技术在城市场景精细模型三维重建和更新中体现出良好的应用潜力。因此，本文对优视摄影测量三维重建精度和Mesh模型质量进行深入验证。首先研究优视摄影测量的基本原理，然后利用真实场景采集的无人机影像数据进行空三精度分析和Mesh模型质量评价，并与传统倾斜摄影方式进行对比，以验证优视摄影测量的技术优势和推广价值。

1 优视摄影测量原理

文献[18]提出了优视摄影测量技术，其核心思想是利用概略模型的几何信息，约束候选影像视点的选择，达到最少视点的影像采集，并最大化模型重建质量。总体流程如图 2所示，包括基于概略模型采样的视点生成和可重建性约束的视点优化。相比两步法路径规划方法，优视摄影测量利用先验辅助信息生成概略模型，如已有盒式建筑物模型，避免了两次数据采集导致的重复返场和长时间消耗问题。对于变化频繁的建设区域，若无足够先验信息，也需要通过倾斜摄影生成概略模型。在获取概略模型后，优视摄影测量采用密集采样、冗余消除的策略进行候选视点生成和优化，并在整个计算过程中充分考虑后续无人机影像空三和密集匹配的影响因素，最大化采集影像的可重建性。算法的具体步骤如下所述。

图 2 优视摄影测量算法流程

Fig. 2 The workflow of optimized views photogram

1.1 概略模型约束下的视点计算

概略模型生成是优视摄影测量视点选择和优化的基础。为了尽可能缩短数据采集周期，优视摄影测量选择利用先验信息生成概略模型。对于现有绝大部分城市区域，可直接利用已有的二维底图和高度属性，拉伸得到建筑物的盒式概略模型。对于不存在上述信息的区域，优视摄影测量利用矢量和卫星电子地图、太阳高度角等信息，计算建筑物的概略模型。其核心思想是利用建筑物阴影与高度的数学关系，恢复建筑物的高度属性。基于概略模型的密集采样，优视摄影测量生成无人机飞行路径的初始视点，原理如图 3(a)所示。首先基于概略模型的膨胀运算，生成在三维空间中围绕包裹建筑物的安全罩。然后利用泊松圆盘采样算法^[20^]，从概略模型表面获取密集、均匀的采样点集S={s_i, n_i}。其中，n_i为采样点s_i的法向量。该算法沿着采样点法向量n_i，在距离为d_GSD的位置定义初始视点，并定义视点的拍摄指向--主光轴方向沿n_i的反方向，即指向被摄对象。基于上述定义，得到候选视点集V={v_i, o_i}。其中，v_i=s_i+d_GSDn_i，o_i=－n_i。泊松圆盘采样点间隔D_disk定义了候选视点的密度，与影像重叠度r_overlap的关系见式(1)。其中，d_prj=2d_GSDtan(θ/2)，表示视场角为θ的相机在概略模型上的成像长度。

(1)

图 3 初始视点生成与模型重建性测度

Fig. 3 Initial viewpoints sampling and the principle of model reconstructability

1.2 模型可重建性与视点冗余度

可重建性测度q(s, v_i, v_j)定义了采样点s在视点对(v_i, v_j)立体观测下的模型重建质量^[15^]，如图 3(b)所示。q(s, v_i, v_j)包含3个权重和1个余弦系数，即

(2)

式中，α为视点对(v_i, v_j)到采样点s的向量交会角; d_m=max(||sv_i||, ||sv_j||)，表示视点对(v_i, v_j)到采样点s的距离最大值; θ_m=max(θ_i, θ_j)，表示采样点s到视点对(v_i, v_j)的向量与其法向量n的夹角最大值; w₁、w₂和w₃为加权函数。权重w₁和w₃保证交会角既不会过大也不会过小; 权重w₂保证视点距离采样点不会过远; 余弦系数确保视角方向不会偏离法向量太多。q(s, v_i, v_j)从交会角、视距、偏离法向量3个方面评价视角的质量。

根据可重建性测度定义，采样点s在视点集合U下的可重建性为

(3)

式中，δ(s, v_i)和δ(s, v_j)为可视性函数，表示采样点s在视点v_i和v_j中的可见性，即取值为1时，可见，否则，不可见。同样的，根据采样点的可重建性，定义了视点v的冗余度r(v)，表示为关于采样点可重建性的最小值，满足公式如下

(4)

1.3 视点优化与无人机路径生成

基于采样点的可重建性和视点的冗余度，优视摄影测量将从初始视点V中选取一个足够小的视点子集U，满足最小化所有视点的冗余度

和最大化所有采样点的可重建性

，见式(5)。其中，约束条件表示在进行冗余视点剔除和可重建性优化时，采样点的可重建性均要高于给定阈值t_h。

(5)

具体实现步骤如下。

(1) 视点冗余度最小化。采用迭代剔除策略，从初始视点中选择冗余度r(v)最大的视点v，随即更新关联采样点的可重建性。若某个采样点的可重建性小于阈值t_h，则回滚删除操作，并处理下一个视点。迭代删除冗余视点，得到视点子集。

(2) 视点可重建性最大化。对于步骤(1)中的视点v_i，从初始视点V中选择v_i的邻域相似视点集合Ω(v_i)。然后遍历Ω(v_i)中的所有视点，找到与v_i进行视点替换后能够最大化采样点可重建性H(S, U)的视点v_j，并执行视点替换操作。通过上述操作，优化所有视点子集，得到最终的优化视点U^*={v_i^*, o_i^*}。

(3) 无人机飞行路径生成。对于步骤(2)生成的优化视点U^*={v_i^*, o_i^*}，飞行路径生成要求无人机通过所有视点，并调整相机到指定方向进行拍照。优视摄影将优化视点表示为加权全连接图模型，将最优飞行路径查找转化为旅行销售商优化问题，则图模型的最小代价路径即为无人机的最优飞行路径^[21^]。

2 试验数据与精度验证

2.1 试验数据

选择深圳大学粤海校区汇文楼区域进行试验，如图 4(a)所示。汇文楼主体结构复杂，呈连廊状结构分布。部分区域建筑间隔较近，导致不同连廊结构之间存在遮挡。汇文楼建筑整体高度约为35 m。汇文楼的右上方存在一栋高度约为55 m的高层建筑，其他区域则由密集植被覆盖。为了验证优视摄影测量三维重建精度，在汇文楼的顶面和立面布置了28个控制点靶标，如图 4(b)所示。顶面的控制点分布如图 4(a)所示。控制点坐标测量采用合纵思壮UFO-U5 RTK设备，标称水平和高程精度分别为0.8、1.5 cm。

图 4 试验区域部分控制点和检查点分布Fig. 4 Distribution of GCPs and CPs in the test site

基于优视摄影测量的视点优化与无人机飞行路径生成结果如图 5所示。其中，视点和路径按照飞行航线顺序进行切割，可以实现多机并行数据采集。本文利用试验区域的二维矢量和卫星电子地图生成概略模型，并充分考虑其几何结构，生成包围整个试验区域的无人机拍照视点和最优飞行路径。相机视点距离目标大约80 m。为了与传统倾斜摄影测量对比，同时按照常规5镜头倾斜摄影作业模式进行了数据采集，其飞行高度固定为100 m。影像数据采集实施均使用了大疆M300 RTK无人机。其中，优视摄影搭载大疆禅思P1相机，整个航迹划分为7个架次，所有架次数据采集耗时150 min; 倾斜摄影搭载赛尔102S五镜头相机，采用1个架次采集完成，数据采集耗时大约20 min。最终采集的优视和倾斜摄影影像数量分别为4030、3620，地面分辨率分别为1.0、1.6 cm。

图 5 优视摄影测量视点优化与无人机路径生成

Fig. 5 View optimization and path planning based on optimized views photogrammetry

图 6(a)和(b)分别为采用优视和倾斜摄影采集的试验区域高层建筑无人机影像。可以看出，传统倾斜摄影作业模式采用固定高度飞行，容易导致建筑物下半部分观测不足或缺失。相反，优视摄影测量利用先验信息约束无人机视点生成，可以采集建筑物底部影像，实现对目标的充分观测。

图 6 优视摄影和倾斜摄影无人机影像

Fig. 6 UAV images of optimized views and oblique photogrammetry

为了验证重建Mesh模型的整体精度，本文采集了整个试验区域的地面激光扫描点云数据，如图 7所示。考虑单个设站无法覆盖整个试验区域，在地面和建筑物顶面选择了多个合适的控制点位作为设站点，通过点云采集和拼接，得到最终的点云数据。数据采集设备为Trimble X7激光扫描仪，最大测程为80 m，在20 m范围内点云精度优于2.4 mm。

图 7 地面激光扫描点云数据

Fig. 7 Terrestrial laser scanner point cloud

2.2 精度验证

优视摄影测量的主要原理依据是可重建性判据分析。基于概略模型表面生成的观测采样点，可对不同采集方式或配置条件的处理结果质量进行预先评估。此外，无人机影像空三和密集匹配结果用于实际验证优视摄影测量的三维重建精度和Mesh模型质量，并与倾斜摄影测量进行对比分析。为说明通用性，本文后处理试验采用Bentley ContextCapture软件(版本号为V4.4.10)的默认参数设置进行空三和Mesh模型处理。试验在配置有2.6 GHz Intel Core i5-11400F处理器、2 GB GeoForce GT 730图形卡的Windows系统上完成。

图 8(a)和(b)分别对倾斜和优视摄影测量给定配置条件后生成的航摄进行了可视化显示。可以看到，针对特定的场景对象，相近的空间分辨率和影像数据量，倾斜摄影测量的航高设置更高，同时还有一定的覆盖外扩; 相比之下，优视摄影测量形成了包围场景对象的航摄路径，而且更为贴近，冗余数据更少，空间分辨率更高。

图 8 航摄规划路径对比

Fig. 8 The comparison of path planning

针对式(3)提出的采样点相对于视角集的可重建性进行量化分析，即基于h(s, U)的输出数值，同时关联采样点的可观测视角数量，划分为6个等级。图 9(a)和(b)以俯视和斜下视两个角度显示了可重建分析结果，分别对应于图 8中倾斜和优视两种航摄规划方案。可重建性质量由高到低分别渲染表示为Ⅰ(深蓝)、Ⅱ(浅蓝)、Ⅲ(绿)、Ⅳ(黄)、Ⅴ(红)，第Ⅵ等级为无视角可观测，图中未作显示。其中，Ⅲ级以上为可重建性较好的采样点。直观对比倾斜和优视两种航摄模式条件下的可重建性分析，优视摄影测量的采样更为密集，且质量更高。即使是对于相同或相近场景局部位置的采样点，优视摄影测量也能够保证其具有更高等级的可观测性。表 1为图 9中的可重建性分析结果的数值对比。可以看出，无论是绝对数值还是整体占比，均表明优视摄影测量针对概略模型具体部位的立体观测质量优于倾斜摄影测量。

图 9 可重建性对比

Fig. 9 The comparison of reconstructability

表 1 可重建性量化对比结果

Tab. 1 Statistical results of constructabilities

为了分析优视摄影测量的三维重建精度，利用图 4(a)中编号为K02、K04和K10的3个均匀分布的地面控制点进行空三平差计算，实现三维模型的绝对定向，其余点作为检查点进行重建模型的精度验证。表 2统计了空三处理的关键指标。其中，效率表示影像匹配和平差计算的时间消耗; 连接点数量包含单张影像连接点数中值和所有影像连接点总数; 完整性表示成功定向的影像数量; 精度则为连接点重投影误差。可以看出：①由于倾斜摄影影像数量相对较少，其总体时间消耗为50.8 min，小于优视摄影的60.1 min; ②尽管优视摄影的影像数量多，但是连接点总数小于倾斜摄影，主要原因在于优视摄影根据概略模型调整拍照视角，导致拍摄建筑物立面的影像包含很多背景信息，如图 6(a)右上影像中的天空和很远处建筑物; ③优视摄影测量实现所有影像定向，且精度为0.62像素，均优于倾斜摄影。

表 2 空三处理关键指标对比结果

Tab. 2 Statistical results of key parameters in aerial triangulation

图 10和图 11分别显示了倾斜和优视摄影的影像地面覆盖度和空三连接点长度。其中，影像地面覆盖度是地面点所覆盖的影像数量; 空三连接点长度是连接点所关联的影像数量。由图中影像地面覆盖度可以看出，倾斜摄影测量是对试验区域进行均匀拍摄，即无人机按照航线均匀分布、相机统一倾斜角进行数据采集; 相反，优视摄影测量利用场景的先验信息调整航线和相机拍照方向，尽可能获取足够的建筑物影像，如图 10(b)中间的蓝色区域。正是由于上述影像采集方式，优视摄影测量空三连接点在地面和建筑物立面均具有较高的长度，如图 11(a)和(b)中红色椭圆区域所示。

图 10 地面覆盖度对比结果

Fig. 10 The comparison of scene coverage

图 11 连接点长度对比结果

Fig. 11 The comparison of tie-point length

利用地面控制点进行模型绝对定向后，表 3对25个检查点空三平差的水平和高程方向残差进行了统计，且图 12显示了单点残差分布。可以看出：①优视摄影测量在水平和高程方向的最大残差分别为0.063、0.035 m; ②尽管倾斜摄影在水平方向的最大残差为0.057 m，小于优视摄影，但其高程方向的最大残差大于优视摄影，达到0.045 m; ③从整体精度RMSE而言，考虑地面控制点在水平和高程方向的理论测量精度分别为0.8、1.5 cm，优视摄影与倾斜摄影具备相当的绝对定位精度。因此，尽管与倾斜摄影测量优先考虑影像连接网络稳定性的出发点不同，优视摄影测量更关注被摄对象的精确采样，但是，优视摄影测量的工作模式依然能够建立稳健影像连接网络，保证空三的绝对定位精度。

表 3 空三检查点残差统计结果

Tab. 3 Residual statistics for check points after aerial triangulation

图 12 空三检查点残差分布

Fig. 12 The distribution of residual after aerial triangulation

为了验证三维重建Mesh模型的质量，图 13显示了汇文楼主楼的重建模型，并对模型顶面、立面和底部的4个局部区域进行了对比。由图 13(a)和(b)可以看出，优视摄影和倾斜摄影模型均能够重建出主楼的完整结构，总体上重建质量相当。但是，由图 13(c)的局部区域对比可以看出：①对于建筑物底部区域，倾斜摄影很难拍摄到，重建质量较差，如图 13(c)中编号1的对比图所示; ②对于建筑物顶面的附属设施，如空调外机、配电箱等，倾斜摄影尽管能够拍摄到照片，但是由于这些设施尺寸小、互相遮挡等因素的影响，倾斜摄影的重建模型完整性较差，如图 13(c)中编号2的对比图所示; ③建筑物立面是传统倾斜摄影所需要解决的关键部件，但是由于走廊、阳台的内凹特性影响，倾斜摄影重建模型存在很大的偏差，主要表现为墙面倾斜，如图(c)中编号3、4的对比图所示。对于上述区域，优视摄影测量能够有效地采集足够多的影像，重建模型的质量也更高。

图 13 Mesh模型质量对比

Fig. 13 The comparison of the quality of Mesh models

为了定量对比和分析优视摄影和倾斜摄影Mesh模型的质量，本文利用试验区域采集的激光点云数据进行精度分析。表 4统计了优视和倾斜摄影重建模型的精度和完整性。其中，精度用于表示重建模型到真实模型的距离，计算方法为：对重建模型点到真实模型的距离进行升序排序，分别取3个截断距离，使距离小于截断距离的模型点数的比例为50%、70%和90%; 完整性用于表示重建模型中距离小于给定截断距离的点数比例。试验结果表明，优视摄影模型的精度均高于倾斜摄影模型，其精度分别为0.041、0.077、0.159 m。当截断距离为0.01 m时，优视和倾斜的完整性均较小，主要是由于重建模型的精度很难达到该水平。当截断距离为0.1、0.5、1.0 m时，优视摄影的模型完整性平均高出14.7%。

表 4 Mesh模型的精度和完整性统计

Tab. 4 Statistical results of precision and completeness of Mesh models

上述模型质量的整体评价易受地面、植被等区域的影响。本文进一步分析建筑物立面区优视摄影和倾斜摄影的模型质量。图 14显示了选择的3个建筑物立面分布及其点云数据。其中，区域1包含大量玻璃窗户，激光点云主要分布在建筑物外墙上; 区域2包含内凹的阳台走廊，激光点云在该区域分布均匀; 区域3包含大量玻璃窗户和内凹阳台，结构较复杂。通过立面点云与重建模型对比，统计模型的误差，结果见表 5。同时，图 15为建筑物立面模型误差分布，其中左上角为误差直方图统计结果。由试验结果可以看出，除区域3的最大值外，优视摄影重建模型在3个指标上均优于倾斜摄影。特别地，对于区域1和区域3中遮挡严重的建筑物区域，优视摄影能够显著减少模型重建误差，比倾斜摄影精度提升约3~5倍。主要原因在于区域1和区域3包含很多内凹的窗户，导致倾斜摄影存在很多遮挡区域，如图 15(a)和(e)所示。与倾斜摄影相比，优视摄影能够显著提高模型重建精度，减少建筑物立面遮挡区域影像采集不足的问题，如图 15(b)、(d)和(f)所示的误差分布。

图 14 建筑物立面分布及其点云数据

Fig. 14 The distribution of building facades and corresponding point clouds

表 5 建筑物立面模型误差统计

Tab. 5 Statistical results of errors of building facades model

图 15 建筑物立面误差分布

Fig. 15 The distribution of errors of building facades

3 结语

复杂城市场景给实景三维建设与更新带来了巨大挑战。如何实现无人机最优路径规划和精细化数据采集是当前及未来实景三维中国建设亟须解决的关键问题。不同于传统固定航高的倾斜摄影，优视摄影测量利用被摄对象的概略模型，结合密集采样的初始视点生成和采样点可重建性约束的视点优化技术，生成无人机最优飞行路径和相机精准拍照方位，实现最小数据采集代价下的高精细度三维模型重建目标。本文在深入研究优视摄影原理的基础上，利用真实场景采集的无人机影像进行空三精度分析和Mesh模型质量评价。结果表明，与面向影像连接网络稳定性优化的传统倾斜摄影相比，优视摄影测量依然能建立稳健影像连接，实现相当的绝对定位精度。同时，面向目标对象精细采样的优视摄影测量显著提高了Mesh模型重建质量。对于遮挡严重的建筑物立面区域，优视摄影测量能够实现3~5倍的精度提升。

结合多旋翼无人机的高灵活机动性能和多视角数据采集能力，优视摄影测量在城市场景精细三维重建和模型更新中展现出十分重要的应用潜力和推广价值。但与倾斜摄影测量相比，优视摄影测量要求无人机调整飞行姿态和相机拍摄角度，这必然会导致更多的采集时间消耗。因此，后续研究将进一步优化改进优视摄影测量工作模式下的无人机飞行路径，以及时效、能耗等相关问题。