深度估计是无人系统低成本实现三维感知的关键技术之一。当前方法在嵌入式系统中面临着深度估计性能差和物体边界模糊的挑战。因此，本文提出一种新颖的单目深度估计模型，通过特征增强模块与优化的训练策略能够使深度估计模型轻松部署嵌入式系统且准确估计空间深度，在多类数据上显著显出优于先前轻量级模型的效果。本文已被IROS 2025接收，我们期待在杭州与各位交流学习！
论文标题：BoRe-Depth: Self-supervised Monocular Depth Estimation with Boundary Refinement for Embedded Systems
论文作者：刘畅，李娟，张晟，刘畅，李杰，张旭
论文单位：北京理工大学机电学院，北京理工大学长三角研究院
项目主页：https://github.com/liangxiansheng093/BoRe-Depth
1 引言
现有研究通过设计轻量级模型和优化网络架构，在嵌入式系统上实现实时单目深度估计。然而，这些模型生成的深度图往往缺乏细节，无法提供准确的物体边界。尽管物体的边界质量至关重要，边界区域在整个图像中所占比例较小，导致边界区域的深度估计误差通常难以获得足够的关注，进而导致生成的深度图模糊不清。
为缓解这一问题，本文提出BoRe-Depth，它能够在嵌入式系统中实时运行，并生成具有高边界质量的高精度深度估计图，主要贡献有如下三点：
1）本文提出了一种具有高边界质量的单目深度鲁棒自监督学习方法。模型仅8.7M参数量，专为嵌入式系统优化，可实现50.7帧/秒的运行速度。
2）本文设计了增强特征自适应融合模块（EFAF），该模块能显著提升深度估计结果的边界质量。
3）本文采用两阶段训练策略，在第二阶段引入语义信息损失函数，促使模型学习语义知识并精准捕捉物体边界。
2 设计方法
本文的目标是开发一个具有高质量边界的实时单目深度估计模型。如图1所示，通过伪深度标签和语义分割编码器的联合约束训练，使提出的BoRe-Depth同时获取绝佳的深度估计精度和边界质量。
图1 深度估计模型训练框架图
伪深度真值：本文采用自监督学习方法训练单目深度估计模型，避免在训练过程中引入大量含有边界噪声的深度标签。如图2所示，通过从外部引入新的伪深度真值标签在训练期间约束模型。通过现有的大规模单目深度估计模型生成具有较高精细度的深度图像，作为轻量化模型训练样本的伪深度真值用于训练。
图2 伪深度真值效果图
EFAF解码器：如图3（a）所示，整个解码器的设计遵循分层特征聚合策略，逐步从粗到细优化深度估计结果。EFAF具体结构如图3（b）所示，关键组件之一是空间通道增强层（SCE）。该模块通过特征维度扩展的方式强化模型对物体边界细节的表达能力，并结合深度可分离卷积（DW Conv）等轻量化卷积操作，有效降低计算开销，保持模型高效性。接下来，EFAF对于两个层级的特征应用相同的SCE处理流程，两个层级的特征在各自经过独立调整后，通过融合卷积层进行特征聚合。
图3 深度估计模型结构图
语义信息损失：本文在模型训练阶段引入两个独立的MPViT编码器，分别用于提取语义分割特征和深度估计特征，并将两者进行特征相似度对比。在具体实现方法上，本文对两个独立编码器生成的像素级特征进行了对比约束。语义分割特征通过计算与单目深度估计特征之间的相似性，指导深度估计编码器获取语义知识。这样一来，轻量化深度估计模型不仅能够专注于深度特征的学习，还能够从语义知识中受益。实验中通过采取对编码器输出的五层特征均采用余弦相似度进行相似度计算：
训练策略：为了最大限度地发挥语义信息损失函数的潜力，本文采取了一种两阶段的训练策略，循序提高模型的表现。在第一阶段，训练使用三类损失函数：视图重建损失、几何一致性损失以及边界对齐损失对模型进行初步约束。
进入第二阶段，本文引入语义信息损失优化编码器输出的深度特征，在这一阶段，训练的目标是通过将语义知识嵌入单目深度估计编码器中，使模型能够更好地理解和利用语义信息描述图像中物体的边界。这一阶段通过相似度对比约束它们之间的差异，从而使语义分割编码器的知识能够进行有效迁移。
3 实验和分析
数据集：BoRe-Depth能够广泛适用于各种场景类型的单目深度估计任务，因此本文选择NYUv2，KITTI数以及IBims-1数据集上进行室内外广泛测试，证明本模型的优越适应性能。
图4 深度估计结果定性对比图
精度对比实验：图4和表1显示了在NYUv2和KITTI数据集上的实验结果，通过将BoRe-Depth与现有的最先进方法进行比较。结果表明，本文模型在性能上明显优于过去的方法，尤其在边界质量方面。
表1 深度估计结果定量对比表
通过分析实验结果不难看出边界质量对深度估计准确度之间具有促进关系。一方面，清晰的边界能够帮助单目深度估计任务更好地识别图像中的物体，明确物体轮廓和背景区域，增强复杂结构区域的细节表达，从而有效减少边界模糊带来的深度预测误差。
泛化对比实验：此外，本文还在IBims-1数据集上进行了零样本深度估计测试。通过仅在NYUv2数据集上对模型进行训练，然后在IBims-1数据集上进行评估。如表2所示，本文模型能够有效应对新场景中的深度估计任务。
表2 零样本泛化性实验对比表
4 总结
本文提出了BoRe-Depth，它在嵌入式系统上能够实时对各类场景进行高边界质量的单目深度估计。通过利用大型深度估计模型生成高精度深度图作为伪真值标签，对BoRe-Depth模型进行自监督学习，并通过精心构建的EFAF和在训练第二阶段引入的语义信息损失函数，显著提高了单目深度估计精度和其边界质量。其次，本文验证了提出方法的高效性，为嵌入式与无人系统开发更快更精准的单目深度估计模型提供了有价值的见解，有助于实现更精细更可靠的深度估计技术。
排版｜张晟