点击下方名片，获取你的下一个灵感实例。
在森林生态监测领域，单木尺度的树冠信息是评估生物多样性、碳储量的关键基础。传统地面调查成本高昂，而无人机遥感与计算机视觉的结合为自动化监测带来了曙光。近期发表于NIPS 2025的研究《Bringing SAM to new heights: Leveraging elevation data for tree crown segmentation from drone imagery》提出了创新性解决方案，让我们一起来解读这篇论文的核心发现。
论文信息
题目：Bringing SAM to new heights: Leveraging elevation data for tree crown segmentation from drone imagery
基于无人机影像利用高程数据实现树冠分割：将SAM推向新高度
作者：Mélisande Teng, Arthur Ouaknine, Etienne Laliberté, Yoshua Bengio, David Rolnick, Hugo Larochelle
一、森林监测的技术困境：SAM表现不及预期？
Segment Anything Model（SAM）作为通用分割模型的佼佼者，在零样本场景下展现出强大能力。但本文通过三大森林类型的系统评估（北方人工林、温带森林、热带森林）发现：直接使用SAM的效果甚至不如定制化的Mask R-CNN，即使配合精心设计的提示也难以突破。
图1：不同森林类型的RGB影像（上）与数字表面模型DSM（下）对比，左为北方人工林，中为温带森林，右为热带森林
问题主要体现在：
-
自动模式下难以分离重叠树冠 -
易将背景或小型植物误判为树木 -
茂密冠层区域漏检率高
二、创新方案：BalSAM模型如何融合高程信息？
针对SAM的局限性，研究团队提出BalSAM模型，基于RSPrompter框架引入可训练的DSM编码器，实现高程信息与图像特征的有机融合。
图2：BalSAM模型结构图，通过DSM编码器将高程信息融入SAM的提示学习过程
模型核心设计亮点：
-
双模态特征融合：通过逐元素求和将DSM编码特征与SAM图像嵌入融合 -
轻量级适配：保持SAM主体冻结，仅训练DSM编码器和提示生成模块 -
端到端提示学习：无需微调庞大的SAM图像编码器，降低计算成本
DSM（数字表面模型）作为关键输入，通过无人机摄影测量技术可直接从RGB影像生成，无需额外数据采集成本，却能提供树冠高度和垂直结构的关键信息。
三、多数据集验证：哪些场景最受益？
研究在三个代表性数据集上进行了全面评估：
|
|
|
|
|
|
|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
实验结果显示，BalSAM在多数场景下表现最优，尤其在北方人工林中优势显著（mAP提升12.3%）。通过可视化结果可以清晰看到：
图3：左列为RGB影像，中列为Mask R-CNN结果，右列为BalSAM结果，显示BalSAM在分离密集树冠方面的优势
DSM信息的贡献呈现明显的场景依赖性：
-
人工林（树木间距大、地面可见）：DSM作用显著，mIoU提升达8.7% -
温带密林（冠层密闭）：DSM增益有限，因单木在DSM中难以区分 -
热带森林（结构复杂）：虽冠层茂密，但树高差异大，DSM仍能带来提升
图4：左为人工林DSM特征明显，右为温带森林DSM特征模糊
四、方法对比：为什么端到端提示学习更优？
研究对比了8种主流方法，发现：
-
开箱即用的SAM（包括DSM提示版本）性能最差 -
Mask R-CNN+DSM虽有效，但不及提示学习方法 -
BalSAM和RSPrompter在多类mAP和加权mAP上全面领先 -
先进的Mask2Former在森林场景中未超越Mask R-CNN
图5：不同模型在魁北克人工林数据集上的性能雷达图
关键发现：用训练好的Mask R-CNN输出提示SAM反而会降低性能，因SAM容易被影像细节干扰。而端到端学习提示的方式能更好地引导SAM关注树冠特征。
五、实用建议与未来方向
基于研究结果，作者提出针对性建议：
-
人工林碳监测：强烈建议集成DSM数据，BalSAM是最优选择 -
温带密林：优先考虑RSPrompter或BalSAM，DSM增益有限 -
热带森林：可尝试Mask R-CNN+DSM编码器，聚焦大型树木监测
未来值得探索的方向：
-
改进DSM编码器架构，提升复杂场景适应性 -
结合卫星光谱信息与位置元数据 -
开发少样本学习方案，应对标注数据稀缺问题 -
利用3D点云直接建模树冠结构
这项研究不仅建立了首个多森林类型的树冠实例分割基准，更证明了高程信息在生态监测中的独特价值。随着无人机遥感的普及，将DSM与RGB数据结合使用，有望成为森林碳汇评估、生物多样性保护的标准化技术方案。
