MICCAI 2025｜基于状态空间模型的医疗点云层级特征学习

01 研究背景与动机

一大部分的医疗影像（CT、MRI、超声等）是以三维图像的形式存储。三维图像往往包含较多冗余信息，且由于维度诅咒带来的巨大空间复杂度而难以高效分析。点云以及网格等三维形状是更高效的表征方式。通过将三维图像分割的解剖结构转化为三维点云，可广泛应用于器官建模、疾病分析、手术规划等任务。近些年来，针对于点云的特征学习已经有了很大的进展。然而，对于医疗点云的学习依然面临以下挑战：

1. 医疗数据难以获取且大多数以图像的形式存储，因此缺少用于医疗点云系统学习的大规模数据集；
2. 医疗点云往往包含精细的几何结构以及复杂的嵌套结构（骨骼、器官等器官组织的空间分布），对模型的局部与全局建模能力提出新的要求；
3. 以往点云学习方法大多依赖 PointNet/PointNet++ 这种基于局部邻域聚合的架构。它们在局部结构建模上有效，但在捕捉全局依赖（长距离关系）上能力有限；另一方面，Transformer 虽然能处理长程依赖，但计算开销大，效率不佳。

最近，大规模医疗形状数据集MedShapeNet的公布表明了三维视觉在医疗领域中的研究与应用潜力。同时，我们注意到状态空间模型（State Space Model, 后简称SSM）在自然语言处理、语音和视觉序列任务中展现出高效捕捉长程依赖的能力。在这些工作的基础上，我们首次对医疗点云的特征学习进行了系统的研究。

论文的贡献点可以总结为以下几点：

1. 开发一种基于SSM的分层点云学习框架，实现高效的局部几何特征与全局长程依赖建模;
2. 针对于医疗点云包含的嵌套结构提出从内向外的点云序列化，并实现了Group Point SSM 模块用于并行处理不同扫描方式得到的点云序列;
3. 构建多任务医疗点云数据集 MedPointS ，可用于解剖结构的分类，补全与分割模型训练与评估。

大量的实验结果表明我们的方法在多个任务上表现最优，验证了层级特征与状态空间模型在医疗点云分析中的有效性，并为未来的研究建立了新的基准。

02 模型架构

如图1所示，我们的方法通过最远点采样来获得不同层级下的点集。每一层级会在特征空间中聚合上一层的多尺度邻域信息并传入到基于状态空间模型的点云特征学习模块（Point SSM Block，后简称PSSM），以实现不同尺度下 的动态局部几何信息提取。

点集的局部特征被序列化成多个点云序列，并输入到一个并行点云特征学习模块（Group PSSM）以提取更深层的全局特征。对于不同下游任务，框架在输出端配置相应的解码器：分类任务通过全局特征预测器官类别，补全任务通过解码器恢复缺失点云，分割任务则借助特征传播机制将潜在特征映射回原始分辨率实现逐点预测。

03 基于SSM的点云特征学习模块

由于点云是无序数据，直接输入状态空间模型会破坏其空间关系，因此作者提出了两种序列化方式。其一是依坐标扫描（coordinate-ordered scanning），即依某一坐标轴按照点的空间坐标顺序排列，获得稳定的序列输入；其二是针对于医疗点云中嵌套结构提出的由内向外扫描（inside-out scanning），以点云中心为起点向外扩展。图2左侧提供了一个不同序列化方法的可视化对比，从内向外的扫描方式对复杂嵌套结构可以得到空间上更合理的序列。

图2右侧展示了作者设计的两种基于状态空间的特征学习模块。原有的PSSM 主要用于处理局部邻域内的短序列，捕捉几何细节和局部关系；Group PSSM 则面向多种序列化得到的长序列组，能够利用Mamba硬件加速对序列组的长程依赖和全局上下文并行建模。通过将两类模块结合，网络能够捕获局部细节表示与全局结构感知，从而在各项任务中实现更强的表现力。

04 实现细节

本文提出的点云学习框架以及应用于不同任务的解码器均基于多模态开源学习平台Flemme实现。Flemme是一个面向医学图像的模块化深度学习平台，支持多种先进的图像，点云编解码器以及应用于分类，分割，重建，生成等任务的模型架构，通过不同的模块组合与条件编码嵌入，可以实现快速灵活的多模态模型部署。本文提出的方法也成为Flemme原生支持的点云编码器之一。

05 实验与结果

为了训练并验证本文提出的方法，我们构建了一个大规模医疗点云数据集MedPointS。我们在MedShapeNet数据集中收集了扫描相对完整的患者数据，经过标准化和下采样等处理整理出包含28,737 个点云样本覆盖 46 个解剖结构的分类数据集。我们进一步对每个样本随机选取一个锚点并删除百分之20的临近点来构造对应的部分扫描结果，并以此来构建了多类别点云补全数据集。另外，我们根据患者信息对数据进行组合，整理出一个包含1,020个样本的人体解剖点云分割数据集。对于所有的任务，我们将数据集平均分为5个子集，其中前3个子集用于训练，后两个子集分别作为验证集和测试集。

我们的方法在多个任务上都取得了最优的表现。在分类任务中，模型在 46 类器官识别上取得更高的准确率，说明模型成功学习到了不同类别见的差异性特征；在补全任务中，重建的点云在Chamfer Distance 和 Earth Mover’s Distance 明显优于基线；在分割任务下，模型也取得了更高的mIoU 和 Dice 分数。图3是不同模型在补全任务以及分割任务下的直观比较。进一步的消融实验也验证了本文实现的层级动态特征提取架构与PSSM模块在不同任务下带来的提升。

结语

本文首次对医疗点云学习进行系统研究，并提出了一种基于状态空间模型的层级医疗点云学习框架。我们对点云进行逐层下采样并动态聚合多尺度下的邻域信息，并结合不同序列化策略与PSSM模块实现局部与全局特征提取。此外，我们构建了大规模医疗点云数据集 MedPointS，用于在解剖器官分类、点云补全和语义分割任务上评估模型性能。大量实验结果表明，我们的方法能够可靠地建模医疗点云，在多个任务上的表现均超越了现有的方法，为未来医疗点云分析提供了新的基准。

如何引用

@misc{zhang2025hierarchicalfeaturelearningmedical,

title={Hierarchical Feature Learning for Medical Point Clouds via State Space Model},

author={Guoqing Zhang and Jingyun Yang and Yang Li},

year={2025},

eprint={2504.13015},

archivePrefix={arXiv},

primaryClass={cs.CV},

url={https://arxiv.org/abs/2504.13015},

}

Github 以及相关文件链接

论文链接： https://arxiv.org/abs/2504.13015

Github： https://github.com/wlsdzyzl/flemme

Flemme使用文档： https://flemme-docs.readthedocs.io/en/latest/

公众号后台回复“数据集”获取100+深度学习各方向资源整理