近期我们针对Mamba+多模态特征融合的前沿成果进行了深度整合，从中筛选出26篇很有参考价值的论文，收录了IEEE TMM、ICASSP、AAAI等顶会顶刊上的相关工作，并配套整理了开源代码实现。
这些论文基本覆盖了当前主流方法与技术瓶颈，特别适合正在准备论文的朋友，无论你是想找创新突破口、设计课题方案，还是想复现经典模型，都能提供实质性帮助。
扫描下方二维码，回复「曼巴特征」
免费获取全部论文合集及项目代码
Interactive Spatial-Frequency Fusion Mamba for Multi-Modal Image Fusion
内容：
本文提出ISFM交互式空频融合Mamba多模态图像融合框架，借助Mamba以线性复杂度建模长距离依赖，先通过模态特定提取器MSE得到各模态特征，再利用离散小波变换构建多尺度频率融合模块MFF，依靠低频、高频融合块自适应整合多尺度高低频分量，进一步设计由频率引导Mamba与频率引导门组成的交互式空频融合模块ISF，将频域特征作为条件引导跨模态空域特征融合，最后拼接空域、频域融合特征，联合内容、强度、梯度与结构相似度损失完成模型训练，在红外‑可见光、医学图像共六个数据集开展实验，定性与定量结果均优于现有主流方法，消融实验验证各模块有效性，该方法生成的融合图像还能够提升目标检测、语义分割下游任务性能。
MMR-Mamba: Multi-Modal MRI Reconstruction with Mamba and
Spatial-Frequency Information Fusion
内容：
本文提出MMR‑Mamba多模态MRI重建框架，依托Mamba线性复杂度建模长距离依赖，先通过CNN与Mamba块分别提取欠采样目标模态与全采样参考模态的特征，利用目标模态引导的跨Mamba模块TCM在空域以目标模态作为门控，选择性引入参考模态互补信息得到空域融合特征，再通过选择性频率融合模块SFF对相位谱直接相加、对振幅谱做自适应加权选择完成频域全局特征融合以恢复高频细节，接着采用自适应空频融合模块ASFF依据通道重要性让空域、频域特征互相补充信息，最后将融合特征送入CNN解码器重建目标模态图像，以L1损失监督训练，在BraTS与fastMRI膝关节数据集上开展实验，定量定性结果及消融实验验证各模块有效性，该方法相比现有重建方法参数量更低且重建效果更优。
扫描下方二维码，回复「曼巴特征」
免费获取全部论文合集及项目代码
GFE-Mamba: Mamba-based AD Multi-modal Progression Assessment via Generative Feature Extraction from MCI
内容：
本文提出GFE‑Mamba用于轻度认知障碍MCI向阿尔茨海默病AD进展预测，借助3D GAN‑ViT作为生成特征提取器，利用配对MRI‑PET数据预训练，可从MRI生成PET表征并输出中间隐特征以弥补PET模态缺失问题，将该图像隐特征与经过编码处理的临床量表表格数据拼接，送入由多层Mamba块搭建的多模态Mamba分类器处理长序列特征，再通过像素级双向交叉注意力补充MRI与PET的像素空间细节信息，完成二分类预测，基于ADNI数据集构建一年、三年MCI‑AD进展预测子集开展实验，对比与消融实验验证生成特征提取模块、ViT中间块、双向交叉注意力、图像与表格数据各自的有效性，该模型在各项评价指标上优于多种现有方法，能够仅依靠MRI结合量表实现MCI向AD进展的高精度预测。
MambaDFuse: A Mamba-based Dual-phase Model for Multi-modality Image Fusion
内容：
本文提出MambaDFuse用于多模态图像融合，采用双层级特征提取器，依靠卷积提取低层局部特征、堆叠Mamba块获取具备长距离依赖的单模态高层特征，接着使用双阶段特征融合模块完成特征交互，浅层融合采用通道交换策略实现跨模态全局信息交互，深层融合设计M3多模态Mamba块，利用两个模态特征做引导完成细粒度跨模态深度融合，最后经Mamba块与逆patch嵌入、卷积层完成图像重建，结合结构相似度、纹理与强度损失联合优化网络，在红外‑可见光、医学多模态图像数据集开展测试，消融实验验证各模块有效性，该方法相比现有主流方法取得更优融合指标，生成的融合图像也能够提升目标检测下游任务性能。
扫描下方二维码，回复「曼巴特征」
免费获取全部论文合集及项目代码
