近期我们针对多模态医学图像的前沿成果进行了深度整合,从中筛选出22篇很有参考价值的论文,收录了Nature、TCSVT、Information Fusion等顶会顶刊上的相关工作,并配套整理了开源代码实现。
这些论文基本覆盖了当前主流方法与技术瓶颈,特别适合正在准备论文的朋友,无论你是想找创新突破口、设计课题方案,还是想复现经典模型,都能提供实质性帮助。
扫描下方二维码,回复「多医12」
免费获取全部论文合集及项目代码
BSAFusion: A Bidirectional Stepwise Feature Alignment Network for Unaligned Medical Image Fusion
内容:本文提出单阶段BSAFusion框架处理未对齐多模态医学图像融合,依靠共享特征编码器将配准嵌入融合流程,借助MDF‑R模块设置模态特征表示头,把图像全局模态信息注入另一模态特征,缓解模态差异带来的匹配干扰并保留图像互补信息,再基于两点矢量位移路径独立性设计双向逐步变形场预测策略,依靠正向、反向配准层分步求解变形场,改善大偏移下变形场预测不准的问题,最后通过MMFF模块利用得到的变形场完成特征对齐与图像重建,搭配多种损失函数联合优化网络,在多组医学数据集上完成验证。
Deep evidential fusion with uncertainty quantification and
reliability learning for multimodal medical image segmentation
内容:本文结合深度神经网络与Dempster‑Shafer证据理论构建深度证据融合框架,先通过独立编解码器特征提取模块分别提取各模态医学图像特征,再经由证据映射模块将体素级特征转换为表征各模态证据的质量函数,利用可学习的、面向不同类别的可靠性系数对质量函数执行上下文折扣校正,之后借助Dempster组合规则融合经折扣处理后的多模态证据,采用兼顾单模态与融合后分割效果的两部分损失实现端到端训练,以此完成多模态医学图像分割,同时实现分割不确定性量化并通过学到的可靠性系数揭示不同模态对分割任务的贡献。
扫描下方二维码,回复「多医12」
免费获取全部论文合集及项目代码
FusionMamba: Dynamic Feature Enhancement for Multimodal
Image Fusion with Mamba
内容:本文提出基于Mamba的FusionMamba动态特征增强多模态图像融合框架,依托U‑Net架构,设计动态视觉状态空间DVSS模块,融合动态卷积与通道注意力,在保留Mamba长距离全局建模能力的同时降低通道冗余、强化局部特征表达,再通过由动态特征增强模块DFEM和跨模态融合Mamba模块CMFM共同构成的动态特征融合模块DFFM,实现纹理细节增强、模态差异感知以及跨模态关联挖掘并抑制冗余信息,最后联合强度损失、纹理损失与结构相似度损失共同约束网络完成端到端训练,在多种多模态图像融合任务上取得优异效果。
Simultaneous Tri-Modal Medical Image Fusion and Super-Resolution using Conditional Diffusion Model
内容:本文针对现有方法大多只能分开完成医学图像融合与超分、缺少三模态联合处理方案的问题,提出基于条件去噪扩散概率模型的TFS‑Diff端到端网络,先对输入三模态低分辨率图像做双三次上采样,利用三模态融合注意力TMFA模块,借助通道注意力完成多模态特征校准与关键信息聚合,再以改造的U‑Net作为扩散反向过程的噪声预测网络,同时设计由均方误差与结构相似度组成的PSF联合损失,兼顾像素重建精度与图像结构、纹理质量,在Harvard公开脑图谱数据集上开展多倍率超分对比与消融实验,实验表明TMFA模块与PSF损失均可带来性能增益,该方法在多项量化指标与视觉效果上优于现有对比算法,可同步输出高分辨率三模态医学融合图像,未来计划引入大语言模型进一步提升模型泛化能力。
扫描下方二维码,回复「多医12」
免费获取全部论文合集及项目代码

