多模态图像融合正成为跨传感器感知领域的核心技术抓手，从红外可见光互补、医学多模态对齐到遥感跨模态解译，不同模态信息的优势互补持续突破着单一传感器在复杂场景下的感知上限。
本文从近年顶会顶刊中整理了10篇该方向的最新前沿论文，正在做相关课题的伙伴可以直接下方领取论文及代码（部分包含），不管是快速搭baseline、找创新切口，还是跟最新技术趋势，都能省不少从零摸索的功夫。
长按识别下方二维码，回复【多模态图像】
无偿领全部论文合集及项目代码
Fusion-oriented Registration of UAV-acquired RGB–infrared Images for Maritime Target Detection and Segmentation
面向海洋目标检测与分割的无人机RGB–红外图像融合导向配准方法
文章内容
本文针对无人机海上RGB–红外图像因强模态差异、稀疏特征与动态海面导致配准困难的问题，提出目标感知配准框架。流程分三阶段：先用YOLOv1检测生成边界框引导SAM分割，隔离海洋目标、压制海面背景干扰；再以DKMv3架构共享权重编码器提取多尺度特征，经全局匹配与warp refinement建立稠密对应；最后用RANSAC鲁棒估计单应矩阵。作者同时提出MIoU（目标区域均值交并比）结合VIF、SSIM、边缘保持度与PSNR的综合评估体系。在公开DroneVehicle与私有OUCR数据集上，MIoU分别达0.8101和0.6363，显著优于UMMR、UMF等基线。
NOAH: A Multi-Modal and Sensor Fusion Dataset for Generative Modeling in Remote Sensing
面向遥感生成式建模的多模态传感器融合数据集
文章内容
本文提出NOAH（Now Observation Assemble Horizon）数据集，旨在支撑遥感软传感器与生成式AI建模。数据集整合地形、植被（土地覆盖/生物量/冠层）、燃料类型、Landsat 8卫星影像与地面气象站观测五类模态，覆盖加拿大815个位置、总计874,246.9 km²，空间分辨率30 m、时间分辨率1小时，时间跨度2013–2025年，含234,089个数据点。其目标是利用地面站真值训练生成模型，实现实时RS数据生成、云覆盖缺失值填补与粗分辨率超分。作者以UNet+FiLM架构完成概念验证，NOAH mini子集已在Hugging Face开源。
UA-FusionDet: Unregistered-Aware Infrared-Visible Fusion with Cross-Modal Feature Alignment for Maritime Ship Perception
面向海上船舶感知的未配准感知红外-可见光跨模态特征对齐融合
文章内容
本文针对实际双传感器系统中红外与可见光图像往往未严格像素配准、直接融合产生重影的问题，提出UA-FusionDet框架。双分支编码器提取多尺度特征后，跨模态可变形对齐模块以红外为参考预测偏移场，并以海面显著性先验抑制弱纹理水天区的不可靠位移；小波引导互补融合用db2将对齐特征分解为低频与高频子带，门控融合红外热显著性与可见光结构细节；轻量重建解码器提供图像级正则化，检测头直接在融合特征上输出边界框。全流程无需配准真值或融合图像真值，仅用船舶框监督。在3132对未配准LVWIR数据上mAP达0.912，超越SOTA且保持52.6 FPS。
↓↓听说在下方一键三连的都Accept了🌝
