近期我们针对多模态特征融合的前沿成果进行了深度整合，从中筛选出13篇很有参考价值的论文，收录了AAAI、IEEE TMM等顶会顶刊上的相关工作，并配套整理了开源代码实现。
这些论文基本覆盖了当前主流方法与技术瓶颈，特别适合正在准备论文的朋友，无论你是想找创新突破口、设计课题方案，还是想复现经典模型，都能提供实质性帮助。
扫描下方二维码，回复「25多模态」
免费获取全部论文合集及项目代码
TouchFormer: A Robust Transformer-based Framework for Multimodal Material Perception
内容：本文面向材料感知任务，提出基于 Transformer 的鲁棒多模态框架 TouchFormer，针对传统视觉感知在视觉条件差时失效、现有多模态融合方式简单，难以应对模态噪声、模态缺失、模态重要性动态变化的问题，设计模态自适应门控机制动态评估模态质量并分配权重，搭配模态内与模态间注意力融合时序错位的多模态信号，同时引入跨实例嵌入正则化策略提升细粒度材料识别能力。实验在 SSMC、USMC 数据集上取得明显精度提升，机器人实物实验验证其有效性，适合应急、工业自动化等场景，为触觉多模态材料感知提供鲁棒的融合方案。
Attention-enhanced multimodal feature fusion network for clothes-changing person re-identification
内容：本文针对换衣行人重识别中外观变化剧烈、依靠衣着特征极易匹配失败的难题，提出注意力增强的多模态特征融合网络。模型融合可见光与红外模态信息，借助注意力机制挖掘行人不受服饰改变影响的体态、轮廓等底层固有特征，抑制衣着带来的干扰特征，通过跨模态注意力对齐不同模态的特征空间，强化身份相关的稳定表征。研究在换衣行人重识别数据集上开展实验，和多种单模态、多模态基线模型对比，结果表明该网络能够有效降低服饰变化带来的负面影响，提升跨模态匹配精度，消融实验验证注意力融合模块的必要性，为复杂换衣场景下行人重识别提供可行方案。
扫描下方二维码，回复「25多模态」
免费获取全部论文合集及项目代码
MemoCMT: multimodal emotion recognition using cross-modal transformer-based feature fusion
内容：本文提出 MemoCMT，一种基于跨模态 Transformer 特征融合的多模态情感识别模型，针对现有方法难以充分挖掘音视频模态间长距离依赖、模态对齐不足的问题，设计记忆增强的跨模态 Transformer 模块。模型分别提取音频、视觉模态特征，借助记忆单元留存历史情感信息，再通过跨模态注意力建立模态之间的关联交互，自适应融合互补情感线索，弱化模态噪声带来的干扰。论文在公开多模态情感数据集上完成对比实验，相比传统融合模型与基础 Transformer 基线，在情感分类指标上取得更优结果，消融实验验证记忆模块与跨模态融合模块的贡献，为时序多模态情感识别提供新的融合思路。
Multimodal Feature-Guided Pretraining for RGB-T Perception
内容：本文面向可见光 - 红外（RGB-T）感知任务，提出多模态特征引导预训练方法，针对现有 RGB-T 模型多采用下游任务微调、缺少适配双模态的预训练范式，模态互补信息难以充分挖掘的问题，设计跨模态特征引导的预训练目标，在预训练阶段建立可见光与红外模态之间的特征对齐与互补约束，学习统一的双模态表征。预训练完成后将权重迁移至目标检测、语义分割等 RGB-T 感知下游任务。在多个公开 RGB-T 数据集上的实验表明，该预训练方案相比单模态预训练、普通多模态预训练基线可以稳定提升性能，消融实验验证跨模态引导约束的作用，为可见光红外跨模态感知提供有效的预训练范式。
扫描下方二维码，回复「25多模态」
免费获取全部论文合集及项目代码
