多模态理解正加速迈向统一与智能，Transformer凭借跨模态对齐与长程建模能力，已成为视频-文本、图像-语言、语音-文本等跨域融合的核心引擎，在智能助手、内容理解、自动驾驶等场景持续产出突破。
本文从近年顶会顶刊中整理了10篇两者结合的最新前沿论文，正在做相关课题的伙伴可以直接下方领取论文及代码（部分包含），不管是快速搭baseline、找创新切口，还是跟最新技术趋势，都能省不少从零摸索的功夫。
长按识别下方二维码，回复【trans多模态】
无偿领全部论文合集及项目代码
A Novel Multimodal Framework for Ultra-Short-term Photovoltaic Power Forecasting Via Fusion of Sky Images and Time-Series Data
融合天空图像与时序数据的超短期光伏功率预测多模态新框架
文章内容
针对超短期光伏功率预测仅靠气象时序数据无法捕捉云层突变带来的短临功率波动、精度不足的痛点，提出融合全天空图像与时序观测的多模态预测框架。时序分支采用TFT模型，经PSO优化VMD降噪后提取静态、历史、未来协变量特征；图像分支将二维天空图展平为1D序列后输入适配版Swin Transformer提取云团演化特征，通过门控注意力机制动态加权融合两类模态。实测电站数据集上，模型10分钟尺度预测MAE低至0.580kW，复杂多云天气下鲁棒性显著优于单模态基线。
MP-DistillFormer: Multimodal Prototype Distillation with Self-Supervised Transformer for Few-Shot Fine-Grained Classification
面向少样本细粒度分类的多模态原型蒸馏自监督Transformer
文章内容
针对少样本细粒度分类任务中样本量不足、跨模态语义对齐弱、模型易过拟合的痛点，提出三阶段MP-DistillFormer框架。首先用CNN教师模型通过情景式训练提取细粒度视觉特征；再将视觉与文本语义原型做蒸馏，迁移到轻量KAN结构学生模型TeSMo-KAN；最后引入旋转自监督微调增强表征鲁棒性。在CUB-200-2011、Stanford Dogs、Stanford Cars三个公开细粒度数据集上，1-shot与5-shot精度均优于同参数量级的现有SOTA方法。
SMART: Structured Multimodal Agricultural Retrieval-Augmented Transformer for Plant Disease Diagnosis
面向植物病害诊断的结构化多模态农业检索增强Transformer
文章内容
针对真实农田植物病害分类面临长尾类别分布、野外输入噪声大、纯视觉模型泛化能力不足的痛点，提出SMART结构化多模态检索增强诊断框架。采用统一多模态编码器对齐作物图像与结构化病害标签、专业病理描述文本的语义空间，构建病害原型参考库；推理时通过KNN检索近邻原型，将检索概率与分类头输出动态加权融合。在覆盖48类作物、37586张田间实拍的病害数据集上，zero-shot F1达0.9767，监督微调F1达0.9188，对长尾稀有病害、噪声输入的鲁棒性显著优于纯视觉CNN基线。
↓↓听说在下方一键三连的都Accept了🌝
