近期我们针对多模态数据融合方法的前沿成果进行了深度整合，从中筛选出53篇很有参考价值的论文，收录了nature communications、AAAI等顶会顶刊上的相关工作，并配套整理了开源代码实现。
这些论文基本覆盖了当前主流方法与技术瓶颈，特别适合正在准备论文的朋友，无论你是想找创新突破口、设计课题方案，还是想复现经典模型，都能提供实质性帮助。
扫描下方二维码，回复「数据融合」
免费获取全部论文合集及项目代码
Personality-Driven Social Multimedia Content Recommendation
内容：本文针对社交媒体营销场景下缺少结合人格特质的多媒体内容推荐基准数据集与实用方案的问题，构建PersiC人格驱动多视图内容推荐框架，基于Twitter采集构建品牌帖子与用户交互的多模态数据集，提取文本、图像情感概念多视图特征，借助PERS模型从用户社交时序数据推断MBTI人格特征，将人格向量与用户多模态特征拼接得到用户隐表示，同时融合帖子图文特征得到项目表示，采用BPR成对排序损失完成模型训练，将其与FM、NeuCF、BiVAE‑CF、PCD等多种基线模型开展对比实验与消融实验验证人格特征带来的性能增益，并开展真实广告业务案例研究，挖掘不同人格对应的内容偏好，输出可落地的广告策略，实际业务中广告效果相比人工方案提升超420%。
MULTIMODALIMAGEFUSIONBASEDONHYBRIDCNN-TRANSFORMERAND NON-LOCALCROSS-MODALATTENTION
内容：本文提出一种CNN‑Transformer混合架构的多模态图像融合网络HCFusion，编码器利用空洞卷积构成的上下文聚合网络提取多模态源图像多尺度特征，设计非局部跨模态注意力NCA模块挖掘不同模态特征的全局关联，再通过分支融合模块依据sigmoid生成的权重自适应融合双分支特征，解码器堆叠Swin Transformer块增强图像重建能力，采用结合MSE与SSIM的无监督损失函数完成模型训练，在TNO、VIFB以及医学多模态数据集上开展消融实验与对比实验，使用PSNR、FMI、$Q_{cv}$指标从定量和视觉效果层面验证，该方法可更好保留各模态关键信息、减少伪纹理，在红外‑可见光、医学多模态图像融合任务上优于多种现有主流融合算法。
扫描下方二维码，回复「数据融合」
免费获取全部论文合集及项目代码
NExT-GPT:Any-to-AnyMultimodal LLM
内容：本文提出端到端的任意到任意多模态大模型NExT‑GPT，依托ImageBind等预训练编码器完成多模态输入编码，借助分组机制将块级特征聚合为概念特征后通过输入投影对齐至Vicuna大语言模型特征空间，LLM除输出文本外还生成模态信号令牌，再经输出投影映射至预训练图像、视频、音频扩散解码器以完成多模态生成，仅微调约1%的投影层参数，依次执行编码侧对齐、解码侧对齐，再利用LoRA结合手动构建的MosIT模态切换指令数据集开展指令调优，在图像、视频、音频的理解与生成任务上和多种主流多模态模型开展定量对比并进行人工评估与消融实验，验证该端到端架构相比流水线式方案可减少中间文本传递带来的噪声，在跨模态理解与多模态内容生成上具备更优效果。
StyleFlow For Content-Fixed Image to Image Translation
内容：本文将图像到图像翻译按照内容保留程度划分为强约束、普通约束、弱约束三类任务，提出基于归一化流的可逆网络StyleFlow，依托GLOW架构搭建由挤压模块、Flow模块、SAN感知风格归一化模块组成的网络，利用前向通路将源图像映射至特征空间，SAN模块借助源图像与目标风格特征生成内容引导仿射参数完成保内容特征变换，再经反向可逆变换重建图像，使用预训练VGG‑19提取特征，联合内容损失、对齐风格损失与平滑损失开展无配对数据训练，支持图像引导、多模态、多域图像翻译，在风格迁移、仿真转真实等强、普通约束任务上，通过定性可视化与SSIM、FID、KID定量指标同AdaIN、CycleGAN、DRIT++等主流方法对比，并开展消融实验验证SAN模块与各损失项的有效性，该方法在强约束与普通约束任务内容保留上表现更优，但对弱约束翻译效果有限。
扫描下方二维码，回复「数据融合」
免费获取全部论文合集及项目代码
