多模态交互与注意力机制的深度融合,是当前多模态大模型突破性能瓶颈的核心技术路径,在跨模态对齐、长上下文理解、多模态生成等核心任务中进展迅猛。
本文整理了10篇多模态结合注意力机制的最新前沿论文,正在做相关课题的伙伴可以直接下方领取论文及代码(部分包含),搭基线、找改进点、扩实验方向都能直接用上。
长按识别下方二维码,回复【多模态注意】
无偿领全部论文合集及项目代码
Decoupled Multimodal Fusion for User Interest Modeling in Click-Through Rate Prediction
面向点击率预测用户兴趣建模的解耦多模态融合方法
文章内容
针对工业推荐系统中ID特征与多模态表征独立建模、难以捕捉行为语义细粒度交互,且目标感知特征计算冗余度高的问题,提出DMF解耦多模态融合框架。设计解耦目标注意力DTA,通过离散化嵌入查表复用目标无关组件,在1200候选集场景下QPS达早期融合的3倍;搭配互补模态建模CMM融合两条路径,平衡语义泛化与行为个性化。该方法已上线Lazada商品推荐系统,CTCVR提升5.30%,GMV提升7.43%。
4D-ACFNet: A 4D Attention Mechanism-Based Prognostic Framework for Colorectal Cancer Liver Metastasis Integrating Multimodal Spatiotemporal Features
融合多模态时空特征的结直肠癌肝转移预后4D注意力框架
文章内容
针对结直肠癌肝转移术后预后预测精度不足、静态模型无法捕捉肝再生与微环境动态演变的问题,提出4D-ACFNet多模态时空联合建模框架。采用时空可分离卷积与虚拟时间戳构建4D时空注意力机制,参数量减少41%;通过Transformer层联合优化模态对齐与去纠缠损失,抑制临床-影像数据尺度失配;结合动态预后决策模块生成个体化复发风险热力图。在197例患者数据集上时空邻接准确率达100%,性能显著优于现有方法。
Integrating Biological and Machine Intelligence: Attention Mechanisms in Brain-Computer Interfaces
融合生物智能与机器智能:脑机接口中的注意力机制
文章内容
针对脑电信号复杂度高、多模态信息融合难的痛点,系统综述注意力机制在脑机接口领域的研究进展。将现有方法分为传统通道、时域、频域注意力与Transformer多头自注意力两大类别,梳理其嵌入策略与典型应用场景,重点分析注意力机制在EEG与其他生理/感知数据多模态融合中的核心作用,总结当前模型泛化性不足、计算复杂度高等挑战,展望轻量化、生理适配型注意力模型及临床、康复等多领域应用方向。
↓↓听说在下方一键三连的都Accept了🌝

