如何构建更强大灵活的深度学习模型？多尺度卷积与注意力机制的融合提供了先进方案。
多尺度卷积提取丰富特征，注意力机制精准筛选关键信息，二者协同既能提升识别精度与效率，又增强模型可解释性。例如，基于多尺度注意力网络（MSAN）的轨道电路故障诊断方法，以99.36%的准确率超越SOTA，登上Nature子刊。这一组合在图像分类、目标检测等任务中表现优异，创新空间广阔。
为助力论文创作，特精选10篇最新相关论文，提炼创新思路，供参考借鉴。
Multi-scale Attention Network for Single Image Super-Resolution
关键词: 单图像超分辨率, 多尺度大核注意力, 门控空间注意力单元, 卷积神经网络
研究方法
本文针对单图像超分辨率任务中无法兼顾大感受野与低计算资源的具体问题，提出了一款名为MAN（Multi-scale Attention Network）的模型。该模型以多尺度大核注意力（MLKA）结合门控空间注意力（GSAU）为核心工作架构，通过在不同粒度级别聚合全局与局部信息，成功在轻量级计算下实现了极具统治力的高清图像细节重建。
论文创新点
-
构建了多尺度大核注意力模块（MLKA），实现了不同感受野尺度下全局与局部信息的自适应聚合。 -
创新地引入了门控机制与大核分解技术，解决了常规空洞卷积在图像重建时容易引发的网格伪影问题。 -
通过大核分解与多尺度结合方法，将全局特征捕捉的复杂度从传统自注意力的O(N²)降低到O(N)。 -
首次将门控空间注意力与前馈网络深度结合，验证了在削减庞大参数量的同时依然能保持极高空间特征保真度的可行性。
论文链接: https://arxiv.org/abs/2209.14145v3
MPARN: multi-scale path attention residual network for fault diagnosis of rotating machines
关键词: 旋转机械故障诊断, 多尺度路径注意力残差网络, 多尺度空洞卷积, 路径注意力模块
研究方法
本文针对旋转机械复杂工况下各类故障时间尺度不一、特征难以聚焦的具体问题，提出了一种名为MPARN（多尺度路径注意力残差网络）的解决方案。该模型的核心架构利用多尺度空洞卷积（MDC）构建并行路径，并在其后接续自研的路径注意力模块（PAM），动态校准不同时间尺度特征的权重，持续深入提取与故障高度相关的关键信息。
论文创新点
-
提出了一套级联的多尺度注意力残差块（MARB），实现了对多时间尺度特征的深度挖掘与平滑融合。 -
创新地设计了路径注意力模块（PAM），解决了不同卷积分支对特定故障特征贡献度不均的痛点。 -
通过并行多尺度空洞卷积方法，将大感受野多尺度特征提取的参数复杂度从常规的O(K²)降低到O(K)。 -
首次将路径级注意力选择机制与多尺度时序信号处理相结合，验证了其在电机和齿轮箱故障诊断任务中的卓越泛化能力。
论文链接: https://doi.org/10.1093/jcde/qwad031
