“Mamba+小波变换”正成为计算机视觉和遥感领域的前沿热点。该方向通过小波变换的多尺度特征提取能力与Mamba模型高效的长序列建模优势互补,在图像重建、分类等任务中展现出显著潜力,近期在IEEE TGRS、CVPR等顶会顶刊上成果频出,正值研究活跃期。
其核心在于利用小波变换将数据分解为不同频率的子带(如低频轮廓与高频细节),再由Mamba模块分别进行针对性建模,实现更精准的全局与局部信息捕获。相关工作如用于时空预测的WaveST-Mamba、用于高光谱图像处理的WD-SSMamba等,均是这一思路的体现。
对于希望切入的研究者,可沿以下路径探索:追求快速验证可从架构创新入手,设计新的融合机制;追求理论深度可分析其频域建模原理;也可通过复现改进现有工作(如CVPR‘25的MobileMamba)来寻找突破。建议精读近半年顶会论文,把握其技术演进脉络。
论文一:(CVPR 2025) MobileMamba: Lightweight Multi-Receptive Visual Mamba Network
关键词: Lightweight, Visual Mamba, Wavelet Transform, Multi-Receptive Field, Image Classification
研究方法:
针对现有轻量级模型在长距离依赖建模与推理速度之间难以兼顾的具体问题,论文提出了名为MobileMamba的轻量级网络解决方案。其核心工作原理在于设计了一个高效的“多感受野特征交互(MRFFI)”模块。该模块并没有简单地堆叠层数,而是巧妙地将输入特征在通道维度一分为三:第一部分通过长距离小波变换增强Mamba(WTE-Mamba),利用小波变换提取高频细节并结合Mamba进行全局建模;第二部分采用多核深度卷积(MK-DeConv)捕捉多尺度的局部感受野;第三部分则保留恒等映射以减少冗余。最终,通过这种三路并行处理,模型在保持低计算量的同时,实现了对全局语义和局部纹理的全面捕捉。
论文创新点:
-
构建了MobileMamba轻量级三阶段网络框架,实现了在同等FLOPs下比现有CNN和ViT模型更高的准确率与推理速度。 -
创新地引入了多感受野特征交互(MRFFI)模块,解决了单一Mamba结构难以同时兼顾全局信息与高频边缘细节提取的问题。 -
通过引入小波变换与Mamba结合的机制,将捕捉全局依赖的计算效率大幅提升,推理速度比LocalVim快21倍。 -
首次将多核深度卷积与视觉Mamba机制并行结合,验证了混合感受野设计在轻量级视觉任务中的卓越有效性。
论文链接: https://arxiv.org/pdf/2411.15941v1.pdf
论文二:(ICCV 2025) WaveMamba: Wavelet-Driven Mamba Fusion for RGB-Infrared Object Detection
关键词: Object Detection, Mamba, Wavelet Transform, Multi-modal Fusion, RGB-IR
研究方法:
针对RGB与红外(IR)图像在特征融合时难以有效利用互补频率特性(RGB富含高频纹理,IR富含低频轮廓)的具体问题,论文提出了名为WaveMamba的跨模态融合检测网络。其核心架构利用离散小波变换(DWT)将图像分解为不同频带。随后,通过核心组件WaveMamba融合块(WMFB)进行处理:对于低频分量,设计了低频Mamba融合块(LMFB),利用Mamba的线性序列建模能力进行深层交互与门控选择;对于高频分量,则采用高频增强(HFE)策略保留显著细节。最后,改进的检测头利用逆小波变换(IDWT)无损还原特征,从而在极低的计算成本下实现了高质量的多模态特征融合。
论文创新点:
-
提出了基于小波驱动的WaveMamba融合框架,实现了对RGB与红外模态在频域上的互补特性进行精确解耦与高效融合。 -
创新地设计了低频Mamba融合块(LMFB),解决了传统CNN融合方法在低频全局信息交互上感受野受限的问题。 -
通过高频增强策略与逆小波变换检测头,将多模态融合中的信息丢失降至最低,平均mAP提升了4.5%。 -
首次将Mamba架构应用于多模态频域特征融合,验证了其在处理异构模态低频结构信息时的天然优势。
论文链接: https://arxiv.org/pdf/2507.18173v1.pdf
一区Top期刊 Information Sciences 惨遭除名,2025中科院最新分区揭晓!
视觉Transformer(Vision Transformer, ViT) :全面超越CNN,看懂这篇文章就没什么能难倒你了!
无论你是研究哪个方向的,都可以找到志同道合的伙伴
添加好友后将拉你进相应微信群。
📌 添加方式:
扫描下方二维码,或搜索微信号:aiqysd
📩 添加好友时请务必备注信息,格式如下:
研究方向 + 学校/公司 + 学历 + 姓名
❗非常重要:
发送好友验证时,必须填写备注信息,示例如下:
👉 目标检测 + 中科大 + 研一 + 陈奕迅
凡格式不对者,一律不予理睬
我们期待你的加入,一起交流、学习、进步!
部分资料展示👇
确保文章为个人原创,未在任何公开渠道发布。若文章已在其他平台发表或即将发表,请明确说明。
建议使用Markdown格式撰写稿件,并以附件形式发送清晰、无版权争议的配图。
【AI前沿速递】尊重作者的署名权,并为每篇被采纳的原创首发稿件提供具有市场竞争力的稿酬。稿酬将根据文章的阅读量和质量进行阶梯式结算。
您可以通过添加我们的小助理微信(aiqysd)进行快速投稿。请在添加时备注“投稿-姓名-学校-研究方向”
长按添加AI前沿速递小助理

