大数跨境

KAN爆火出圈!赋能Transformer全局建模,拿下顶刊重磅成果!

KAN爆火出圈!赋能Transformer全局建模,拿下顶刊重磅成果! AI因斯坦
2026-10-10
2

Transformer与KAN的融合,是破解传统Transformer中MLP层函数表达力不足、高维任务拟合效率低痛点的核心路径,在视觉理解、时序预测、物理建模等任务中进展迅猛。


本文整理了10篇两者结合的最新前沿论文,正在做相关课题的伙伴可以直接下方领取论文及代码(部分包含),搭基线、找改进点、扩实验方向都能直接用上。


长按识别下方二维码,回复【transkan】

无偿领全部论文合集及项目代码


Enhancing Hyperspectral Image Classification with Spectral–Spatial Convolutional FourierKAN Transformer

基于谱-空间卷积傅里叶KAN Transformer的高光谱图像分类增强方法


文章内容

针对高光谱图像分类中Transformer频域信息利用不足、传统MLP非线性表达能力有限的问题,提出S2CFKAT分类框架。设计混合卷积模块,结合3D卷积保留谱空连续性、2D卷积增强空间细节;提出傅里叶KAN Transformer架构,协同多头自注意力与可学习谱空激活函数,自适应融合长程依赖与判别性频率模式;构建双层傅里叶KAN块学习谱空特征的复杂非线性交互,搭配傅里叶空间分类头。在四个公开高光谱数据集上,小样本与非均衡场景下分类精度均优于现有SOTA模型,泛化能力突出。



An Improved Transformer-KAN Model for Soybean Mapping Based on Multi-Temporal Remote Sensing Data

基于多时相遥感数据的改进型Transformer-KAN大豆制图方法


文章内容

针对多时相大豆制图中传统Transformer对复杂非线性物候关系建模受限、训练稳定性不足的问题,提出改进型Transformer-KAN模型。引入时序位置编码、带相对位置偏置的多头自注意力与Pre-LayerNorm残差结构强化物候序列建模,用FastKAN替换传统MLP前馈网络增强非线性特征表达。在四个跨区域数据集上验证,总体精度与Kappa系数均优于基线模型,跨年度迁移性能稳定,可作为官方农业统计的空间显式补充。



Frequency Domain and Gradient-Spatial Multi-Scale Swin KANsformer for Remote Sensing Scene Classification

面向遥感场景分类的频域与梯度空间多尺度Swin KANsformer


文章内容

针对遥感场景分类中Transformer频域信息利用不充分、梯度结构先验建模不足、前馈网络表达能力有限的问题,提出FG-Swin KANsformer分类模型。设计DCT模块分解并自适应融合高低频分量,平衡纹理细节与全局结构;提出梯度空间特征提取模块,通过多尺度卷积与Sobel算子提取多尺度空间结构与边缘信息;将Swin Transformer块中的MLP替换为KAN增强非线性建模能力。在三个公开遥感数据集上,分类精度均优于现有主流CNN与Transformer模型。



↓↓听说在下方一键三连的都Accept了🌝

点点赞
点分享
点喜欢

【声明】内容源于网络
0
0
AI因斯坦
人工智能领域论文干货
内容 109
粉丝 0
AI因斯坦 人工智能领域论文干货
总阅读820
粉丝0
内容109