大数跨境
首页
>
极市直播预告｜ICCV2023-FLatten Transformer：简单高效的线性注意力模型
>
0
0

极市直播预告｜ICCV2023-FLatten Transformer：简单高效的线性注意力模型

极市直播预告｜ICCV2023-FLatten Transformer：简单高效的线性注意力模型 极市平台
2023-08-21
0
导读：本周四晚八点，不见不散！
↑ 点击蓝字 关注极市平台

|极市线上分享第121期 |

一直以来，为让大家更好地了解学界业界优秀的论文和工作，极市已邀请了超过100位技术大咖嘉宾，并完成了120 期极市线上直播分享。

往期分享请前往bbs.cvmart.net/topics/149或直接阅读原文，也欢迎各位小伙伴自荐或推荐更多优秀的技术嘉宾到极市进行技术分享，与大家一起交流学习~~

在Transformer模型应用于视觉领域的过程中，降低自注意力的计算复杂度是一个重要的研究方向。线性注意力通过两个独立的映射函数来近似Softmax操作，具有线性复杂度，能够很好地解决视觉Transformer计算量过大的问题。然而，目前的线性注意力方法要么性能明显不如Softmax注意力，要么引入了过多的额外计算量导致模型推理速度很慢，难以实际应用。
本次分享我们邀请到了清华大学自动化系博士生韩东辰，为大家详细介绍他们的工作：
FLatten Transformer: Vision Transformer using Focused Linear Attention（ICCV2023）
“为了解决这一问题，我们首先从聚焦能力和特征多样性两个角度分析了现有线性注意力方法的缺陷，进而设计了简单有效的改进措施，最终提出了一个全新的聚焦的线性注意力模块。我们基于DeiT、PVT、PVT-v2、Swin Transformer、CSwin Transformer等模型架构实现了我们的方法。分类、检测和分割实验证明，我们的方法同时具有高效性和很强的模型表达能力，能够取得显著的性能提升。”

01

直播信息

时间

2023年8月24日（周四）：20:00-21:00


主题

FLatten Transformer：简单高效的线性注意力模型
直播

B站也将同步进行

http://live.bilibili.com/3344545

02

嘉宾介绍

韩东辰

清华大学自动化系博士生，指导老师为黄高副教授。研究方向为计算机视觉，包括模型结构设计、轻量化视觉模型等。


03

关于分享

➤分享大纲

1. Softmax Attention和Linear Attention回顾

2. Linear Attention聚焦能力的缺失

3. Linear Attention特征多样性的坍缩

4. 聚焦的线性注意力机制

➤论文

FLatten Transformer: Vision Transformer using Focused Linear Attention（ICCV2023）

论文地址：

https://arxiv.org/pdf/2308.00442

代码地址：

https://github.com/LeapLabTHU/FLatten-Transformer

04

参与方式

05

往期回顾

极市平台专注分享计算机视觉前沿资讯和技术干货，特邀请行业内专业牛人嘉宾为大家分享视觉领域内的干货及经验，目前已成功举办120期线上分享。近期在线分享可点击以下标题查看：


更多往期分享请浏览：极市计算机视觉技术分享集锦

（http://bbs.cvmart.net/topics/149/cvshare），也可以点击阅读原文获取。

【声明】内容源于网络
0
0
极市平台
为计算机视觉开发者提供全流程算法开发训练平台，以及大咖技术分享、社区交流、竞赛实践等丰富的内容与服务。
内容 8155
粉丝 0
极市平台 为计算机视觉开发者提供全流程算法开发训练平台，以及大咖技术分享、社区交流、竞赛实践等丰富的内容与服务。
总阅读7.6k
粉丝0
内容8.2k