大数跨境
首页
>
极市直播预告｜ICCV 2023-DiffRate：Vision Transformer中的可微分token压缩率
>
0
0

极市直播预告｜ICCV 2023-DiffRate：Vision Transformer中的可微分token压缩率

极市直播预告｜ICCV 2023-DiffRate：Vision Transformer中的可微分token压缩率 极市平台
2023-09-25
0
导读：本周三晚八点，不见不散！
↑ 点击蓝字 关注极市平台

|极市线上分享第123期 |

一直以来，为让大家更好地了解学界业界优秀的论文和工作，极市已邀请了超过100位技术大咖嘉宾，并完成了122 期极市线上直播分享。

往期分享请前往bbs.cvmart.net/topics/149或直接阅读原文，也欢迎各位小伙伴自荐或推荐更多优秀的技术嘉宾到极市进行技术分享，与大家一起交流学习~~

Vision Transformer的计算复杂度与token数目的平方成正比。因此，压缩推理时的token数目是一种直接且有效的压缩手段。但是，现如今的token压缩方法都将token压缩率视为人工设定的超参，这往往导致较差的性能。
本次分享我们邀请到了上海人工智能实验室通用视觉中心（OpenGVLab）见习研究员，厦门大学研究生陈锰钊，为大家详细介绍他们的工作：
DiffRate : Differentiable Compression Rate for Efficient Vision Transformers
“在这个工作中，我们首先构建了一个统一的token压缩框架，其整合了现有的两种token压缩方法：token pruning和token merging。进一步的，我们通过对不可微的token压缩率进行重参数，将其转换为可微分的对象。基于所提出统一token压缩框架和可微分token压缩率，我们可以很自然的将token pruning和token merging结合，实现压缩后的模型无需fine-tuning也可保持很好的性能。”
ICCV 2023｜DiffRate：首个压缩率可微分Token压缩，无需fine-tuning性能超越ToMe

01

直播信息

时间

2023年9月27日（周三）：20:00-21:00


主题

Vision Transformer中的可微分token压缩率
直播

B站也将同步进行

http://live.bilibili.com/3344545

02

嘉宾介绍

陈锰钊

上海人工智能实验室通用视觉中心（OpenGVLab）见习研究员，厦门大学硕士生，DiffRate 合作者为上海人工智能实验室邵文琪博士，在校指导老师为纪荣嵘教授。研究方向为模型压缩，包括模型剪枝，模型量化等。在ICCV，IJCV等顶级期刊和会议上已发表3篇论文。
更多信息见个人主页：https://chenmnz.github.io/


03

关于分享

➤分享大纲

1.Vision Transformer中的token压缩介绍

2.DiffRate的原理，实现和结果

➤论文

DiffRate : Differentiable Compression Rate for Efficient Vision Transformers

论文地址：

https://arxiv.org/abs/2305.17997

代码地址：

https://github.com/OpenGVLab/DiffRate

04

参与方式

05

往期回顾

极市平台专注分享计算机视觉前沿资讯和技术干货，特邀请行业内专业牛人嘉宾为大家分享视觉领域内的干货及经验，目前已成功举办120期线上分享。近期在线分享可点击以下标题查看：


更多往期分享请浏览：极市计算机视觉技术分享集锦

（http://bbs.cvmart.net/topics/149/cvshare），也可以点击阅读原文获取。

【声明】内容源于网络
0
0
极市平台
为计算机视觉开发者提供全流程算法开发训练平台，以及大咖技术分享、社区交流、竞赛实践等丰富的内容与服务。
内容 8155
粉丝 0
极市平台 为计算机视觉开发者提供全流程算法开发训练平台，以及大咖技术分享、社区交流、竞赛实践等丰富的内容与服务。
总阅读919
粉丝0
内容8.2k