大数跨境
首页
>
极市直播预告｜田柯宇：卷积网络上如何做BERT/MAE预训练，ResNet也能用
>
0
0

极市直播预告｜田柯宇：卷积网络上如何做BERT/MAE预训练，ResNet也能用

极市直播预告｜田柯宇：卷积网络上如何做BERT/MAE预训练，ResNet也能用 极市平台
2023-03-20
1
导读：后台回复“109”可获取免费直播链接～
↑ 点击蓝字 关注极市平台

|极市线上分享第109期 |

一直以来，为让大家更好地了解学界业界优秀的论文和工作，极市已邀请了超过100位技术大咖嘉宾，并完成了108期极市线上直播分享。

往期分享请前往bbs.cvmart.net/topics/149或直接阅读原文，也欢迎各位小伙伴自荐或推荐更多优秀的技术嘉宾到极市进行技术分享，与大家一起交流学习~~

复刻 NLP 领域 GPT/BERT这套范式的成功是视觉领域的一大时代愿景。目前已有工作例如 BEiT/MAE 验证了 BERT/Masked Modeling 预训练算法可以很自然地从 NLP Transformer 迁移到 Vision Transformer，但如何再迁移到卷积网络 CNN 上仍是一个未解难题。
本次分享我们邀请到了北京大学研究生田柯宇，为大家介绍他们ICLR 2023上的工作：
Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling
这是自 2016 inpainting-based 自监督工作出现以来，首次在卷积模型上做成功的 BERT/MAE 形式的自监督预训练。SparK 适用于包括 ResNet 在内的任何 CNN 模型，对下游性能实现跨模型尺寸级别的提升，并显著超对比学习、超 Swin-Transformer，初步展现了 BERT/MAE 在卷积网络上的巨大潜力。
PS：本次分享对没做过预训练但对想了解BERT/MAE的同学们也会很友好，另有简要的代码解读～
下面是一份更详细的解读文章：

ICLR Spotlight｜卷积网络上的首个BERT/MAE预训练，ResNet也能用

01

直播信息

时间

2023年3月22日（周三）：20:00-21:00


主题

ICLR’2023 Spotlight: SparK

在卷积网络上做成功BERT/MAE预训练

02

嘉宾介绍

田柯宇

北京大学研究生一年级，导师王立威教授，研究方向为深度学习的优化与算法。自 2019 年起开始研究性实习，包括超参数优化、强化学习算法、自监督算法。多次一作在 NeurIPS/ICLR 等会议发表论文，并担任NeurIPS/ICML/ICLR/CVPR 等审稿人。


03

关于分享

➤分享大纲

1、 BERT/MAE 预训练的时代背景

2、 直接在卷积网络上使用 BERT/MAE的失败原因

3、 所提的解决方案 SparK: 

Sparse and hierarchical masKed modeling

4、 下游任务性能和可视化效果

5、 讨论FAQ，例如和 MAE/ConvNextV2 的关系

6、 简要代码解读


➤论文

Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling
论文地址：https://arxiv.org/abs/2301.03580
代码地址：https://github.com/keyu-tian/SparK

04

参与方式

关注“极市平台”公众号，回复“109”可获取免费直播链接。

04

往期回顾

极市平台专注分享计算机视觉前沿资讯和技术干货，特邀请行业内专业牛人嘉宾为大家分享视觉领域内的干货及经验，目前已成功举办108期线上分享。近期在线分享可点击以下标题查看：


更多往期分享请浏览：极市计算机视觉技术分享集锦

（http://bbs.cvmart.net/topics/149/cvshare），也可以点击阅读原文获取。

# CV技术社群邀请函 #

△长按添加极市小助手
添加极市小助手微信（ID : cvmart4）

备注：姓名-学校/公司-研究方向-城市（如：小极-北大-目标检测-深圳）


即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群


每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~


觉得有用麻烦给个在看啦~  

【声明】内容源于网络
0
0
极市平台
为计算机视觉开发者提供全流程算法开发训练平台，以及大咖技术分享、社区交流、竞赛实践等丰富的内容与服务。
内容 8155
粉丝 0
极市平台 为计算机视觉开发者提供全流程算法开发训练平台，以及大咖技术分享、社区交流、竞赛实践等丰富的内容与服务。
总阅读16.8k
粉丝0
内容8.2k