极市直播回放第109期丨田柯宇：卷积网络上如何做BERT/MAE预训练，ResNet也能用

极市平台

2023-03-29

导读：附PPT下载地址

↑ 点击蓝字关注极市平台

复刻 NLP 领域 GPT/BERT这套范式的成功是视觉领域的一大时代愿景。目前已有工作例如 BEiT/MAE 验证了 BERT/Masked Modeling 预训练算法可以很自然地从 NLP Transformer 迁移到 Vision Transformer，但如何再迁移到卷积网络 CNN 上仍是一个未解难题。

本次分享我们邀请到了北京大学研究生田柯宇，为大家介绍他们ICLR 2023上的工作：

Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling

这是自 2016 inpainting-based 自监督工作出现以来，首次在卷积模型上做成功的 BERT/MAE 形式的自监督预训练。SparK 适用于包括 ResNet 在内的任何 CNN 模型，对下游性能实现跨模型尺寸级别的提升，并显著超对比学习、超 Swin-Transformer，初步展现了 BERT/MAE 在卷积网络上的巨大潜力。

PS：本次分享对没做过预训练但对想了解BERT/MAE的同学们也会很友好，另有简要的代码解读～

下面是一份更详细的解读文章：

ICLR Spotlight｜卷积网络上的首个BERT/MAE预训练，ResNet也能用

后台回复“极市直播”或点击阅读原文即可获取PPT

➤详情传送门

极市直播预告｜田柯宇：卷积网络上如何做BERT/MAE预训练，ResNet也能用

➤论文

Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling

论文地址：https://arxiv.org/abs/2301.03580

代码地址：https://github.com/keyu-tian/SparK

➤回放视频在这里☟

https://www.bilibili.com/video/BV1Da4y1T7mr/