目前最先进的视觉自注意力模型 (Vision Transformer)通常需要先在超 大规模的图像或者视频数据集上进行预训练, 才能在相对较小的数据集上展示出卓越的性能。如何在不使用任何其他预训练模型或额外图像数据的情况下，从视频数据自身中有效地训练Vision Transformer，仍然是一个没有被解决的问题。与图像数据集相比，现有的视频数据集的规模相对更小，这进一步增加了直接在视频数据集上训练Vision Transformer的难度。
在本次分享中，我们邀请到了腾讯AI Lab研究员童湛，将主要介绍他们在这个问题上的探索工作：
VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training（NeurIPS 2022 Spotlight）
“其中，我们尝试利用掩码式自监督预训练的方式对Vision Transformer进行预训练。进一步地，我们设计了一种带有极高掩码比率的管道式掩码策略，并且提出了视频掩码自编码器（VideoMAE），释放Vision Transformer在视频理解相关任务上的强大表征能力。”
极市直播预告丨NeurIPS 2022 Spotlight-童湛：基于掩码和重建视频自监督预训练
➤论文
VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training（NeurIPS 2022 Spotlight）
论文链接：https://arxiv.org/abs/2203.12602
代码地址：https://github.com/MCG-NJU/VideoMAE
➤回放视频在这里☟
https://www.bilibili.com/video/BV1HP411K7nD
➤PPT内容截图（后台回复“极市直播”或点击阅读原文即可获取PPT）
B站：http://space.bilibili.com/85300886#!/
腾讯视频：http://v.qq.com/vplus/8be9a676d97c74ede37163dd964d600c
往期线上分享集锦：http://m6z.cn/6qIJzE（或直接阅读原文）
如果觉得有用，就请分享到朋友圈吧！
推荐阅读
备注：姓名-学校/公司-研究方向-城市（如：小极-北大-目标检测-深圳）
即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群
每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~
觉得有用麻烦给个在看啦~ 
