本次分享我们邀请到了新加坡国立大学博士生秦紫恒，为大家详细介绍他们中稿ICLR 2024 Oral的工作：
InfoBatch:Lossless Training Speed Up by Unbiased Dynamic Data Pruning
论文地址：https://arxiv.org/abs/2303.04947
GitHub：https://github.com/NUS-HPC-AI-Lab/InfoBatch
随着深度学习的网络参数量和数据集规模增长，算力需求日益增加，如何节省训练成本正在成为逐渐凸显的需求。现有的数据集压缩方法大多开销较高，且难以在达到无损的情况下获得可观的节省率；加权抽样的相关方法则对于模型和数据集的特点较为敏感且依赖于重复抽样假设，在实际应用中难以和已完成调参的学习率调整策略结合。两种从数据角度出发的方法在实践中很难真正帮助节省计算。
在本篇工作中，研究者从数据迭代这个角度切入进行了研究。长久以来，数据集的迭代方式大都采用随机迭代。对此，作者提出了InfoBatch框架，根据网络对样本的拟合情况进行动态剪枝采样的方法，并利用重缩放（rescaling）来维持剪枝后的梯度更新（Gradient Update）期望，以此在性能无损的情况下提高训练效率，加快训练速度。
在CIFAR10/100（ResNet,分类）、ImageNet-1K（ResNet/ViT,分类）和ADE20K（UperNet,语义分割）上，InfoBatch无损节省了40%的总开销（时间和计算）；在检测任务上（YOLOv8），InfoBatch无损节省了30%；对于MAE预训练(ViT)和FFHQ图片生成（Latent Diffusion）, InfoBatch分别节省了24.8%和27%的开销。在LLaMA的指令微调上, InfoBatch成功在静态压缩方法DQ[1]的基础上额外节省了20%开销，总开销为原始的8%，并且和LoRA兼容。目前，已有多家头部云计算服务公司与尤洋团队进行交流。
➤回放视频在这里☟
https://www.bilibili.com/video/BV1Mi421C7m5/
➤PPT内容截图（后台回复“极市直播”或点击阅读原文即可获取PPT）
B站：http://space.bilibili.com/85300886#!/
腾讯视频：http://v.qq.com/vplus/8be9a676d97c74ede37163dd964d600c
极市平台专注分享计算机视觉前沿资讯和技术干货，特邀请行业内专业牛人嘉宾为大家分享视觉领域内的干货及经验，目前已成功举办130期线上分享。近期在线分享可点击以下合集查看：
- 极市直播合集
（http://bbs.cvmart.net/topics/149/cvshare），也可以点击阅读原文获取。
备注：姓名-学校/公司-研究方向-城市（如：小极-北大-目标检测-深圳）
即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群
每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~
觉得有用麻烦给个在看啦~ 
