|极市线上分享第131期 |
一直以来，为让大家更好地了解学界业界优秀的论文和工作，极市已邀请了超过100位技术大咖嘉宾，并完成了130 期极市线上直播分享。
往期分享请前往bbs.cvmart.net/topics/149或直接阅读原文，也欢迎各位小伙伴自荐或推荐更多优秀的技术嘉宾到极市进行技术分享，与大家一起交流学习~~
本次分享我们邀请到了新加坡国立大学博士生秦紫恒，为大家详细介绍他们中稿ICLR 2024 Oral的工作：
InfoBatch:Lossless Training Speed Up by Unbiased Dynamic Data Pruning
论文地址：https://arxiv.org/abs/2303.04947
GitHub：https://github.com/NUS-HPC-AI-Lab/InfoBatch
随着深度学习的网络参数量和数据集规模增长，算力需求日益增加，如何节省训练成本正在成为逐渐凸显的需求。现有的数据集压缩方法大多开销较高，且难以在达到无损的情况下获得可观的节省率；加权抽样的相关方法则对于模型和数据集的特点较为敏感且依赖于重复抽样假设，在实际应用中难以和已完成调参的学习率调整策略结合。两种从数据角度出发的方法在实践中很难真正帮助节省计算。
在本篇工作中，研究者从数据迭代这个角度切入进行了研究。长久以来，数据集的迭代方式大都采用随机迭代。对此，作者提出了InfoBatch框架，根据网络对样本的拟合情况进行动态剪枝采样的方法，并利用重缩放（rescaling）来维持剪枝后的梯度更新（Gradient Update）期望，以此在性能无损的情况下提高训练效率，加快训练速度。
在CIFAR10/100（ResNet,分类）、ImageNet-1K（ResNet/ViT,分类）和ADE20K（UperNet,语义分割）上，InfoBatch无损节省了40%的总开销（时间和计算）；在检测任务上（YOLOv8），InfoBatch无损节省了30%；对于MAE预训练(ViT)和FFHQ图片生成（Latent Diffusion）, InfoBatch分别节省了24.8%和27%的开销。在LLaMA的指令微调上, InfoBatch成功在静态压缩方法DQ[1]的基础上额外节省了20%开销，总开销为原始的8%，并且和LoRA兼容。目前，已有多家头部云计算服务公司与尤洋团队进行交流。
时间
2024年4月29日（周一）：20:00-21:00
主题
InfoBatch：无损数据集动态剪枝加速（ICLR'24 Oral）
http://live.bilibili.com/3344545
秦紫恒
新加坡国立大学博士生，指导老师为尤洋教授。研究方向为深度学习加速，包括数据迭代加速，数据集压缩/清洗，集群优化算法，通信优化算法等。更多信息可见领英主页：https://www.linkedin.com/in/ziheng-qin-635551184/。
1.研究动机：神经网络和人类学习的差异和启发
2.数据剪枝的背景知识
3.现有数据剪枝的问题，和InfoBatch的解决方案
4.实验效果和分析
5.方法局限和后续工作的探讨
极市平台专注分享计算机视觉前沿资讯和技术干货，特邀请行业内专业牛人嘉宾为大家分享视觉领域内的干货及经验，目前已成功举办130期线上分享。近期在线分享可点击以下合集查看：
更多往期分享请浏览：极市计算机视觉技术分享集锦
（http://bbs.cvmart.net/topics/149/cvshare），也可以点击阅读原文获取。
