极市直播预告｜NUS尤洋团队同MIT、上海AI Lab等提出首个无损数据集蒸馏方法（ICLR 2024）

极市平台

2024-05-07

导读：周四晚八点，不见不散！

↑ 点击蓝字关注极市平台

|极市线上分享第132期 |

一直以来，为让大家更好地了解学界业界优秀的论文和工作，极市已邀请了超过100位技术大咖嘉宾，并完成了131 期极市线上直播分享。

往期分享请前往bbs.cvmart.net/topics/149或直接阅读原文，也欢迎各位小伙伴自荐或推荐更多优秀的技术嘉宾到极市进行技术分享，与大家一起交流学习~~

本次分享我们邀请到了西安电子科技大学硕士研究生郭子尧，为大家详细介绍他们中稿ICLR 2024的工作：

Towards Lossless Dataset Distillation via Difficulty-Aligned Trajectory Matching

论文地址：https://arxiv.org/abs/2310.05773

代码地址：https:// gzyaftermath.github.io/DATM/

随着深度学习的发展，模型训练所需数据量与日俱增；如何减少冗余数据，降低模型训练成本正在成为逐渐凸显的需求。作为一种数据集压缩方法，数据集蒸馏旨在以生成的方式将一个大的数据集压缩成一个小的数据集。得益于生成数据的高信息密度，在压缩率较高时，数据集蒸馏的效果远超数据集剪枝等其他数据压缩方法。然而，随着压缩率的逐渐降低，现有数据集蒸馏方法的效果逐渐变差，甚至弱于从原数据集中随机选取等量数据。这导致现有数据集蒸馏方法局限于高压缩率场景，无法实现对原数据集的无损压缩。

在本篇工作中，作者分析了生成数据的难易以及其对压缩效果的影响，发现应该根据压缩比率控制生成数据的难易。通过应用这一策略，作者提出了第一个可以在低压缩率保持有效的数据集蒸馏方法，并首次实现了无损数据集蒸馏，成功将CIFAR10/100数据集压缩到了1/5大小，Tiny ImageNet压缩到了1/10大小而不降低训练所得模型的性能。

直播信息

时间

2024年5月9日（周四）：20:00-21:00

主题

首个无损数据集蒸馏方法（ICLR 2024）

直播

B站也将同步进行

http://live.bilibili.com/3344545

嘉宾介绍