大数跨境

华创论坛第4期 | 蒸馏中的自适应选择机制

华创论坛第4期 | 蒸馏中的自适应选择机制 中科厦门数据智能研究院
2026-10-09
4
导读:10月14日 20:00欢迎预约~




10月14日(周三) 20:00 

华创论坛第4期即将开播!




 | 直播信息



报告题目

蒸馏中的自适应选择机制


报告简介

在大模型时代,知识蒸馏已成为重要的模型压缩与知识迁移技术,并多次纳入主流大模型技术报告中。然而,目前对于知识蒸馏中学生模型能够更有效学习教师分布的成因仍不明确。

本次报告将主要汇报我们对于知识蒸馏过程中学生概率动态重分配机制的主要发现,提出困难集中和置信集中两种关键效应,随后通过引入α-β散度正则,实现两种效应的有效平衡。相关工发表于ICML 25 Oral (1%)/ICML 2026。



报告嘉宾

杨智勇

中国科学院大学副教授

博士生导师


特邀主持

杨传广

中国科学院计算技术研究所

副研究员

硕士生导师


讲座时间

2026年10月14日(周三)20:00-21:00


讲座环节及流程

◈讲座环节:

① 5 分钟主持人进行主题与嘉宾介绍

② 45分钟报告嘉宾讲座环节

③ 10分钟互动问答环节


◈讲座流程:

① 19:45 视频号上线,欢迎观众朋友提前进入直播间候场

② 20:00 主持人开场

③ 20:05 主讲嘉宾依次开始讲座,持续45min

注:【在讲座过程中欢迎观众朋友通过各直播平台进行提问工作人员将收集和整理问题 】

③ 20:50 主持人根据工作团队整理的问题与嘉宾进行问答互动,持续10min


讲座形式

视频号、B站、华秋开源硬件社区、

蔻享学术等

多平台同步直播


点击  预约  精彩不容错过!👇


直播海报


诚邀各界嘉宾

线上参会、扫码关注



「 智研院」公众号




研究院公众号二维码.jpg

获取最新的RISC-V资讯和活动动态,与我们一起探索科技前沿。



「 智研院」视频号




厦门研究院_视频号_二维码_长期有效.jpeg

关注「 开芯会」视频号

扫码预约观看直播




报告嘉宾

照片滤镜 1-扩图.jpg

杨智勇

中国科学院大学副教授,博士生导师,研究方向聚焦高效可信机器学习,在CCF-A类期刊及会议共发表论文70余篇,其中TPAMI 20余篇,ICML/NeurIPS 20余篇。先后获得:吴文俊人工智能青年科技奖、CCF优秀博士学位论文激励计划 (原CCF优博)、CSIG自然科学奖一等奖、吴文俊人工智能科技进步二等奖、ACM北京分会新星奖、中国科学院大学小米青年学者、首届百度AI全球华人新星百强、中国科学院百篇优博论文、百度奖学金全球20强等荣誉,并获得7项CCF-A类会议国际竞赛冠军,担任机器学习领域顶级会议ICLR资深领域主席(SAC)、ICML/NeurIPS领域主席(AC),Pattern Recognition/Information Fusion / Neural Networks等JCR 1区期刊编委(AE)。




主持嘉宾

主持-杨传广(jianbian).png

杨传广

中国科学院计算技术研究所副研究员、硕士生导师。中国人工智能学会青工委委员、中国计算机学会计算机视觉专委会委员。主要研究方向为面向视觉理解与生成的高效化人工智能(Efficient AI),重点研究知识蒸馏、量化、模型稀疏化、Cache等技术在视觉基座大模型的应用。已在TPAMI、CVPR、ICCV、NeurIPS、ICML、ICLR等CCF-A类期刊和会议发表论文30余篇,曾获中国科学院院长特别奖、CCF博士学位论文激励计划提名、人社部博新计划、计算所特助A和“新百星”等荣誉。主持国家自然科学基金面上、青C、中国科学院青年重点部署等项目。入选2026年斯坦福大学全球前2%顶尖科学家榜单。



欢迎提问
现征集您的问题

欢迎您在本公众号后台留言,我们将筛选、汇总所有问题,邀请报告嘉宾为您答疑解惑,也欢迎您在直播间与我们踊跃互动,期待并感谢您的参与。










END









【声明】内容源于网络
0
0
中科厦门数据智能研究院
中科(厦门)数据智能研究院最新科研进展、学术活动、动态信息。研究行业大数据平台、智能计算及自主可控相关技术,加强技术与应用融合,促进科研与产业相结合。传播科学,服务公众。
内容 137
粉丝 0
中科厦门数据智能研究院 中科(厦门)数据智能研究院最新科研进展、学术活动、动态信息。研究行业大数据平台、智能计算及自主可控相关技术,加强技术与应用融合,促进科研与产业相结合。传播科学,服务公众。
总阅读910
粉丝0
内容137