大数跨境

聚焦低精度计算创新,共探大模型高效落地路径——GCC-HiFloat社区在成都CNCC 2026举行低精度计算论坛

聚焦低精度计算创新,共探大模型高效落地路径——GCC-HiFloat社区在成都CNCC 2026举行低精度计算论坛 全球计算联盟GCC
2026-10-23
2
导读:欢迎持续关注GCC-HiFloat社区



GCC NEWS






2026年10月22日,GCC-HiFloat社区在CNCC 2026举办低精度计算论坛。来自高校、科研院所及企业的专家围绕低精度数值机理、数据格式、模型量化与软硬件协同优化分享研究成果和实践经验,探讨大模型训练与推理的效率提升路径。

华南理工大学陆璐教授分享《低精度量化算子开发与性能优化》,以低精度矩阵乘和FlashAttention为例,剖析缩放因子、访存及同步开销带来的瓶颈。他指出,降低位宽后,非矩阵计算开销更加突出,应通过性能建模、消融分析与流水优化定位瓶颈,并推动硬件资源配比协同改进。
复旦大学尚笠教授作《大模型数值精度:机理与瓶颈》报告,从谱各向异性出发,分析量化对长尾信息和任务敏感方向的影响,介绍Metis与Averis等方法。他强调,整体量化误差不足以衡量模型损伤,需关注系统性偏差及误差方向,保护弱谱信息,探索无损低精度学习。
中国科学院自动化研究所王培松研究员作《大模型量化压缩与高效部署》报告,介绍逐层旋转校准、分块FP4量化、多模态混合精度及自适应卸载等成果。他指出,压缩方法应适配数据分布与硬件特性,在保持模型精度的同时进一步关注推理行为,通过算法、算子与硬件协同提升部署效率。
南京大学鲁金铭研究员就《面向AI计算的低精度数据格式演进与软硬件协同优化》做出分享,梳理从通用浮点到层次化缩放格式的演进,分享分段整数、对数块浮点及查表计算等探索。他强调,应统筹编码空间、缩放粒度与数据分布,联合优化格式、算法、编译和架构,将位宽优势转化为系统能效。
上海交通大学冷静文教授作《极低比特大模型推理:从数值表示到高效执行》报告,介绍自适应数值格式、元数据补偿与真实硬件数值仿真等研究。他指出,解码与预填充需分别应对访存和计算瓶颈,量化评估还应对齐硬件累加、舍入及归约行为,以格式与执行协同支撑极低比特推理。
香港理工大学秦浩桐就《迈向极致低精度的基础模型:从数值、张量到时序》展开分享,从数值量化、张量压缩与时序复用三个维度介绍研究进展,分享2比特量化、分阶段视频量化及特征复用等方法。他提出,应保留关键信息、压缩冗余表示并减少重复计算,兼顾模型能力与实际加速。
华为技术有限公司李思坦作《HiFloat数据格式与实践案例》报告,介绍HiF8锥形精度、HiF4三级共享缩放及训练推理实践。他指出,合理缩放是发挥格式优势的关键,结合算子融合与连续低精度数据流,可减少格式转换和数据搬运开销,推动优化从单算子加速走向整网性能提升。
本次论坛集中呈现了低精度计算从数值理论、格式设计到工程部署的多层次探索,为产学研交流提供了平台。各项报告表明,低精度计算的持续发展需要兼顾信息保真与执行效率,通过软硬件协同,将更低位宽转化为可验证的性能与能效收益。
扫码访问HiFloat社区官网



如希望进一步了解或参与GCC-HiFloat社区后续技术研讨、标准共建、产业联创及生态合作活动,欢迎联系:gcc_hifloat@gccorg.com
拓展阅读

【声明】内容源于网络
0
0
全球计算联盟GCC
全球计算联盟(Global Computing Consortium简称“GCC”)是由计算领域的技术提供者、生产商、系统集成商、企业用户、科研院所等共同发起,致力于推动计算产业开放创新,构筑强健繁荣的生态,支撑数智社会可持续发展。
内容 374
粉丝 0
全球计算联盟GCC 全球计算联盟(Global Computing Consortium简称“GCC”)是由计算领域的技术提供者、生产商、系统集成商、企业用户、科研院所等共同发起,致力于推动计算产业开放创新,构筑强健繁荣的生态,支撑数智社会可持续发展。
总阅读3.6k
粉丝0
内容374