随着视频生成、多模态大模型和大语言模型规模持续扩大，模型部署面临显存占用高、推理速度慢、训练成本高等问题。低位宽计算正是破解这一难题的重要方向。GCC-HiFloat社区代表赵昀首先介绍了IEEE ICME低位宽大模型量化挑战赛的整体情况，随后7支获奖参赛队伍依次登台，展示了他们在HiFloat等方向上的探索成果。
GCC-HiFloat社区代表赵昀
HUST_YAO：让量化“看懂”扩散模型的不同时刻
HUST_YAO围绕Wan2.2-I2V模型的W4A4量化难题展开分享。他们的重点方案是Timestep-Aware SVDQuant-GPTQ：一方面利用SVDQuant中的低秩分支吸收异常激活值，另一方面将扩散模型的去噪过程划分为早期、中期和后期，为不同层、不同阶段搜索更合适的激活裁剪比例；在权重量化上，团队进一步用GPTQ降低4比特权重重构误差。
其创新点在于把“时间感知”引入视频扩散模型量化，使量化参数能够随生成过程动态适配。团队认为视频生成模型的量化不能只看整体统计，还要关注去噪阶段差异、模块敏感性以及视觉质量变化。
BITS PLEASE：用“平滑、旋转、校准”稳住4比特视频生成
BITS PLEASE将技术路线概括为四步：先用SmoothQuant做通道级平衡，减少异常值对量化范围的冲击；再通过Hadamard旋转把激活能量重新分布，让数据更容易被低比特表示；随后按时间步、CFG分支和高低噪声专家建立条件化校准表；最后使用HiFloat4完成W4A4推理。
实验显示，HiSQRot4在VBench多个指标上基本保持全精度质量，图像质量和主体一致性还实现了提升。他们认为，视频扩散模型的低比特量化必须显式处理时步变化、条件分支和噪声专家差异，单一全局量化范围难以支撑高质量视频生成。
LOW TEAM：保护关键边界层，HiF8模块化量化
基于这一发现，团队保留5个关键边界块为BF16位宽，将其余量化为W8A8 HiF8。队伍的创新点在于不追求“一刀切”地量化所有模块，而是识别最敏感的入口和出口模块进行保护，在效率和质量之间取得平衡。该PTQ方的实验结果案在四项VBench指标上与BF16基线相当或略优。团队也尝试了QAT，但单卡硬件条件下QAT并不一定优于PTQ，所以量化优化不仅是算法问题，也受硬件、训练策略和工程约束影响。
USTC-ZHASLAB：从“最大值校准”走向“尾部分布感知”
团队借鉴ViDiT-Q思路，将其适配到HiFloat4 W4A4场景中，并将传统的最大值校准替换为尾部分布感知的百分位校准。不让极少数异常值决定整个量化范围，而是让更多常见数值获得更细致的表示。该方法较好保留了图像质量和整体一致性，运动平滑度仅轻微下降。团队认为，低比特量化不能只追求压缩率，还要理解异常值来自哪里，以及哪些质量维度最容易被破坏。
PACMAN：SmoothQuant与MixQ双路径协同，守住异常通道
PACMAN团队针对Wan2.2-I2V-A14B提出W4A4推理量化方案。团队将大语言模型量化思路用在本次比赛：SmoothQuant负责进行全局通道平衡，把激活与权重的动态范围重新分配；MixQ则将少量异常通道单独保留在高位宽分支，其余大部分通道走W4A4计算。
团队的方案在多数VBench指标上相比原生HiFloat4参考方案提升约2个百分点，并将与FP16的差距控制在约2%至3.5%。他们认为，SmoothQuant适合解决整体范围问题，MixQ适合保护局部异常值，两者协同才能更有效应对W4A4量化的不同失效模式。
梯度消失了个寂寞：警惕“loss lies”，窗口最大值更稳
“梯度消失了个寂寞”团队聚焦HiF8 W8A8量化感知训练展开分享，关于训练过程中如何估计量化尺度，尤其是延迟缩放策略下避免当前激活峰值突然超过历史尺度而造成饱和截断。
团队比较了most_recent、exp_smooth、current scaling和max-window等多种amax估计策略，最终采用64步窗口最大值、500步BF16 warmup和更低学习率的组合方案。其创新点在于把“稳定尺度”和“训练动力学”作为联合设计目标，而不仅仅看训练损失，因此提出“Loss lies”的经验判断。最终方案在MMLU、HellaSwag、ARC-Challenge等任务上实现接近无损的HiF8 QAT表现。他们的参赛心得是，低位宽训练必须同时控制数值饱和、学习率和知识遗忘问题，单看loss很容易误判模型真实能力。
IFLYBITBRAIN：HiFloat8支撑14B视频生成模型低位宽训练
IFLYBITBRAIN团队带来了基于HiFloat8的Wan2.1 14B视频生成模型低位宽训练研究。团队重点强调了HiF8的核心优势：采用“锥形精度”设计，对靠近零、出现频率高的数值保留更多有效位，对少数大数值则提供更大的动态范围。
队伍在关键计算节点模拟HiF8量化行为，并比较了多种策略。实验基于华为Ascend 910B平台和MindSpeed框架，对Wan2.1-T2V-14B进行千步微调。结果显示，HiF8两种策略的训练损失曲线均与BF16基线高度重合，在精度接近的同时计算开销更低，更适合工程部署。他们建议，低位宽训练要真正走向产业落地，既要有数值格式创新，也要有尺度更新机制、硬件平台和软件栈协同。
思想碰撞热烈，现场交流气氛浓厚
专题分享后，现场进入了热烈的交流讨论环节。来自全球的参赛团队、参会高校、科研机构及产业单位的代表围绕低比特量化策略、HiFloat数值格式适配、视频生成模型部署难点、训推效率优化等话题展开深入探讨。多位嘉宾结合自身研究和工程实践，对不同方案的适用场景、技术边界和未来优化方向提出问题与建议。
<< 滑动查看下一张图片 >>
技术交流推动低位宽生态走向应用深水区
从4比特推理到8比特训练，从视频生成模型到大语言模型，本次研讨会展现了低位宽大模型高效计算的多条技术路径。各支队伍采用的方法不同，但共同指向一个核心目标：在尽可能保持模型效果的前提下，用好低位宽数据格式，让大模型运行得更快、更省显存、更易部署。
本次活动不仅展示了挑战赛阶段性成果，也为HiFloat4、HiFloat8等低位宽数值格式的后续研究和产业落地提供了重要案例。未来，随着硬件原生支持、软件栈优化和算法策略持续完善，低位宽计算有望成为大模型从实验室走向真实生产环境的关键基础设施。
如希望进一步了解HiFloat低位宽计算相关工作，或参与GCC-HiFloat社区后续技术研讨、标准共建、产业联创及生态合作活动。
欢迎联系：gcc_hifloat@gccorg.com
