微软研究人员开发了迄今规模最大的1位AI模型“BitNet”(BitNet b1.58 2B4T)。该模型基于MIT许可开源,可在包括苹果M2在内的CPU上运行。
BitNet是专为轻量级硬件设计的压缩模型。其核心在于将权重量化为仅-1、0、1三个值,相比标准量化模型,在内存占用和计算效率上具有显著优势,使模型能在低内存芯片上更快运行。
作为首个拥有20亿参数的BitNet模型,BitNet b1.58 2B4T在4万亿token数据集(约3300万本书)上完成训练。研究表明,其性能优于传统同规模模型。
在GSM8K(小学数学题)和PIQA(物理常识推理)等基准测试中,该模型超越了Meta Llama 3.2 1B、Google Gemma 3 1B及阿里Qwen 2.5 1.5B。同时,其推理速度可达同类模型的两倍,且内存消耗大幅降低。
然而,实现该性能需依赖微软自定义框架bitnet.cpp,目前仅兼容特定硬件,暂不支持主流GPU。尽管BitNet在资源受限设备上潜力巨大,但硬件兼容性仍是当前面临的主要痛点。

