大数跨境

微软研究人员表示,他们开发了一种超高效的AI模型,可在CPU上运行

微软研究人员表示,他们开发了一种超高效的AI模型,可在CPU上运行 海外洞察
2025-04-16
0
导读:微软研究人员开发并发布了一款超高效的AI模型,可在包括苹果M2在内的CPU上运行。

微软研究人员开发了迄今规模最大的1位AI模型“BitNet”(BitNet b1.58 2B4T)。该模型基于MIT许可开源,可在包括苹果M2在内的CPU上运行。

BitNet是专为轻量级硬件设计的压缩模型。其核心在于将权重量化为仅-1、0、1三个值,相比标准量化模型,在内存占用和计算效率上具有显著优势,使模型能在低内存芯片上更快运行。

作为首个拥有20亿参数的BitNet模型,BitNet b1.58 2B4T在4万亿token数据集(约3300万本书)上完成训练。研究表明,其性能优于传统同规模模型。

在GSM8K(小学数学题)和PIQA(物理常识推理)等基准测试中,该模型超越了Meta Llama 3.2 1B、Google Gemma 3 1B及阿里Qwen 2.5 1.5B。同时,其推理速度可达同类模型的两倍,且内存消耗大幅降低。

然而,实现该性能需依赖微软自定义框架bitnet.cpp,目前仅兼容特定硬件,暂不支持主流GPU。尽管BitNet在资源受限设备上潜力巨大,但硬件兼容性仍是当前面临的主要痛点。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k