Bonsai 2，把27B压进6个G，代价是砍掉两成能力- 大数跨境

首页

Bonsai 2，把27B压进6个G，代价是砍掉两成能力

AI驱动数字化转型

2026-10-30

导读：一张 12GB 的卡，原本装不下 27B，现在装得下了。门槛被推下去一次，就不会自己回升。

一张显卡能装下多大一个模型，过去是个硬件问题。27B 的模型满血跑起来要 50 多个 GB，得上专业卡；普通人的游戏卡只有 12GB，放不下。

九月中，Bonsai 2 出来，把同样的 27B 压到了 6GB。12GB 的卡能跑，6GB 到 7GB 的卡也能跑，体积压到 1/9。这事听起来像魔术，可魔术都有代价，这代价写在成绩单上：20 项综合基准，平均保住 98.2%，你去看它丢掉的那些分，账单并不平均，最难的几项交出去的远不止两成。

先把账算清楚

压到 6GB，靠的是三元量化。大模型的知识存在 270 亿个权重数字里，每个用 FP16 存，占 2 个字节，乘出来就是 50 多个 GB。Bonsai 2 把这些数字从"连续的小数"变成"三个选项"（负一、零、正一），再加一个大家共享的缩放系数，整块语言模型的权重就缩到了不到 6GB。

账面上看很划算：1/9 的体积，98.2% 的能力。可 98.2% 是个平均数，把 20 项成绩加总再除以 20 得来的，平均数会藏东西。

压缩的账，从来不是均摊的。

真正要紧的，是那两成没保住的能力长什么样。同是 27B，常规 2-bit 压缩（IQ2XXS）要 7.3GB，成绩掉到 84%；Bonsai 2 用 5.9GB 保住 98.2%。和更密的 4-bit（Q4K_M，17.6GB）比，它体积只有 1/3，成绩只差 1.4 分。换句话说，一张原本被卡在 12B 到 14B 的 12GB 显卡，现在能上 27B 级，这比"小了多少"更实在，它改的是门槛。

它怎么做到的

三元量化不是新点子，难的是压完还能用。最直接的压法，是把每个权重就近舍入到负一、零、正一，这种做法老早就有，结果是一压就傻，精度塌得厉害。根子在权重里的"离群值"：少数特别大的数扛着大部分信息，硬舍入就把它们抹平了。

Bonsai 2 没走这条直路。压缩前，它先用阿达马变换把权重矩阵旋转到一个新的坐标系里。旋转不改变信息总量，只改变分布：原本集中在一小撮大数上的重要性，被摊平到全体。摊平之后再做三元舍入，每一份信息的损失都变小了。

代价是推理时多一步。旋转过的权重，遇到输入数据也得做对应的逆变换，模型才算得对。这步没做，模型不会报错，只会安静地吐乱码，看起来在出字，网络根本没跑通。早期好些人拿错的运行环境跑它，以为是模型不行，其实是门没开对。

还有一处保留得干脆：看图用的视觉塔原样留在 FP16 精度，0.92GB，一个没压，压缩只落在语言模型的线性层上。所以"看见"没受影响，受影响的是语言侧对图里文字、表格的理解，那一层跟着压缩一起降了。

从"大"到"密"

Bonsai 2 是后训练压缩，不是从头练的小模型。它的底座是现成的强模型：大的基于 Qwen3.8，小的几个基于 Qwen3.5。先有一个成熟的脑子，再把它压密，这也是它能力掉得少的根子：起点高。

另一条路子是 BitNet 那类，从一开始就按 1.58-bit 从头训练，主打纯 CPU 也能跑，加载不到 100 毫秒。两条路不是对手：BitNet 适合没显卡、对质量要求松的边缘场景；Bonsai 2 适合有显卡、又想把大模型能力留住的场景。

密度这条路，Bonsai 2 不是第一个走的人，却是第一个把它走通到能用的。

它换掉的，是一个度量。过去两年，模型好不好先看参数多大、榜单多高；Bonsai 2 把问题改成了：同样的智能，你能压多密、在什么样的硬件上真跑起来。27B 塞进 6GB，密度是满血版本的 9 倍。参数没变大，能用的地方反倒变多了。

能力的上限和下限

账单摊开，能看清三道线。

最上面一道，几乎无损。数学保住 99.5%，单步写代码保住 99.3%，听话程度甚至反超原模型。你问它一个问题、让它写个函数、解释一段代码，它能力几乎和满血版一样。

中间一道，整体略掉一点。知识推理约 97%，视觉整体约 96%。这里要单独提一句：看图说话还行，但图里的文字和表格识别掉了约 7%，高精度文档解析别指望它。

最底下一道，是硬顶。长链路自主智能体只保住约 75%，让它连续几十步自动改代码、自己排错，稳定性明显不够。Terminal-Bench 从 69.7 掉到 52.8，SWE-bench 从 80.6 掉到 60.8。

标题里那"两成"，说的就是这一档。平均只丢 1.8%，可一旦任务变成连续自己干几十步，它交出去的就有 1/4。压缩的账，是处处少一点，换最难处少一截。

现在到哪一步了

大模型这个圈子，新东西出来快，沉淀慢。Bonsai 2 的 27B 版本大约九月中旬发布，小的几个尺寸十月中旬跟上。分数全是一家叫 PrismML 的团队自己测的，用的 H100，工具链自家搭的，到十月底还没有第三方的独立复现。自测成绩不是假，但没经过外人核对，单项数字先当参考，别当定论，做技术选型的人，这一步省不得。

好消息是门槛在降。Ollama 的官方库里已经能直接拉到它，默认版本普通环境就能跑；更小的打包还得用 PrismML 自己的运行分支。许可证是 Apache 2.0，干净，能商用，这一点比不少"开放权重但带红线"的同类厚道。

Bonsai 2 不是最强的模型。把它的成绩单和满血版摆一起，每一档都略低一点。可它把一件事往前推了一步：模型的归处，不再只是机房里的大家伙。27B 塞进 6GB，意味着一张旧显卡、一台车间里的电脑，也能跑起过去要服务器才托得动的能力。

这比一个分数重要。分数会过时，能跑在哪里不会。

压缩换来的，是处处少一点，最难处少一截。你问它一道题，它答得和满血版一样好；你让它自己连干几十步，它就开始掉链子。

一张 12GB 的卡，原本装不下 27B，现在装得下了。门槛被推下去一次，就不会自己回升。

【声明】内容源于网络

AI驱动数字化转型

专注AI，促进智造行业数据衍生，服务智能制造企业的数字化、智能化，聚焦大模型私域部署、大模型微调、数据清洗、AI模型训练、私域知识库及agent技术延展等。行业智能，落地为先。

内容 1113

粉丝 1

AI驱动数字化转型专注AI，促进智造行业数据衍生，服务智能制造企业的数字化、智能化，聚焦大模型私域部署、大模型微调、数据清洗、AI模型训练、私域知识库及agent技术延展等。行业智能，落地为先。

总阅读14.5k

粉丝1

内容1.1k