Unsloth 刚刚发布了 Qwen3.6-35B-A3B 的 MTP 量化 GGUF,把 speculative decoding 和动态量化打包到一起——4-bit 量化约 22–23GB 总内存即可本地运行,MTP 模式下生成速度最高可达 2 倍。但这个"2 倍"有前提条件,llama.cpp 的 MTP PR 尚未合入主线,部分硬件反而跑得更慢。本地 AI 推理的门槛又低了一截,但坑也没少。
一条 Hugging Face 链接,开发者社区集体盯上了
5 月 12 日晚,X 用户 @stevibe 发了一条消息:
"Unsloth just published MTP-enabled quantized GGUFs for Qwen3.6-35B-A3B."
「Unsloth 发布了支持 MTP 的 Qwen3.6-35B-A3B 量化 GGUF。」
▲ @stevibe 发布 Unsloth MTP-GGUF 消息,附 Hugging Face 链接
帖子挂着一个 Hugging Face 链接,指向 `unsloth/Qwen3.6-35B-A3B-MTP-GGUF` 仓库。评论区迅速变成了硬件实测现场——各种显卡、各种量化档位的对比数据开始涌进来。
先搞清楚 Qwen3.6-35B-A3B 到底什么来头
往回倒一个月。4 月 15 日,Qwen 团队发布了 Qwen3.6-35B-A3B——一个稀疏 MoE(混合专家)模型:
- 总参数 350 亿,激活参数仅 30 亿
-
40 层,256 个专家,每次推理激活 8 个路由专家 + 1 个共享专家 -
原生上下文长度 262,144 tokens,官方称可扩展到 1,010,000 tokens -
官方定位:agentic coding、多模态感知与推理
▲ Qwen 官方博客宣布 Qwen3.6-35B-A3B 开源
▲ Qwen3.6-35B-A3B Hugging Face 模型卡,标注了 MoE 架构和 MTP 训练
用人话说:350 亿参数听起来吓人,但每次推理只有 30 亿参数在干活。这意味着它对硬件的实际需求远低于同规模的 dense 模型——从出生就带着"适合本地跑"的基因。
Unsloth 做了什么:量化 + MTP,两件事打包
Unsloth 在 Hugging Face 上线的 MTP-GGUF 仓库,把两个优化方向合到了一个可下载的路径上:
第一层:动态量化压体积。Unsloth Dynamic 2.0 量化方案,使用真实用例数据做校准,对关键层做精度保留。仓库提供了从 BF16 到 3-bit 的多档量化选项:
- BF16
:约 70GB - 8-bit (Q8_0)
:约 38GB - 4-bit (UD-Q4_K_XL)
:约 23GB - 3-bit
:约 17GB
▲ Unsloth Qwen3.6 本地运行文档,列出各量化档位的内存需求
第二层:MTP speculative decoding 加速生成。模型卡写得很明确:
"NEW: MTP speculative decoding for ~1.5-2x faster generation — build llama.cpp from the MTP PR branch"
「新增 MTP speculative decoding,生成速度约快 1.5–2 倍——需要从 MTP PR 分支构建 llama.cpp。」
▲ Unsloth MTP-GGUF 仓库首页,展示构建命令与运行参数
关键参数:`--spec-type mtp --spec-draft-n-max 3`。运行时需要指定 MTP 模式和最大草稿 token 数量。
MTP 的原理:一次猜多个 token,猜对了就赚
MTP 全称 Multi Token Prediction(多 token 预测),属于 speculative decoding 的一种实现思路。
传统自回归生成是逐 token 输出,每个 token 都要跑一遍完整的前向推理。MTP 的做法是让模型同时预测多个候选 token,然后由主模型验证——猜对的直接采纳,猜错的丢掉重来。如果接受率够高,等效生成速度可以大幅提升。
这里有个关键数字来自 llama.cpp 的 PR 作者 am17an:
"steady-state acceptance of around 75% with 3 draft tokens, which is more than >2x speed-up over baseline."
「3 个 draft tokens 的稳态接受率约 75%,相对基线超过 2 倍加速。」
但要注意:这个数据来自 PR 作者在 Qwen3.6 27B 和 35B-A3B 上的测试环境,不能直接等同于所有用户在所有硬件上的体验。
llama.cpp PR 还没合入主线,这是最大的"但是"
支撑 MTP 能力的工程实现来自 llama.cpp 的 PR #22673,标题就叫 "llama + spec: MTP Support"。
▲ llama.cpp PR #22673,状态仍为 Open
截至发稿,这个 PR 仍然处于 Open 状态。意味着什么?
1. 你需要从 `am17an/llama.cpp` 的 `mtp-clean` 分支手动构建 llama.cpp,而不能直接用发行版 2. 多并发(`-np > 1`)和多模态投影(`--mmproj`)暂时都不支持 MTP 3. 分支代码可能随时变化,稳定性无法和主线相比
Unsloth 的模型卡直接标注了限制:
"-np > 1 and --mmproj are not yet supported with MTP."
「多并发序列与多模态投影(mmproj)当前还不支持 MTP。」
这意味着 Qwen3.6-35B-A3B 虽然是多模态模型,但 MTP 加速目前只覆盖纯文本生成场景。如果你要用它处理图像,MTP 这层加速暂时帮不上。
社区实测:有人翻倍,有人反而变慢
评论区变成了大型硬件测试现场,结果参差不齐。
报喜的:@DotoAndrew 说自己的工作流里 "Same quality and 2x speed up"——质量不变,速度翻倍。
报忧的:@softgreenshark 在 RTX 3090 上测到普通版跑到 120 tok/s,MTP 版反而只有 80 tok/s。@jeanlouisug 在 Q3 KXL 量化下也发现普通版更快。
追问的:@wesleimade 问 Metal(Mac GPU)能不能用。答案是可以——Unsloth 文档提到 CPU/Metal 构建时把 `-DGGML_CUDA=OFF`,但 MTP 本身的限制仍然存在。@alexellisuk 则质疑在 64K/200K 长上下文 coding 场景下,MTP 和 DFlash 的实际收益到底有多大。
▲ Hugging Face 社区讨论区,开发者围绕 MTP 展开实测反馈
背后的规律一致:MTP 的收益高度依赖具体条件——显卡型号、量化档位、上下文长度、batch 大小、llama.cpp 分支成熟度,每一个变量都可能让结果反转。
本地 AI 推理的两道门槛,同时在降
拉远一步看,这次 Unsloth 的发布代表了本地 AI 推理正在同时解决两个问题:
能不能跑?动态量化解决。350 亿参数的模型,4-bit 量化后约 22–23GB 总内存,高显存消费级显卡、统一内存的 Mac、甚至显存 + 内存混合 offload 的配置都有机会尝试。
跑得快不快?MTP/speculative decoding 解决。在条件合适的环境下,生成速度可以翻倍。
两个优化叠加,构成了对本地用户很有吸引力的组合。但实际体验仍然取决于 llama.cpp MTP 分支的成熟度、你的硬件配置、以及你选择的量化档位。
Unsloth 的 27B 版本也同时上线了 MTP-GGUF(评论区有人确认 "27B too!"),意味着整个 Qwen3.6 系列的本地推理路线都在往 MTP + 动态量化的方向走。
冷静看:门槛降低 ≠ 体验完美
几个需要降温的事实:
- 22–23GB 内存只是"能跑"的起点
。如果显存不够需要 RAM 甚至 SSD offload,实际推理速度会大幅下降 - PR 未合入主线
意味着你用的还是工程预览版,稳定性没法和正式发行版比 - MTP 加速 1.5–2 倍是有条件的上限
,部分硬件和量化配置下可能没有加速甚至减速 - 多模态场景暂不覆盖
,Qwen3.6-35B-A3B 的视觉能力目前无法通过 MTP 路径加速
对于想尝试的开发者,建议先确认自己的硬件配置和使用场景,再决定是用标准 GGUF 还是 MTP 版本。社区测试结果差异很大,你的环境可能需要自己跑一轮对比。
最后看回这件事
Qwen3.6-35B-A3B 本身是一个 MoE 架构设计就偏向本地友好的模型,Unsloth 的动态量化把"能跑"的内存门槛压到了消费级硬件的射程内,MTP speculative decoding 则试图把"跑得够快"这个缺口也补上。三层优化叠在一起,方向很明确:让 350 亿参数的开源模型在你自己的机器上实际可用。
但工程现实也摆在那——llama.cpp MTP 分支还没合入主线,部分硬件实测反而变慢,多模态和并发场景暂不支持。这是一个"方向确认、工程仍在打磨"的阶段。
本地 AI 推理正在快速进化,只是别急着当所有人都能无脑 2 倍加速——先看你的显卡型号再说。
— END —

