Unsloth AI 团队发布了 Kimi K2 Thinking 模型的 Dynamic 1-bit GGUF 量化版本，这让这个拥有1万亿参数的超大规模 MoE（Mixture-of-Experts）模型首次真正能够在消费级硬件上本地运行！原模型需要1.09TB磁盘空间，而 Unsloth 通过先进的动态量化技术，将其压缩至仅245GB（压缩62%），准确率保留约85%，只需247GB RAM 即可流畅运行。
Kimi K2 Thinking 是 Moonshot AI 推出的开源“思考代理”模型，在推理、代理搜索、编码和工具调用等领域达到 SOTA（State-of-the-Art）水平。它支持长达256K上下文（推荐98,304），并能连续执行200-300次工具调用而不崩溃，远超以往模型。 Unsloth 还与 Kimi 团队合作修复了系统提示词问题，确保本地运行时默认提示词“You are Kimi, an AI assistant created by Moonshot AI.”正常生效。
为什么选择 Unsloth 的 GGUF？
-
极致压缩：Dynamic 1-bit（UD-TQ1_0）仅245GB，1.8-bit 约230GB，2-bit（UD-Q2_K_XL）381GB（推荐平衡版）。 -
高准确率：在 Aider Polyglot 编码基准和5-shot MMLU上表现 SOTA，保留原模型85%以上能力。 -
MoE 优化：通过 -ot参数将专家层（experts）卸载到 CPU，仅核心层上 GPU，单张24GB显卡（如 RTX 4090）即可运行，速度1-2 tokens/s；总内存250GB+ 可达5+ tokens/s。 -
隐私与离线：完全本地运行，无需云端 API。
模型下载地址：https://huggingface.co/unsloth/Kimi-K2-Thinking-GGUF
官方指南：https://docs.unsloth.ai/models/kimi-k2-thinking-how-to-run-locally
硬件要求
|
|
|
|
|
|
|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
如果内存不足，llama.cpp 会自动 mmap 到磁盘，但速度会降到 <1 token/s。
步骤1：安装 llama.cpp
apt-get update && apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build build --config Release -j --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli
cp build/bin/llama-* .
（无 GPU 用 -DGGML_CUDA=OFF）
步骤2：下载模型
安装 Hugging Face 工具：
pip install huggingface_hub hf_transfer
下载（仅下载1-bit 分片，约245GB）：
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1" # 加速下载
from huggingface_hub import snapshot_download
snapshot_download(
repo_id="unsloth/Kimi-K2-Thinking-GGUF",
local_dir="Kimi-K2-Thinking-GGUF",
allow_patterns=["*UD-TQ1_0*"], # 换成 "*UD-Q2_K_XL*" 下载2-bit
)
下载卡在90-95%？参考官方排障：https://docs.unsloth.ai/basics/troubleshooting-and-faqs
步骤3：直接运行
export LLAMA_CACHE="Kimi-K2-Thinking-GGUF"
./llama-cli \
--model Kimi-K2-Thinking-GGUF/UD-TQ1_0/Kimi-K2-Thinking-UD-TQ1_0-00001-of-00006.gguf \
--n-gpu-layers 99 \
--temp 1.0 \
--min-p 0.01 \
--ctx-size 98304 \ # 推荐上下文
--seed 3407 \
-ot ".ffn_.*_exps.=CPU" # 关键！卸载所有 MoE experts 到 CPU
-
想更快？用 -ot ".ffn_(up|down)_exps.=CPU"只卸载部分。 -
单 GPU OOM？降低 --n-gpu-layers或用更多-ot正则。 -
显示思考标签？加 --special。
提示词模板（Thinking 模式）：
<|im_system|>system<|im_middle|>You are Kimi, an AI assistant created by Moonshot AI.<|im_end|>
<|im_user|>user<|im_middle|>你的问题<|im_end|>
<|im_assistant|>assistant<|im_middle|>
温度推荐 1.0，避免重复。
步骤4：部署 OpenAI 兼容服务器
./llama-server \
--model Kimi-K2-Thinking-GGUF/UD-TQ1_0/Kimi-K2-Thinking-UD-TQ1_0-00001-of-00006.gguf \
--threads -1 \
-fa on \
--n-gpu-layers 999 \
-ot ".ffn_.*_exps.=CPU" \
--min_p 0.01 \
--ctx-size 98304 \
--port 8001 \
--jinja
然后用 Python 调用：
from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8001/v1", api_key="sk-no-key-required")
completion = client.chat.completions.create(
model="unsloth/Kimi-K2-Thinking",
messages=[{"role": "user", "content": "1+1=？"}],
temperature=1.0
)
print(completion.choices[0].message.content)
完美兼容 LangChain、Autogen 等框架！
常见问题
-
无 标签？ 正常，加--special显示。 -
系统提示不生效？ 已修复，新 GGUF 第一分片包含修复。 -
工具调用：支持原生工具解析，参考 HF 模型卡工具指南。 -
更高速：用 ik_llama.cpp 分支或 vLLM（但 GGUF 首选 llama.cpp）。 -
测试案例：Unsloth 测试中一发生成 Flappy Bird 和物理模拟游戏，实力强劲！
感谢 Moonshot AI 开源这个1T级思考代理，也感谢 Unsloth 的神级量化！现在，人人都能在家跑 SOTA 大模型了。快去试试吧，247GB RAM 门槛虽高，但对 AI 爱好者来说，这已是历史性突破。