大数跨境

Uncensored 版 Qwen 怎么在本地用?从 Ollama 安装到接入 Claude Code

Uncensored 版 Qwen 怎么在本地用?从 Ollama 安装到接入 Claude Code AI大模型智能体前沿
2026-11-16
0
导读:本地运行 Uncensored 版 Qwen,接入代码工具后,验证一次文件读取与修改。

导读这次在 16GB 显卡上运行了一个 Uncensored 版 Qwen,并接入 Claude Code 完成文件读取与修改。本文以 Qwen3.5-9B 的社区修改版为例,从模型下载、显存配置到客户端接入逐步操作,最后用一个 Python 小例子检查修改结果。

本文 2101 字,阅读约 5 分钟先认准下载的是什么模型第一步:准备 Ollama 和运行环境第二步:下载模型,保存一个好记的名字第三步:把显存留给模型和上下文第四步:安装 Claude Code,配置本地后端第五步:第一次启动,确认选中了本地模型最后,实际读一次文件、改一次代码

先认准下载的是什么模型

Uncensored 通常指社区针对模型拒答行为进行修改后的版本,相关仓库还会出现 Abliterated 或 Heretic 等标记。这些标签涉及修改目标、方法或所用工具,不能据此认定所有问题都会回答,更不能认定回答必然正确。

这次用的是:

xtools-at/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic

xtools-at 发布的原模型仓库,文件格式为 Safetensors;Ollama 使用的 GGUF 仓库见下文 来源:xtools-at 的 Hugging Face 模型页面(局部截图)

名字很长,读的时候抓住三层关系就够了:基础模型是 Qwen3.5-9B;按模型卡说明,上游作者 Jackrong 使用 DeepSeek-V4-Pro 生成的数据做了推理微调;xtools-at 再使用 Heretic 调整模型的拒答行为。它仍是一个 9B 级 Qwen 模型,不是把完整的 DeepSeek-V4-Pro 装进了个人电脑。

原仓库提供的是 Safetensors 权重。为了用 Ollama 本地运行,这次选了 mradermacher 转换的 GGUF 量化版。GGUF 是部署文件格式,Q4_K_M 是这份权重的量化档位,两者都不负责赋予模型 Uncensored 属性;真正要认准的是上游模型来源。

原模型与修改说明: https://huggingface.co/xtools-at/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic本文使用的 GGUF: https://huggingface.co/mradermacher/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic-GGUF

第一步:准备 Ollama 和运行环境

下面按 Linux、Bash、systemd 和已装好 NVIDIA 驱动的环境操作,末尾的小例子还需要 Python 3。Windows、macOS 可以使用 Ollama 官方安装包,但服务环境变量的设置方法不同,不直接照搬本文的 systemd 命令。

本次机器是 RTX 5060 Ti 16GB。最终复验环境为 Ollama 0.40.16、Claude Code 2.1.311,模型使用 Q4_K_M 权重、Q8_0 KV 缓存、262,144 tokens 上下文。模型下载来自此前安装过程,本文复验了最终配置下的运行和客户端接入。

先安装 Ollama:

BASH curl -fsSL https://ollama.com/install.sh -o /tmp/install-ollama.sh
sh /tmp/install-ollama.sh

安装过程可能要求输入 sudo 密码。完成后检查:

BASH ollama --version
systemctl is-active ollama
nvidia-smi

应能看到 Ollama 版本、服务状态 active,以及显卡信息。若服务没有运行,先处理服务启动问题,再继续下载模型。

第二步:下载模型,保存一个好记的名字

准备一个保存模型配置的小目录。以下操作在同一个终端中连续执行:

BASH mkdir -p ~/local-models/qwen-heretic
cd ~/local-models/qwen-heretic

model_source='hf.co/mradermacher/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic-GGUF:Q4_K_M'
ollama pull "$model_source"

hf.co/ 表示从 Hugging Face 模型仓库导入,末尾的 :Q4_K_M 指定量化档位。这个包在本机列表中约为 6.4 GB,包含该仓库配套的视觉组件;下载大小不等于运行时显存占用。

下载完成后创建 Modelfile:

BASH cat > Modelfile <<EOF
FROM $model_source
PARAMETER num_ctx 262144
PARAMETER temperature 0.7
PARAMETER top_p 0.8
PARAMETER top_k 20
PARAMETER presence_penalty 1.5
EOF


ollama create qwen3.5-heretic:9b -f Modelfile
ollama list

这里把调用名称设为 qwen3.5-heretic:9b,并保存默认上下文与采样参数。名称保留 heretic,以后看列表时就能区分社区修改版与原版。Ollama 会复用已有模型层,不需要为短名称重新下载一套相同权重。

若下载报错,先解决连接或下载问题;确认 ollama pull 成功结束后,再创建本地名称。

第三步:把显存留给模型和上下文

Q4_K_M 量化的是模型权重;Q8_0 KV 缓存压缩的是推理时保存的历史状态。这是两项配置,创建 Q4 模型不会自动把缓存也改为 Q8。

对 Linux 系统服务,写入下面的配置:

BASH sudo mkdir -p /etc/systemd/system/ollama.service.d

sudo tee /etc/systemd/system/ollama.service.d/90-q8-kv.conf >/dev/null <<'EOF'
[Service]
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"
Environment="OLLAMA_NUM_PARALLEL=1"
EOF

sudo systemctl daemon-reload
sudo systemctl restart ollama

这会启用 Flash Attention、Q8_0 KV 缓存和单并发。KV 缓存设置对这个 Ollama 服务里的模型全局生效;其他模型再次加载时也会使用该配置。

现在直接聊天:

BASH ollama run qwen3.5-heretic:9b --think=false

--think=false 请求不使用思考输出;需要试思考模式时改为 --think=true。它与调整拒答行为是两项不同的控制。

另开一个终端检查:

BASH ollama ps
nvidia-smi

本次预热后短请求运行时,ollama ps 显示 100% GPU、CONTEXT 262144;整卡显存占用约 11.3 GiB,引擎日志里的 KV 缓存为 4,352 MiB。这些是这张卡、本次版本和单并发配置的结果。

262,144 tokens 就是通常说的 256K,也是基础模型的原生上下文长度。输入、历史消息、工具描述和输出都要共用这个额度。这里验证的是配置能够加载,并没有用接近 256K 的长文做效果评测;其他显卡容量不足时,可以把 num_ctx 调低后重新创建模型。

聊完后输入 /bye 返回终端,再继续客户端配置。

权重与 KV Cache 量化,显存、速度和“智商”差多少?

第四步:安装 Claude Code,配置本地后端

本地聊天跑通后,再接入 Claude Code。它负责交互和工具执行,生成回答的后端仍是刚才的本地模型。

先安装官方客户端:

BASH curl -fsSL https://claude.ai/install.sh -o /tmp/install-claude.sh
bash /tmp/install-claude.sh stable
claude --version

如果提示找不到 claude,先在当前终端加入安装目录,再检查版本:

BASH export PATH="$HOME/.local/bin:$PATH"
claude --version

确认可用后,把这条 PATH 设置加入所用 Shell 的启动文件,例如 Bash 的 ~/.bashrc,让新终端也能找到程序。

然后创建用户配置文件:

BASH mkdir -p ~/.claude
nano ~/.claude/settings.json

没有现有配置时,可以写入下面的完整 JSON;已有配置时,把这些字段合并进去,保留原来的其他设置。JSON 中不要加入注释。这是用户级配置,会影响这个用户后续启动的 Claude Code 会话;以后切回云端时,需要同步调整后端地址、认证和模型映射。

JSON {
  "alwaysThinkingEnabled": false,
"env": {
    "ANTHROPIC_AUTH_TOKEN": "ollama",
    "ANTHROPIC_API_KEY": "",
    "ANTHROPIC_BASE_URL": "http://127.0.0.1:11434",
    "ANTHROPIC_MODEL": "qwen3.5-heretic:9b",
    "ANTHROPIC_DEFAULT_OPUS_MODEL": "qwen3.5-heretic:9b",
    "ANTHROPIC_DEFAULT_FABLE_MODEL": "qwen3.5-heretic:9b",
    "ANTHROPIC_DEFAULT_SONNET_MODEL": "qwen3.5-heretic:9b",
    "ANTHROPIC_DEFAULT_HAIKU_MODEL": "qwen3.5-heretic:9b",
    "CLAUDE_CODE_SUBAGENT_MODEL": "qwen3.5-heretic:9b",
    "CLAUDE_CODE_MAX_CONTEXT_TOKENS": "262144",
    "MAX_THINKING_TOKENS": "0",
    "CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC": "1",
    "API_TIMEOUT_MS": "600000"
}
}

按 Ctrl+O、Enter 保存,再按 Ctrl+X 退出 nano。

真正决定请求去哪里的,是 ANTHROPIC_BASE_URL。这里填写本机 Ollama 地址,不要加 /api 或 /anthropic 后缀。Ollama 提供 Claude Code 所需的 Anthropic 兼容接口,ollama 是占位认证值,本地接入不需要 DeepSeek 或 Anthropic 的 API 密钥。

几项 DEFAULT_*_MODEL 把不同模型档位统一映射到本地名称,避免切换菜单选项时换到另一份模型。CLAUDE_CODE_MAX_CONTEXT_TOKENS 告诉客户端按 256K 预算管理上下文;服务端容量由前面的 Modelfile 设置,两处应保持一致。

配置还关闭了思考和非必要网络流量。本次通过 Claude Code 调用时,客户端记录中的思考 token 为 0;后者会同时关闭自动更新,需要升级时手动进行。

第五步:第一次启动,确认选中了本地模型

在打算使用的项目目录运行:

BASH claude

首次启动依次选择主题、阅读提示、设置终端快捷键,并确认信任当前项目目录。进入会话后输入 /model,就能检查模型映射。

本例的 Opus、Fable、Sonnet 和 Haiku 均映射到同一个本地模型 来源:网络图片

菜单中的不同档位此时只是入口名称,实际都调用 qwen3.5-heretic:9b。截图里 Default 后的 [1m] 是界面显示,不能据此把本地模型当成 1M 上下文;本次客户端返回记录和 Ollama 运行状态均为 262,144。

启动界面显示本地模型名称,个人目录已遮挡;是否真正走本机,还要结合配置和服务端请求确认 来源:网络图片

界面中的 API Usage Billing 也不能单独证明正在调用云端。本例配置指向 127.0.0.1:11434,实际运行时也在 Ollama 日志中观察到了 /v1/messages 请求。截图里的 auto mode 是该会话的设置,复现下面的小例子不需要开启它。

检查完模型菜单,输入 /exit 返回终端;下面的建目录、写文件和 Python 命令都在终端执行。

最后,实际读一次文件、改一次代码

不拿大项目做第一次尝试,先创建一个能立即检查结果的小例子:

BASH mkdir -p ~/heretic-demo
cd ~/heretic-demo

cat > invoice.py <<'EOF'
def total_price(unit_price, quantity):
    return unit_price + quantity
EOF

这个函数把单价和数量相加了。单价 35、数量 3,总价应当是 105,目前却会算成 38。

接下来在这个目录运行:

BASH demo_file="$PWD/invoice.py"

claude -p "请先用 Read 读取文件 ${demo_file},再用 Edit 修正商品总价计算,让 total_price(35, 3) 返回 105。只修改这个文件,完成后简短说明。" \
  --tools 'Read,Edit' \
  --allowedTools 'Read,Edit' \
  --max-turns 5

-p 表示处理一条任务后退出;这里仅开放并允许 Read、Edit 两个工具。文件路径通过 $PWD 传入绝对地址,避免模型自行猜目录。我们首次只给相对文件名时就找错了位置,改成这条明确路径的命令后才完成操作。

这次实际记录到的动作是:Read 读取文件,Edit 把加法改成乘法。最终文件内容为:

PYTHON def total_price(unit_price, quantity):
    return unit_price * quantity

再用 Python 独立检查,而不只看模型说“已完成”:

BASH python3 -c 'from invoice import total_price; print(total_price(35, 3))'

实际输出:

TXT 105

到这一步,本地模型已经完成了聊天之外的文件读取与修改。这个小例子证明本次工具接入可用;后续处理真实项目时,仍要审阅修改并运行项目自己的测试。Uncensored 描述的是拒答行为方面的修改,代码能否写对,最终要看文件和执行结果。

参考资料 上下滑动

•Ollama Linux 安装与服务配置: https://docs.ollama.com/linux•Ollama KV 缓存量化配置: https://docs.ollama.com/faq•Ollama Modelfile 参数: https://docs.ollama.com/modelfile•Qwen3.5-9B 原生上下文与模型说明: https://huggingface.co/Qwen/Qwen3.5-9B•Ollama 接入 Claude Code: https://docs.ollama.com/integrations/claude-code•Ollama Anthropic 兼容接口: https://docs.ollama.com/api/anthropic-compatibility•Ollama 思考模式控制: https://docs.ollama.com/capabilities/thinking•Claude Code 模型映射与上下文配置: https://code.claude.com/docs/en/model-config•Claude Code 环境变量: https://code.claude.com/docs/en/env-vars

THE END

文章仅做学术分享,如有侵权请联系删除,非常感谢!

【声明】内容源于网络
0
0
AI大模型智能体前沿
分享AI大模型智能体前沿知识,探寻多元应用,洞察未来趋势,带你一路 “卷” 赢行业!🔥
内容 1191
粉丝 0
AI大模型智能体前沿 分享AI大模型智能体前沿知识,探寻多元应用,洞察未来趋势,带你一路 “卷” 赢行业!🔥
总阅读31.2k
粉丝0
内容1.2k