导读这次在 16GB 显卡上运行了一个 Uncensored 版 Qwen,并接入 Claude Code 完成文件读取与修改。本文以 Qwen3.5-9B 的社区修改版为例,从模型下载、显存配置到客户端接入逐步操作,最后用一个 Python 小例子检查修改结果。
先认准下载的是什么模型
Uncensored 通常指社区针对模型拒答行为进行修改后的版本,相关仓库还会出现 Abliterated 或 Heretic 等标记。这些标签涉及修改目标、方法或所用工具,不能据此认定所有问题都会回答,更不能认定回答必然正确。
这次用的是:
xtools-at/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic
xtools-at 发布的原模型仓库,文件格式为 Safetensors;Ollama 使用的 GGUF 仓库见下文
来源:xtools-at 的 Hugging Face 模型页面(局部截图)
名字很长,读的时候抓住三层关系就够了:基础模型是 Qwen3.5-9B;按模型卡说明,上游作者 Jackrong 使用 DeepSeek-V4-Pro 生成的数据做了推理微调;xtools-at 再使用 Heretic 调整模型的拒答行为。它仍是一个 9B 级 Qwen 模型,不是把完整的 DeepSeek-V4-Pro 装进了个人电脑。
原仓库提供的是 Safetensors 权重。为了用 Ollama 本地运行,这次选了 mradermacher 转换的 GGUF 量化版。GGUF 是部署文件格式,Q4_K_M 是这份权重的量化档位,两者都不负责赋予模型 Uncensored 属性;真正要认准的是上游模型来源。
第一步:准备 Ollama 和运行环境
下面按 Linux、Bash、systemd 和已装好 NVIDIA 驱动的环境操作,末尾的小例子还需要 Python 3。Windows、macOS 可以使用 Ollama 官方安装包,但服务环境变量的设置方法不同,不直接照搬本文的 systemd 命令。
本次机器是 RTX 5060 Ti 16GB。最终复验环境为 Ollama 0.40.16、Claude Code 2.1.311,模型使用 Q4_K_M 权重、Q8_0 KV 缓存、262,144 tokens 上下文。模型下载来自此前安装过程,本文复验了最终配置下的运行和客户端接入。
先安装 Ollama:
安装过程可能要求输入 sudo 密码。完成后检查:
应能看到 Ollama 版本、服务状态 active,以及显卡信息。若服务没有运行,先处理服务启动问题,再继续下载模型。
第二步:下载模型,保存一个好记的名字
准备一个保存模型配置的小目录。以下操作在同一个终端中连续执行:
hf.co/ 表示从 Hugging Face 模型仓库导入,末尾的 :Q4_K_M 指定量化档位。这个包在本机列表中约为 6.4 GB,包含该仓库配套的视觉组件;下载大小不等于运行时显存占用。
下载完成后创建 Modelfile:
这里把调用名称设为 qwen3.5-heretic:9b,并保存默认上下文与采样参数。名称保留 heretic,以后看列表时就能区分社区修改版与原版。Ollama 会复用已有模型层,不需要为短名称重新下载一套相同权重。
若下载报错,先解决连接或下载问题;确认 ollama pull 成功结束后,再创建本地名称。
第三步:把显存留给模型和上下文
Q4_K_M 量化的是模型权重;Q8_0 KV 缓存压缩的是推理时保存的历史状态。这是两项配置,创建 Q4 模型不会自动把缓存也改为 Q8。
对 Linux 系统服务,写入下面的配置:
这会启用 Flash Attention、Q8_0 KV 缓存和单并发。KV 缓存设置对这个 Ollama 服务里的模型全局生效;其他模型再次加载时也会使用该配置。
现在直接聊天:
--think=false 请求不使用思考输出;需要试思考模式时改为 --think=true。它与调整拒答行为是两项不同的控制。
另开一个终端检查:
本次预热后短请求运行时,ollama ps 显示 100% GPU、CONTEXT 262144;整卡显存占用约 11.3 GiB,引擎日志里的 KV 缓存为 4,352 MiB。这些是这张卡、本次版本和单并发配置的结果。
262,144 tokens 就是通常说的 256K,也是基础模型的原生上下文长度。输入、历史消息、工具描述和输出都要共用这个额度。这里验证的是配置能够加载,并没有用接近 256K 的长文做效果评测;其他显卡容量不足时,可以把 num_ctx 调低后重新创建模型。
聊完后输入 /bye 返回终端,再继续客户端配置。
权重与 KV Cache 量化,显存、速度和“智商”差多少?
第四步:安装 Claude Code,配置本地后端
本地聊天跑通后,再接入 Claude Code。它负责交互和工具执行,生成回答的后端仍是刚才的本地模型。
先安装官方客户端:
如果提示找不到 claude,先在当前终端加入安装目录,再检查版本:
确认可用后,把这条 PATH 设置加入所用 Shell 的启动文件,例如 Bash 的 ~/.bashrc,让新终端也能找到程序。
然后创建用户配置文件:
没有现有配置时,可以写入下面的完整 JSON;已有配置时,把这些字段合并进去,保留原来的其他设置。JSON 中不要加入注释。这是用户级配置,会影响这个用户后续启动的 Claude Code 会话;以后切回云端时,需要同步调整后端地址、认证和模型映射。
按 Ctrl+O、Enter 保存,再按 Ctrl+X 退出 nano。
真正决定请求去哪里的,是 ANTHROPIC_BASE_URL。这里填写本机 Ollama 地址,不要加 /api 或 /anthropic 后缀。Ollama 提供 Claude Code 所需的 Anthropic 兼容接口,ollama 是占位认证值,本地接入不需要 DeepSeek 或 Anthropic 的 API 密钥。
几项 DEFAULT_*_MODEL 把不同模型档位统一映射到本地名称,避免切换菜单选项时换到另一份模型。CLAUDE_CODE_MAX_CONTEXT_TOKENS 告诉客户端按 256K 预算管理上下文;服务端容量由前面的 Modelfile 设置,两处应保持一致。
配置还关闭了思考和非必要网络流量。本次通过 Claude Code 调用时,客户端记录中的思考 token 为 0;后者会同时关闭自动更新,需要升级时手动进行。
第五步:第一次启动,确认选中了本地模型
在打算使用的项目目录运行:
首次启动依次选择主题、阅读提示、设置终端快捷键,并确认信任当前项目目录。进入会话后输入 /model,就能检查模型映射。
本例的 Opus、Fable、Sonnet 和 Haiku 均映射到同一个本地模型
来源:网络图片
菜单中的不同档位此时只是入口名称,实际都调用 qwen3.5-heretic:9b。截图里 Default 后的 [1m] 是界面显示,不能据此把本地模型当成 1M 上下文;本次客户端返回记录和 Ollama 运行状态均为 262,144。
启动界面显示本地模型名称,个人目录已遮挡;是否真正走本机,还要结合配置和服务端请求确认
来源:网络图片
界面中的 API Usage Billing 也不能单独证明正在调用云端。本例配置指向 127.0.0.1:11434,实际运行时也在 Ollama 日志中观察到了 /v1/messages 请求。截图里的 auto mode 是该会话的设置,复现下面的小例子不需要开启它。
检查完模型菜单,输入 /exit 返回终端;下面的建目录、写文件和 Python 命令都在终端执行。
最后,实际读一次文件、改一次代码
不拿大项目做第一次尝试,先创建一个能立即检查结果的小例子:
这个函数把单价和数量相加了。单价 35、数量 3,总价应当是 105,目前却会算成 38。
接下来在这个目录运行:
-p 表示处理一条任务后退出;这里仅开放并允许 Read、Edit 两个工具。文件路径通过 $PWD 传入绝对地址,避免模型自行猜目录。我们首次只给相对文件名时就找错了位置,改成这条明确路径的命令后才完成操作。
这次实际记录到的动作是:Read 读取文件,Edit 把加法改成乘法。最终文件内容为:
再用 Python 独立检查,而不只看模型说“已完成”:
实际输出:
到这一步,本地模型已经完成了聊天之外的文件读取与修改。这个小例子证明本次工具接入可用;后续处理真实项目时,仍要审阅修改并运行项目自己的测试。Uncensored 描述的是拒答行为方面的修改,代码能否写对,最终要看文件和执行结果。
参考资料 上下滑动
•Ollama Linux 安装与服务配置: https://docs.ollama.com/linux•Ollama KV 缓存量化配置: https://docs.ollama.com/faq•Ollama Modelfile 参数: https://docs.ollama.com/modelfile•Qwen3.5-9B 原生上下文与模型说明: https://huggingface.co/Qwen/Qwen3.5-9B•Ollama 接入 Claude Code: https://docs.ollama.com/integrations/claude-code•Ollama Anthropic 兼容接口: https://docs.ollama.com/api/anthropic-compatibility•Ollama 思考模式控制: https://docs.ollama.com/capabilities/thinking•Claude Code 模型映射与上下文配置: https://code.claude.com/docs/en/model-config•Claude Code 环境变量: https://code.claude.com/docs/en/env-vars
文章仅做学术分享,如有侵权请联系删除,非常感谢!

