《AI OS的升维之旅》文章系列第五篇：本地模型的经济学，8GB 显存里塞三个模型- 大数跨境

《AI OS的升维之旅》文章系列第五篇：本地模型的经济学，8GB 显存里塞三个模型

AI驱动数字化转型

2026-07-11

导读：我构建了一套多智能体协同系统，取名为三体架构。三个体各有独立职责。《AI OS的升维之旅》文章系列第五篇：本地模型的经济学，8GB 显存里塞三个模型。

我构建了一套多智能体协同系统，取名为三体架构。三个体各有独立职责。OpenClaw 是意识中枢，负责理解意图、路由任务、管理对话，不做任何有副作用的操作。Hermes 是执行层，负责搜索、文件操作、浏览器自动化、shell 命令以及内容写作，不做决策。Codex 是编码层，负责写代码、重构、调试、测试。三个体通过 sessions_spawn 通信，不共享内存，不共享进程空间，故障互相隔离。

支撑这套系统持续进化的是一套知识基础设施，以 Obsidian 为基础的知识库。每次写作完成，新概念自动写入原子笔记，文章索引自动更新，知识图谱重新关联。知识不会停在原地，它会在系统内部流动，从原始对话逐渐提炼成可复用的结构化知识。

三体加 Obsidian 知识库构成了一个从意图理解到执行落地到知识沉淀的完整闭环。

本文是「AI OS 升维之旅」系列第五篇。

8GB显存里的三个模型

8GB 显存的笔记本跑 AI 工厂。做云的朋友听到这句话，第一反应是在开玩笑。但如果你把三套模型塞进 8GB 显存，还要跑生产级效果，这就不是开玩笑，是工程设计。

系统里放了三个模型。Ornith:9b 常驻显存占 5.5GB。lfm2.5:8b 按需加载 5.3GB 但平时躺在磁盘不动。云端 DeepSeek API 和 GLM 5.2 API 显存零占用。2.5GB 富余不是浪费，是整个架构的呼吸空间。

Ornith:9b的选型逻辑

Ornith:9b 的选型是第一个值得认真说的工程决策。基座是 Qwen3.5-9B，9.4B 参数，用 DeepReinforce 做了专门的 Agentic Coding 精调。MIT 许可证商用无限制。Q4KM 量化后 5.5GB，刚好塞进 8GB 还能剩 2.5GB。24K 上下文窗口对辅助任务够用，分类、摘要、代码审查不要求 128K。这个选型的精妙在于它不为通用优化，专为 Agent 场景优化。工具调用准确率比同体量通用模型高，这是 DeepReinforce 的功劳。换成同体量通用模型，分类准确率下降五到八个百分点，更多请求会被误判为 deep 类走向云端 API，抵消了本地模型省下的成本。

lfm2.5:8b的定位

lfm2.5:8b 的定位完全相反。平时不被调用，只做 heartbeat 备胎。它在磁盘上占空间，从来不进显存。它的存在价值就是备用，像一个消防栓，平时没人看它一眼，着火的时候它是唯一的指望。

三层容灾与优雅降级

模型路由表的逻辑不是简单的谁好找谁，是三层容灾的递进。第一层模型级别，DeepSeek 挂了 M2.7 顶上，M2.7 不可用了 Ornith:9b 本地接住。每层的推理质量递减但可用性递增。第二层 Agent 级别，main Agent 挂了还有 hermes-executor。第三层系统级别，所有 Agent 都不可用时 Ornith:9b 兜底。这个 Fallback 链的实际价值在 API 不可用时最能体现。DeepSeek API 中断过，智谱 API 限流过，网络波动过。每次出问题时 Ornith:9b 默默接过来，用户感知不到在走本地模型。分类和摘要本来就是 Ornith 在做的，切换是透明的。

multi-model-proxy.py 实现了优雅降级。连续三次失败自动切到 Ornith 备胎，五分钟后自动恢复检测。业务连续性不靠 SLA 保证，靠 5.5GB 显存买来的。

本地模型的核心价值

本地模型最大价值不在省钱。按每天五十条消息算，一半走 DeepSeek API，每条约两千 token，一天五万 token。DeepSeek 百万 token 输入约两元，输出约八元。按三比一的输入输出比，日均 API 成本约 1.2 元，月均不到四十元。这个量级比一杯咖啡便宜。本地模型的价值在于延迟可控和离线容灾。API 不可用时系统不中断，网络波动时不卡顿。8GB 显存买来的不是省钱，是每次 API 不可用时的业务连续性。如果哪天 DeepSeek 的 API 连续六小时不可用，Ollama 仍然能跑，分类仍然在工作，微信消息仍然能回复。用户不会看到模型不可用的错误提示，只会觉得回答慢了一点。

硬件约束下的架构优势

硬件约束倒逼出了架构优势。一台笔记本 8GB 显存撑起了三体加剑齿虎加 Obsidian 全栈。不需要 GPU 服务器，不需要云实例。在本地模型和云端 API 之间的切换做到了平滑无缝。

完整的《AI OS升维之旅：从单体到三体·社区版到定制版的工程跃迁》全书，关注公众号或者加我好友索取pdf。

【声明】内容源于网络

AI驱动数字化转型

专注AI，促进智造行业数据衍生，服务智能制造企业的数字化、智能化，聚焦大模型私域部署、大模型微调、数据清洗、AI模型训练、私域知识库及agent技术延展等。行业智能，落地为先。

内容 1046

粉丝 1

AI驱动数字化转型专注AI，促进智造行业数据衍生，服务智能制造企业的数字化、智能化，聚焦大模型私域部署、大模型微调、数据清洗、AI模型训练、私域知识库及agent技术延展等。行业智能，落地为先。

总阅读8.0k

粉丝1

内容1.0k