随着智能体（Agent）应用的普及，搭建本地化 AI 工作台已成为趋势。本文将介绍一套完全基于本地电脑、无需联网即可运行的智能体方案：Qwen3.5:9b 模型搭配 Hermes 框架。以下为详细实测数据与搭建指南。
一、实测 Qwen3.5:9b：本地 Agent 的“甜点位”模型
在开源大模型领域，通义千问（Qwen）系列表现卓越，甚至受到英伟达等巨头的关注与量化适配。
然而，如 Qwen3.6-27B 等大参数量模型对硬件要求极高，通常需 32G 显存的高端显卡（如 RTX 5090）才能流畅运行，这对绝大多数用户而言门槛过高。
经过大量实测，Qwen3.5:9b 是更具普适性的选择。该模型仅需 16G 内存配合 8G 显存即可运行，若配备 12G-16G 显存则可流畅执行任务。
在 RTX 5090 环境下实测，该模型对单张图片的理解速度高达 500 tokens/s：
关于推理延迟，经 10 次测试统计：首 Token 延时（TTFT）平均为 2.29 秒，首 Token 后生成速度平均为 0.40 秒。
推理输出速度曲线显示，平均生成速度达到 175.5 tokens/s：
综上，Qwen3.5:9b 在 Ollama 环境下实现了单人单机的最佳平衡。它既不像 27B 模型那样极度消耗显存，也不像小模型在处理复杂任务时能力不足。此外，其支持的 256K 上下文窗口足以应对大多数本地 Agent 场景：
结合 Hermes 自带的记忆功能，该组合在多轮任务中的连续性表现优异，能够胜任各类本地 Agent 任务。
二、接入 Hermes：极简部署流程
选择 Hermes 作为框架，主要因其安装轻量、链路简短，能显著提高普通用户的部署成功率。本地 Agent 的核心价值在于快速落地并投入实际工作。
Ollama 现已原生支持 Hermes，只需一行命令即可自动指定模型为 qwen3.5:9b，无需手动配置：
ollama launch hermes --model qwen3.5:9b若未安装 Hermes，系统将自动完成下载与安装：
点击确认后即可开始安装，Windows 系统兼容性良好，全程耗时约 3 分钟：
安装完成后，界面显示模型为 qwen3.5:9b，可直接进行测试提问：
此方案利用本地算力，彻底解决了 Token 消耗与费用问题。
已有 Hermes 用户的配置方法
若已安装 Hermes，需通过以下命令查看配置文件路径：
hermes config path
hermes config show找到配置文件（例如：C:\Users\guozh\AppData\Local\hermes\config.yaml），编辑并填入以下配置：
model:
default: qwen3.5:9b
provider: custom
base_url: http://127.0.0.1:11434/v1
api_key: ollama
context_length: 65536三、本地 Agent 实战场景
1. 图像理解
直接提供图片路径，模型即可解析图像内容：
2. OCR 文字提取
作为 OCR 工具使用，精准提取图片中的文字信息：
3. Excel 数据分析
指定 Excel 文件路径，模型可自动调用 pandas 等库进行数据分析并得出结论。遇到缺失依赖时，Hermes 会自动安装相应包：
在运行过程中，Hermes 具备自我学习能力，能从错误中积累经验：
当内容超过上下文限制时，Hermes 会自动进行压缩处理：
Hermes 的另一大优势在于长期记忆功能。它能在多轮对话中自动更新用户画像，存储具有长期价值的信息：
四、总结
尽管 Qwen3.5:9b 在绝对性能上不及云端超大模型，但结合 Hermes 框架，其在本地办公场景中的表现已相当出色，运行流畅且稳定。
对于 AI 爱好者而言，利用本地算力自由运行 Agent，无需担忧 Token 成本，体验极佳。综合实测结果，Qwen3.5:9b + Hermes 是目前本地部署 Agent 的最优组合方案之一。建议感兴趣的读者参照上述步骤亲自尝试。