海外媒体已对 Strata 进行多轮报道，但核心疑问仍未解决：在中端 PC 上，该模型是否真正可用？本文摒弃宣传话术，基于安装日志与 41 次实测请求数据，还原真实体验。
核心结论：中端显卡可运行，速度符合预期
Strata 是一款能够将 1250 亿参数 MoE（混合专家）大模型部署于普通游戏 PC 的本地推理引擎。其具备开源、免费、一键安装特性，启动后可在 localhost 提供兼容 OpenAI 和 Anthropic 的 API 接口。
测试环境配置为典型的“中端机器”：RTX 3060 12GB 显存、64GB 内存、i5-12500 处理器（支持 AVX2，不支持 AVX-512）。在连续 41 次请求测试中，平均生成速度为 29.9 token/s，最低 14.1 token/s，最高 37.2 token/s。
该数据虽低于官方在高端显卡上公布的 79 token/s 基准，但与媒体在 RTX 4060 Ti 上的实测数据（约 30 token/s）高度吻合。这表明中端显卡的实际运行水平稳定在 30 token/s 左右。对于写作等应用场景，此速度高于人类阅读速度，虽慢于云端 API，但胜在数据完全本地化。
技术原理：分层存储与投机解码
理解其性能表现，需先剖析其底层架构：
- 分层专家放置：模型包含 24,576 个小专家（experts），每次生成仅调用 10 个。Strata 依据访问频率分层：高频专家存入显存，全量专家驻留内存，其余由处理器并行处理，固态硬盘存储大型查找表。
- 投机解码：通过小助手模型预测后续词汇，由大模型一次性校验。官方数据显示，该技术可将推理速度提升 1.6 至 1.8 倍。
- 分块处理长文本：支持单次最多处理 8,192 个 token 的文本块。
上述三项技术的结合，使得 12GB 显存的消费级显卡得以运行原本需服务器支持的大模型。
安装实录：环境冲突是主要障碍
安装脚本具备硬件自动识别功能，并提供以下量化版本选择：
| 档位 | 说明 | 下载量 | 内存占用 |
|---|---|---|---|
| Q2_0 | 2-bit，速度最快 | 66 GB | 约 34 GB |
| IQ2_XS | 2-bit i-quant，质量略优，速度接近 | 68 GB | 约 36 GB |
| IQ3_XXS | 3-bit i-quant，质量更好，速度较慢 | 76 GB | 约 43 GB |
| IQ3_S | 3.5-bit，质量最佳，速度最慢 | 84 GB | 约 50 GB |
上下文长度选项涵盖 8K 至 512K（实验性）。针对 12GB 显存显卡，推荐设置为 32K 上下文，KV 缓存使用 8-bit。此外，系统提供实验性“拒绝方向投影”控制向量，可减少模型拒绝回答的情况，默认处于关闭状态。
常见安装失败原因分析
实际安装过程中，主要障碍源于 Python 环境冲突，而非软件本身。典型失败案例包括：
- 权限拒绝：依赖包错误安装至其他虚拟环境（如 ComfyUI），导致编译扩展时出现 OSError [WinError 5]。
- 依赖冲突警告：pip 提示已安装的 certifi 或 requests 版本与其他工具不兼容，通常仅为警告，不影响继续安装。
- Numpy 导入崩溃：因外部 PYTHONPATH 污染，导致 Strata 虚拟环境加载了错误版本的 numpy 扩展（如 cp314 编译版用于 Python 3.12）。
- 模块缺失：同上原因，pyyaml 虽已安装但因路径遮蔽导致 ModuleNotFoundError。
下载环节受网络环境影响较大，实测速度约为 0.8-1.1 MiB/s，可能出现连接超时。但脚本支持断点续传，重新运行时可跳过已完成步骤，显著节省时间。
模型加载与资源占用详解
成功安装后的日志显示关键数据如下：
- 张量索引：共 1079 个张量，其中 302 个原生提供。词表大小 248,320，合并表 247,587。
- MTP 草稿层优化：仅需提取 5.214 GB MTP 张量，经压缩转换后仅为 707 MB 专家文件和 116 MB 稠密权重文件，大幅降低资源需求。
- 显存优化技巧：若主要使用英文和代码，建议切换至英文词表，可将草稿层显存占用从 348 MiB 降至 133 MiB，从而预留更多空间给专家缓存，解决“草稿头放不下”的问题。
实测性能数据汇总
启动阶段需加载 33.02 GiB 专家数据，耗时约 2.5 至 3 分钟，期间系统会出现明显卡顿。随后显卡填充专家缓存，占用 4.69 至 5.21 GiB 显存。
| 指标 | 实测结果 |
|---|---|
| 生成速度 | 平均 29.9 token/s（范围：14.1 - 37.2） |
| 专家缓存命中率 | 平均 68.6%（范围：41.5% - 80.1%） |
| 长提示读入 | 27,922 token 提示，耗时 72 秒（约 340 token/s） |
| 短提示读入 | 2 至 9 秒 |
| 启动加载 | 33.02 GiB，耗时 155 - 179 秒 |
| 上下文支持 | 初始 32K，调整后可达 64K |
关键观察：
- 缓存命中率决定速度：命中率高时速度可达 37 token/s，低时跌至 14 token/s。话题连续性越高，速度越稳定。
- 首字延迟固定：无论生成长度如何，短提示均需 2-9 秒预读时间，这是与云端 API 的主要体感差异。
- 思考模式消耗预算：默认开启思考链可能导致 max_tokens 耗尽而无正文输出，需单独设置思考预算参数。
- 单并发限制：作为单机推理引擎，同一时间仅能处理一个请求。
日常使用约束与建议
- 显存独占：12GB 显存将被占满，无法同时运行其他 GPU 应用（如 ComfyUI）。建议使用懒加载模式或在使用前后重启模型以释放资源。
- 便捷接入：OpenAI 兼容接口地址为 http://127.0.0.1:8080/v1，Anthropic 协议走 /v1/messages。内置监控面板可实时查看硬件状态。
- 版本选择：除标准版外，另有 Coder 版（削减半数专家，适合代码场景，中文能力减弱）、短思考微调版及 4-bit 实验版（速度极慢，仅 7-8.5 token/s）。
- 硬件门槛：最低要求 12GB 显存、32GB 内存（推荐 64GB）、80GB SSD 空间。支持双卡及局域网访问，但后者需配置密钥以确保安全。
适用人群评估
适合用户：有强烈数据隐私需求、拥有 12GB+ 显存及 64GB 内存、希望本地运行超大参数模型且不愿购买服务器的用户。
不适合用户：需要生产级高并发服务、对首字延迟敏感（无法接受 2-9 秒等待）、或需同时运行其他 GPU 重度任务的用户。
综上所述，Strata 证明了 1250 亿参数模型进入个人电脑的可行性，前提是使用户接受约 30 token/s 的速度及较长的启动时间。
最终建议
部署 Strata 的主要门槛在于 Python 环境隔离及国内网络下载速度。建议在干净的 Python 虚拟环境中安装，并利用国内镜像源加速模型下载，充分利用其断点续传功能以提升成功率。