专为Qwen打造的推理引擎
流传输榨干硬件每一滴性能
🔥最近，开源本地推理引擎 Strata 在AI圈引起轰动！不仅能把大模型一键部署在英伟达、AMD、intel、苹果等各种硬件上，更关键的是，动辄跑出数百tok/s！实现了实用性。而不是数s/tok那种笑话。
本地AI终于能跟云端AI API服务掰手腕了！
与以往的技术相比，Strata是如何稳定实现数百倍本地AI性能提升的？
关键就是Strata并没有去做一个通用AI引擎，而是从一开始就是专为 Qwen3.8-Flash-Next（125B 参数的超大规模 MoE 模型，实际每token只激活约6B参数）开发能在消费级显卡（12GB+ VRAM）+普通内存（32–64GB）上高速本地运行而专门开发的。
更刺激的是，其开发者Niko Veit（X账号 @coldniko）的更新速度，几乎每天一个新版本，每天睁开眼性能都提升10%。最新正式推送了开源本地推理引擎 Strata v0.1.44。这个项目从最初只是他自己用来跑模型的工具，到现在已经成了本地大模型社区里热捧的当红炸子鸡。
Strata 主打什么？
让普通消费级硬件也能高效跑大模型。它深度优化了 NVIDIA、AMD、Intel 多平台GPU，支持多卡、低内存、旧显卡（甚至Pascal时代的P100、V100），还能把廉价的DDR3机器+小显卡组合玩出花来。很多人用它跑 Qwen3.8-Flash-Next 这类模型，轻松上百 tokens/s，团队部署也能当本地“Codex后端”用。
这位叫 Niko Veit 的斯洛文尼亚天才开发者，几乎以日更甚至半天一更的节奏，持续打磨一款名为 Strata的本地推理引擎。它的目标简单到近乎疯狂：让普通游戏电脑，跑起原本需要服务器集群的 Qwen3.8-Flash-Next（约125B参数 MoE 大模型）。
一张 12–24GB 的 NVIDIA 或 AMD 显卡，加上 32–64GB 系统内存，Windows 或 Linux 一键安装，就能在本地获得 60–95 tokens/s 的输出速度，支持超长上下文，提供 OpenAI / Anthropic 兼容 API，数据完全不出本机。
到 2026年10月中旬（v0.1.44 系列），它已经支持 Apple Silicon、新增 Qwen3.6-35B-A3B，并持续把性能往上推。社区已经开始调侃：“下载最新版的时候小心点，Niko 可能在你下载完成前又发了新版本。”
这不是普通的开源项目，而是一个人用极致工程，把大模型推理门槛彻底拉低的现实样本。更关键的是——它到底是怎么把普通硬件的性能“榨干”的？
Strata 到底是什么？
Strata 是专为 Qwen3.8-Flash-Next这类超大规模 MoE（Mixture-of-Experts）模型优化的推理引擎。
这个模型一共有 24,576 个“专家”（48层 × 每层512个）。但每生成一个 token，路由器只会激活其中大约 10个。也就是说，真正需要计算的权重只占总量的约2%。
普通推理框架要么把整个模型塞进显存（需要上百GB），要么简单卸载到内存/SSD（速度崩盘）。Strata 选择了第三条路：把整个PC当成一个分工明确的厨房——常用的东西放在台面（显存），次常用的放在冰箱（内存），偶尔用的放在储藏室（SSD），并且让灶台（GPU）和案板（CPU）同时干活，互不等待。
核心榨干法：三层存储 + 并行计算 + 智能缓存
1. 显存（GPU VRAM）——最贵的“台面”
只放每个token都要用的核心部件：注意力与DeltaNet混合器、路由器、共享专家、输出头、MTP草稿层、KV缓存的热门部分。
剩下所有空间全部做成自适应专家缓存。
12GB显卡大约能放下4000–4500个最常用的专家。每多1GB显存，大约多塞700个专家。缓存会在对话过程中持续学习：每几轮就把当前对话真正高频使用、却不在缓存里的专家换进来（一次最多换几十到上百个），同时把最冷的踢出去。换的动作尽量在GPU忙着做其他事时异步完成。
2. 内存（RAM）——所有专家的“冰箱”
全部24,576个专家都常驻内存（pinned，避免被系统换出）。
当某个专家不在显存缓存里时，CPU直接在原地进行计算（用AVX-512 / AVX2高度优化的内核），并且和GPU同时工作。GPU算缓存命中的专家，CPU算没命中的，两边结果再合并。
这样CPU和GPU几乎不互相等待，把本来最昂贵的“专家计算瓶颈”大幅压缩。
3. SSD——大查找表的“储藏室”
模型还有一张约28.8GB的n-gram查找表。每个token只需要读几行（最多约23KB），通过操作系统缓存快速获取，几乎不拖后腿。
低内存模式：如果内存不够放下全部专家，Strata会自动切换策略——只把显卡装不下的部分放进内存，其余直接从模型文件流式读取，并做预取。虽然会变慢，但至少能跑起来。
速度倍增器：猜测-验证 + 大块读取 + 流水线
- MTP投机解码（Guess then Check）
模型自带的小草稿层先快速猜测接下来的2–3个token，大模型一次过完整48层去验证。平均一次能产出2.4–3.2个有效token，整体速度提升约1.6–1.8倍。质量完全由大模型决定，答案一致性有保障。 - 长文本大块预填充
提示词按最高8192 token一块处理。当前层的注意力在跑的同时，下一层需要的专家已经通过PCIe提前流到GPU。长文档或代码库的读取速度轻松超过1000 tokens/s。 - 后续对话秒级响应
第一轮消息处理完后，对话状态被缓存。后续只计算新增部分，几乎瞬间开始生成。
再加上针对不同硬件的定制内核（融合int8 tensor-core、RDNA4矩阵核心、Intel Arc优化、多卡流水线、自适应PCIe份额等），每一次版本更新都在持续抠出5%–38%不等的实际加速。
支持的模型与版本（截至最新）
主力：Qwen3.8-Flash-Next（125B MoE）
Q2_0（最快）、IQ2_XS（推荐平衡）、IQ3_XXS / IQ3_S（更高质量）、Coder（编程专用，32GB内存可跑）、Swift 1.5（思考更短的微调版）、Unsloth高精系列（UD-IQ4_XS到Q8_0）、NVFP4（NVIDIA专用）。
新增：Qwen3.6-35B-A3B
更适合小内存、iGPU或需要“快速小工人”的场景。
安装程序会根据你的内存自动推荐最合适的版本。
写在最后
Strata最让人震撼的地方，不是“能跑”，而是它把普通硬件的每一层资源都用到了极致：显存放最热的专家，内存做完整专家池并让CPU并行计算，SSD只承担轻量查找，再叠加投机解码和流水线预取。
一个人，用开源的方式，把原本属于数据中心的能力，硬生生塞进了游戏本。
如果你有一张还算新的游戏显卡和足够内存，真的值得亲自试一次。打开浏览器访问本地8080端口，看着125B模型在自己机器上流畅回答的那一刻，会有一种很特别的感觉——未来已经在自己电脑里，被彻底榨干性能地跑起来了。
☕ 项目地址：https://github.com/Niko1221/Strata
放在两个月前，你会相信一台笔记本电脑就能轻松跑起大模型和智能体吗？
文末点击下一篇或者扫码加入学习群，即可学习前沿AGI常识。
💡阅读更多：
欢迎大家关注AI顿悟涌现时，快速入门当下最热的AI大模型前沿。
AI顿悟涌现时
AI顿悟涌现时是红绿旗下关注新技术的内容品牌。 AI顿悟涌现时关注前沿技术的发展应用，深度解读新技术对商业模式和社会形态的变革。 大模型商业技术及通识，筹备开课，欢迎有授课能力的朋友合作，欢迎有兴趣的朋友报名一起学习。相关优质内容将会发布在下方动图内微信公众号▼▼
