今年9月,开发者 Niko1221 开源了 Strata。它最初想做的是:用一张12—24GB的 NVIDIA 显卡,配64GB内存和桌面 CPU,跑起125B的 Qwen3.8-Flash-Next。
不到两个月,项目已经有了约4.47万 Star、4900多个 Fork。原本的专用推理引擎,也有了桌面应用、终端和本地模型服务。
Strata官方桌面应用截图 图中使用Gyro-S
从专用引擎起步
第一版 Strata 是为 Qwen3.8-Flash-Next 定制的推理引擎,面向 NVIDIA 显卡提供现成的 Windows 运行包,同时开放兼容 OpenAI 和 Anthropic 的本地接口。用户可以把已经在用的聊天软件、编码工具接进来。
10月初,Hacker News 出现了一条“消费级硬件以100 token/s运行125B Qwen”的帖子,目前累计有940分、420条评论。有人贴自己的机器和速度,也有人追问量化质量、长上下文和视觉表现。
到了10月的0.2.0-beta,Strata 把桌面应用、终端和引擎接成了一套。Windows、Linux、Mac 有了各自的安装包,下载模型、选择存储位置、聊天和工具连接也有了界面。
桌面应用可以处理文件、图片和代码,生成的网页还能在侧边直接预览。
10月下旬,0.2.4 加入了 DeepSeek-V4.1-Flash 的终端运行入口。最近的0.2.14,又把 NVIDIA、AMD 上的提示词处理切到了 Strata 自有内核。
用户 irawanw 把它叫作“黑魔法”。他原先用两张 RTX 3090、vLLM 张量并行跑 Qwen3.8 27B,后来换成一张 GPU 配64GB RAM,在 Strata 上跑 Qwen3.8-Flash-Next,成了自己的日常主力。
显存里只留常用的部分
Qwen3.8-Flash-Next 是125B的 MoE,每个 token 激活约6B参数。它的48层中,每层有512个路由专家,当前 token 选出10个,全模型合计24,576个专家。
其中36层使用 Gated DeltaNet,维护固定大小的递归状态;另外12层使用稀疏注意力。还有约51B参数的 n-gram 查找表,按最近几个 token 读取对应的行。
Strata 做了一个技术说明,用 RTX 5070 12GB、Ryzen 5 7600、64GB DDR5-5200和 NVMe SSD,记录了这套分工。
以文中的 Q2_0 配置为例,Attention、DeltaNet、路由器、共享专家、输出头,以及缓存和递归状态优先留在显存。剩余显存用来缓存常用的路由专家。
约34GB路由专家放在系统内存,约29GB的 n-gram 表留在 SSD。查找表每次只读取需要的行,文中记录的每 token 读取量不超过约23KB。
技术说明图1 显存 内存与SSD的分工
生成时,GPU先算出当前层要调用哪些专家。缓存命中的,直接在GPU计算;没有命中的,一部分通过 PCIe 传给GPU,另一部分由CPU在内存里就地计算,最后合并结果。
技术说明图2 一层中的GPU CPU与PCIe并行
GPU算已缓存的专家,CPU算另一部分,传输也同时进行。
专家缓存会随对话调整。说明中的12GB显卡约能缓存4500个专家;同组测试里,静态命中率约50%,在4K上下文下动态调整后约72%。
技术说明图3 静态专家缓存容量与命中率
读入长代码时,Strata 则分块处理输入,把一层层权重流送到GPU,让传输与批量计算重叠。开始逐字生成后,再切回CPU与GPU分担的小批计算。
早期实现使用 Qwen 自带的 MTP 层:先起草后续几个 token,再交给主模型一起验证,通过的留下,遇到不一致的位置再修正。
项目示意图 起草模块预测 主模型按顺序验证
技术说明中,最多起草3个 token,和前一个已接受的 token 组成最多4个 token 的验证窗口。4K测试里,每个窗口平均产出约3.2个 token,MTP加速收益约1.6—1.8倍。较新的版本还加入了 DFlash2 等起草路径。
生成速度如何
在前面那台 RTX 5070 测试机上,记录了以下生成速度。每种输入长度运行一次代码审查任务,生成256个 token,使用 greedy 解码与 MTP。
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
项目技术说明表3 不同量化和上下文下的生成速度
Q2_0 在约4K输入下,首次响应约6.7秒;接近262K输入时,要先等约524秒,随后仍能以56.3 token/s生成。
长历史占用更多显存,留给专家缓存的空间也会减少。
12GB是显存,64GB是系统内存。 以原版 Qwen 的 ISTA-DASLab 量化为例,路由专家的内存占用大致如下:
|
|
|
|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
还要给操作系统、缓冲区、上下文和其他程序留空间。64GB机器选择 IQ3_S 时,余量已经比较紧。内存放不下专家,Strata 可以改从 SSD 读取更多权重,但速度会明显下降。
量化也会改变输出。项目在固定文本的4995个位置上,以 Q8_0 为参照,测得首选 token 一致率:Q2_0 为80.6%,IQ3_S 为87.7%,UD-Q4_K_XL 为93.1%。
项目目前推荐先看 ISTA-DASLab 的兼容量化,再看 Unsloth 等选择。Q2_0 更省内存、生成更快;更高位数的包需要更多资源,可以结合自己的代码任务判断是否值得。
Q2_0 文件合计约66GB,起草层和图片组件还会增加下载。NVMe SSD 要同时承担模型存放和部分运行中的读取。
最后
想试用的朋友可以从项目 Releases 下载对应系统的安装包,在模型页选择模型、存储位置和上下文;已有 GGUF,也可以直接导入。
安装好 Strata 后,用终端先查看运行计划:
strata launch --family qwen --model q2_0 --plan
这一步只显示模型、文件和硬件安排,不下载、不启动。确认后再运行:
strata launch --family qwen --model q2_0
首次下载完成后,可以在监控界面看提示词处理、逐字生成和内存占用。先用自己常做的任务跑一轮,再调整上下文和量化。
Strata官方终端监控界面 图中为Gyro-S会话
桌面应用也能直接处理文件和代码,默认 Manual 模式会在修改文件、执行非只读命令前请求确认。模型准备好后,本地聊天和推理可断网运行;联网搜索、外部模型和远程工具按各自功能访问网络。
接回已有编码工具,运行:
strata connect
它会列出 Claude Code、Codex CLI、OpenCode 等客户端的连接设置。
参考链接
-
Strata 项目:https://github.com/Niko1221/Strata -
0.2.0-beta发布记录:https://github.com/Niko1221/Strata/releases/tag/v0.2.0-beta -
Hacker News早期讨论:https://news.ycombinator.com/item?id=49953495 -
模型选择与内存需求:https://github.com/Niko1221/Strata/blob/c77572806996349b49995e4f98d41b5294d36a21/docs/MODELS.md -
量化质量的比较方法:https://github.com/Niko1221/Strata/blob/c77572806996349b49995e4f98d41b5294d36a21/docs/QUANTS.md -
项目技术说明:https://github.com/Niko1221/Strata/blob/13eedf552417a6a791a7d13c6597e24300ee3a09/docs/paper/Strata-Paper.pdf

