大数跨境

Strata“黑魔法”:12GB 显卡如何跑起 Qwen3.8-Flash-Next

Strata“黑魔法”:12GB 显卡如何跑起 Qwen3.8-Flash-Next AINLP
2026-11-16
0
导读:本地部署

今年9月,开发者 Niko1221 开源了 Strata。它最初想做的是:用一张12—24GB的 NVIDIA 显卡,配64GB内存和桌面 CPU,跑起125B的 Qwen3.8-Flash-Next。

不到两个月,项目已经有了约4.47万 Star、4900多个 Fork。原本的专用推理引擎,也有了桌面应用、终端和本地模型服务。

Strata官方桌面应用截图 图中使用Gyro-S

Strata官方桌面应用截图 图中使用Gyro-S

从专用引擎起步

第一版 Strata 是为 Qwen3.8-Flash-Next 定制的推理引擎,面向 NVIDIA 显卡提供现成的 Windows 运行包,同时开放兼容 OpenAI 和 Anthropic 的本地接口。用户可以把已经在用的聊天软件、编码工具接进来。

10月初,Hacker News 出现了一条“消费级硬件以100 token/s运行125B Qwen”的帖子,目前累计有940分、420条评论。有人贴自己的机器和速度,也有人追问量化质量、长上下文和视觉表现。

到了10月的0.2.0-beta,Strata 把桌面应用、终端和引擎接成了一套。Windows、Linux、Mac 有了各自的安装包,下载模型、选择存储位置、聊天和工具连接也有了界面。

桌面应用可以处理文件、图片和代码,生成的网页还能在侧边直接预览。

10月下旬,0.2.4 加入了 DeepSeek-V4.1-Flash 的终端运行入口。最近的0.2.14,又把 NVIDIA、AMD 上的提示词处理切到了 Strata 自有内核。

用户 irawanw 把它叫作“黑魔法”。他原先用两张 RTX 3090、vLLM 张量并行跑 Qwen3.8 27B,后来换成一张 GPU 配64GB RAM,在 Strata 上跑 Qwen3.8-Flash-Next,成了自己的日常主力。

显存里只留常用的部分

Qwen3.8-Flash-Next 是125B的 MoE,每个 token 激活约6B参数。它的48层中,每层有512个路由专家,当前 token 选出10个,全模型合计24,576个专家。

其中36层使用 Gated DeltaNet,维护固定大小的递归状态;另外12层使用稀疏注意力。还有约51B参数的 n-gram 查找表,按最近几个 token 读取对应的行。

Strata 做了一个技术说明,用 RTX 5070 12GB、Ryzen 5 7600、64GB DDR5-5200和 NVMe SSD,记录了这套分工。

以文中的 Q2_0 配置为例,Attention、DeltaNet、路由器、共享专家、输出头,以及缓存和递归状态优先留在显存。剩余显存用来缓存常用的路由专家。

约34GB路由专家放在系统内存,约29GB的 n-gram 表留在 SSD。查找表每次只读取需要的行,文中记录的每 token 读取量不超过约23KB。

技术说明图1 显存 内存与SSD的分工

技术说明图1 显存 内存与SSD的分工

生成时,GPU先算出当前层要调用哪些专家。缓存命中的,直接在GPU计算;没有命中的,一部分通过 PCIe 传给GPU,另一部分由CPU在内存里就地计算,最后合并结果。

技术说明图2 一层中的GPU CPU与PCIe并行

技术说明图2 一层中的GPU CPU与PCIe并行

GPU算已缓存的专家,CPU算另一部分,传输也同时进行。

专家缓存会随对话调整。说明中的12GB显卡约能缓存4500个专家;同组测试里,静态命中率约50%,在4K上下文下动态调整后约72%。

技术说明图3 静态专家缓存容量与命中率

技术说明图3 静态专家缓存容量与命中率

读入长代码时,Strata 则分块处理输入,把一层层权重流送到GPU,让传输与批量计算重叠。开始逐字生成后,再切回CPU与GPU分担的小批计算。

早期实现使用 Qwen 自带的 MTP 层:先起草后续几个 token,再交给主模型一起验证,通过的留下,遇到不一致的位置再修正。

项目示意图 起草模块预测 主模型按顺序验证

项目示意图 起草模块预测 主模型按顺序验证

技术说明中,最多起草3个 token,和前一个已接受的 token 组成最多4个 token 的验证窗口。4K测试里,每个窗口平均产出约3.2个 token,MTP加速收益约1.6—1.8倍。较新的版本还加入了 DFlash2 等起草路径。

生成速度如何

在前面那台 RTX 5070 测试机上,记录了以下生成速度。每种输入长度运行一次代码审查任务,生成256个 token,使用 greedy 解码与 MTP。

量化
约4K上下文
约128K上下文
Q2_0
94.6 token/s
65.1 token/s
IQ2_XS
78.0 token/s
52.0 token/s
IQ3_XXS
65.6 token/s
44.8 token/s
项目9月技术说明表3 不同量化和上下文下的生成速度

项目技术说明表3 不同量化和上下文下的生成速度

Q2_0 在约4K输入下,首次响应约6.7秒;接近262K输入时,要先等约524秒,随后仍能以56.3 token/s生成。

长历史占用更多显存,留给专家缓存的空间也会减少。

12GB是显存,64GB是系统内存。 以原版 Qwen 的 ISTA-DASLab 量化为例,路由专家的内存占用大致如下:

量化
路由专家约占
Q2_0
34GB
IQ2_XS
35.5GB
IQ3_XXS
43GB
IQ3_S
50GB

还要给操作系统、缓冲区、上下文和其他程序留空间。64GB机器选择 IQ3_S 时,余量已经比较紧。内存放不下专家,Strata 可以改从 SSD 读取更多权重,但速度会明显下降。

量化也会改变输出。项目在固定文本的4995个位置上,以 Q8_0 为参照,测得首选 token 一致率:Q2_0 为80.6%,IQ3_S 为87.7%,UD-Q4_K_XL 为93.1%。

项目目前推荐先看 ISTA-DASLab 的兼容量化,再看 Unsloth 等选择。Q2_0 更省内存、生成更快;更高位数的包需要更多资源,可以结合自己的代码任务判断是否值得。

Q2_0 文件合计约66GB,起草层和图片组件还会增加下载。NVMe SSD 要同时承担模型存放和部分运行中的读取。

最后

想试用的朋友可以从项目 Releases 下载对应系统的安装包,在模型页选择模型、存储位置和上下文;已有 GGUF,也可以直接导入。

安装好 Strata 后,用终端先查看运行计划:

strata launch --family qwen --model q2_0 --plan

这一步只显示模型、文件和硬件安排,不下载、不启动。确认后再运行:

strata launch --family qwen --model q2_0

首次下载完成后,可以在监控界面看提示词处理、逐字生成和内存占用。先用自己常做的任务跑一轮,再调整上下文和量化。

Strata官方终端监控界面 图中为Gyro-S会话

桌面应用也能直接处理文件和代码,默认 Manual 模式会在修改文件、执行非只读命令前请求确认。模型准备好后,本地聊天和推理可断网运行;联网搜索、外部模型和远程工具按各自功能访问网络。

接回已有编码工具,运行:

strata connect

它会列出 Claude Code、Codex CLI、OpenCode 等客户端的连接设置。

参考链接

  • Strata 项目:https://github.com/Niko1221/Strata
  • 0.2.0-beta发布记录:https://github.com/Niko1221/Strata/releases/tag/v0.2.0-beta
  • Hacker News早期讨论:https://news.ycombinator.com/item?id=49953495
  • 模型选择与内存需求:https://github.com/Niko1221/Strata/blob/c77572806996349b49995e4f98d41b5294d36a21/docs/MODELS.md
  • 量化质量的比较方法:https://github.com/Niko1221/Strata/blob/c77572806996349b49995e4f98d41b5294d36a21/docs/QUANTS.md
  • 项目技术说明:https://github.com/Niko1221/Strata/blob/13eedf552417a6a791a7d13c6597e24300ee3a09/docs/paper/Strata-Paper.pdf

【声明】内容源于网络
0
0
AINLP
一个有趣有AI的自然语言处理公众号:关注AI、NLP、大模型LLM、机器学习、推荐系统、计算广告等相关技术。公众号可直接对话双语聊天机器人,尝试对对联、作诗机、藏头诗生成器、自动写作等,查询相似词,测试NLP相关工具包。
内容 6128
粉丝 0
AINLP 一个有趣有AI的自然语言处理公众号:关注AI、NLP、大模型LLM、机器学习、推荐系统、计算广告等相关技术。公众号可直接对话双语聊天机器人,尝试对对联、作诗机、藏头诗生成器、自动写作等,查询相似词,测试NLP相关工具包。
总阅读41.0k
粉丝0
内容6.1k