见过有人在我的世界用红石搭建计算机的操作,现在又有人把一颗 RISC-V CPU 编译进了 Qwen3.5-4B 的权重。
不是插件,不是沙箱。计算机嵌在模型参数里,没有外部 runtime,forward pass 就是 CPU 在执行。这个项目叫 Qwenputer。
做法分两步。第一步,把 Qwen3.5 自带的 Gated DeltaNet 层变成 RAM。Qwen3.5 每 4 层 attention 里有 3 层用 Gated DeltaNet,一种线性 RNN。div 发现把 gate 设为 1、write strength 设为 1、用 one-hot key 编码,每次写入精确覆盖一行,每次查询精确读回值。delta rule 做关联记忆不是新想法(Schlag et al., 2021),但 div 做的是让它精确、可寻址、在生产模型里可靠到能跑一整颗 CPU。
第二步,编译器把 RISC-V CPU 的电路描述翻译成 transformer 权重。把 CPU 描述成小步骤:「读这个寄存器」「加起来」「跳转」——编译器把每步变成 attention head(查表)、feed-forward(算术)、DeltaNet head(存储)。不需要训练。每条指令对应三个 trace token:ADDR 指名内存地址,VAL 携带值,STEP 结束指令。11 层编译层放在 Qwen 原版 32 层前面,这颗 CPU(RV32IM + Zba + bignum 单元)通过了官方 riscv-tests,free-running 跑了 1800 万条指令零错误。
Qwen 怎么用这颗 CPU?div 走了一条省事的路线:利用模型已经很熟悉的 tool call 格式。Qwen 把计算请求发给 CPU,内部跑完结果写回来,看起来像调用外部工具,实际上全在模型内部。一个小驱动 RvChat 把固件加载进 GDN 状态,把 trace token 挡在 Qwen 层外面。Qwen 原有权重完全没动,正常文本输出不变(KL 散度 6e-4,噪底 5e-4)。
基准测试:NUPA 长整数算术从 base Qwen 的 48.6% 拉到 100%,跟配外部 Python 工具持平。但路线不同,外部工具的链路是断的,每一步等解释器返回;Qwenputer 的程序嵌在 forward pass 里,每一步确定、可检查。230,000 个输出位置和参考机器对比,零 mismatch。
然后又有人再往前又走了一步。给这颗 CPU 加了一个向量单元——独立的 DeltaNet 内存,64 通道矩阵行,7 种操作:矩阵乘、量化、残差加和 RoPE、attention 计算、softmax、求和、CPU 间搬运,全部定点执行。这个项目叫 QwenPU。
向量单元的作用是让另一个 LLM 在上面跑。div 把 Karpathy 的 stories260K(260K 参数的 Llama)作为 C 程序放进去,它的 int4 权重放在向量单元的 weight memory 里,矩阵运算、残差加、softmax 全走 vector op。一个 LLM 在另一个 LLM 里推理自己的 story token。
效率差距很大。每生成一个 story token 需要的 trace token:
Plain C 通用模拟:2,430,000 Qwenputer-npu:225,000 QwenPU 向量单元:53,000
从 243 万降到 5.3 万,差了两个数量级。通用模拟每一步都要「思考接下来该做什么」,编译进去后直接执行。L4 上一个 story token 约 16 秒,3,184,920 步 free-running 逐步对照 exact。stories260K 的权重没有编译进 checkpoint——任何能装下的模型都能用同样方式跑。
这有什么用。最直接的:LLM 做精确计算不再靠概率猜测,是真的在跑程序,每一步可验证。不需要在训练数据里背过某道题才能解。更深一层:当模型权重能承载任意程序,「推理」和「执行」的边界就模糊了——模型可以内部跑算法、验证逻辑、启动子程序,不需要停下来等外部工具。作者 div 在其博客里还写了两篇安全方向的后续:混合模型如何利用 RNN 状态隐藏推理逃避 CoT 监控,以及编译权重作为模型无法篡改的内置监控工具。
现在还不太实用。QwenPU 的 bf16 checkpoint 26.7GB,大部分零填充,要 40GB 以上 GPU。还需要 RvChat 驱动启动。div 说后续要缩减尺寸,下一步想让 Qwen 自己写 Python 跑在内部 MicroPython 上。
代码和权重:
https://github.com/divagr18/QwenPU
https://huggingface.co/divagr1925/QwenPU
https://modelscope.ai/models/Spartan1925/QwenPU
关注公众号回复“进群”入群讨论

