Redis之父的本地推理引擎进化了:双Mac并联、旧显卡集群、MacBook跑PRO模型
antirez/ds4重大更新,从单模型专用引擎进化为多模型多平台推理系统,企业级方案浮出水面
一秒破冰
三个月前,Redis之父antirez发布了ds4,让MacBook本地跑DeepSeek V4 Flash成为现实。
当时很多人说:「不错,但也就是个玩具。」
现在他交出了新版本,直接打脸:
●双Mac通过RDMA张量并行,两台笔记本拼成一台推理服务器
●8张被淘汰的L40S旧卡,搭出120 t/s的多用户LLM服务
●连AMD Strix Halo都支持了,Framework Desktop也能跑大模型
●新增GLM 5.2支持,不再只绑死DeepSeek
这哪是玩具,这是要革云厂商的命。
硬核解读
新版本到底改了什么
先说结论:ds4从一个「DeepSeek专用推理器」进化成了一个「本地推理平台」。
1. 模型支持大幅扩展
之前只支持DeepSeek V4 Flash,现在:
●DeepSeek V4 Flash(主力)
●DeepSeek V4 PRO(512GB内存巨兽专属)
●GLM 5.2(智谱最新模型)
而且不是随便支持,antirez做了专门的routed-MoE量化:只量化MoE专家部分(占模型体积大头),共享专家、路由、投影层保持原始精度。2bit量化后质量依然在线,工具调用稳定可靠。
2. 硬件覆盖面炸裂
●平台:支持情况
●Mac(Metal):主力平台,96GB+内存最佳
●NVIDIA CUDA:多GPU、DGX Spark、Blackwell
●AMD ROCm:Strix Halo(Framework Desktop)
●CPU:诊断模式,不推荐日常用
重点说说CUDA多GPU方案:antirez用8张L40S(Ada Lovelace架构,已经被vLLM抛弃的「旧卡」)搭了一个多用户服务器。聚合生成速度120 t/s,预填充2000 t/s。
这意味着什么?你公司机房里那些被淘汰的显卡,不用扔,装个ds4-server就能变成内部LLM服务。
3. DSpark推测解码
DeepSeek官方发布的辅助模型,能预测接下来最多5个token,主模型验证后批量接受。代码场景加速明显,因为代码的连续性高、可预测性强。
目前还是实验性质,加速幅度有限,但方向是对的。
4. 双Mac张量并行
两台Mac(M5 Max/M3 Ultra)通过RDMA连接,把模型切到两台机器上跑。4bit DeepSeek Flash或GLM 5.2都能跑起来。
这个方案的潜台词:不用买512GB的Mac Studio,两台128GB的MacBook拼一下也行。
5. SSD流式加载
内存不够?没关系。非路由权重常驻内存,MoE专家按需从SSD加载。Mac的SSD速度够快,cache miss的延迟可以接受。
这让96GB内存的MacBook也能跑156GB的MXFP4模型,只是速度慢一些。
实战演示
安装和运行
git clone https://github.com/antirez/ds4.git
cd ds4
./download_model.sh q2-imatrix
make
./ds4
./ds4-server
不同内存的模型选择
./download_model.sh q2-imatrix # 2bit量化,质量够用
./download_model.sh q2-q4-imatrix # 最后6层用q4,质量更好一点
./download_model.sh q4-imatrix # 4bit量化,质量接近原始
./download_model.sh mxfp4 # 原生MXFP4,约156GB
./download_model.sh pro-q2-imatrix # PRO模型2bit量化
开启DSpark推测解码
./download_model.sh dspark-support
./ds4 -m ds4flash.gguf \
--mtp gguf/DeepSeek-V4-Flash-DSpark-support.gguf \
--dspark --temp 0
SSD流式模式(内存不够时的救星)
./ds4 -m ds4flash.gguf --ssd-streaming
老司机辣评
值得兴奋的部分
1. 旧卡复活方案真实可用。8xL40S搭多用户服务器,这个场景太实际了。多少公司的GPU在吃灰,vLLM不支持它们了,ds4-server接手。
2. 双Mac并联打开了想象空间。不用追求单机大内存,两台消费级设备拼起来就行。对开发者个人来说,这是目前性价比最高的本地大模型方案。
3. 量化策略很聪明。只量化MoE专家,其他保持精度,2bit也能用。这比粗暴的全模型量化高明得多。
需要冷静看待的部分
1. 模型支持依然「机会主义」。antirez明确说了,只跟进最好的开源模型,随时可能移除旧模型。这不是一个通用推理框架,别指望它支持所有GGUF。
2. DSpark还在实验阶段。目前加速有限,低收益场景甚至可能更慢。别指望立竿见影的速度提升。
3. Beta质量。antirez自己说了,软件变化很快,instabilities是可能的。生产环境慎用。
4. AI辅助开发的代码。项目明确写了大量使用GPT 5.5/5.6和Claude Fable开发。如果你介意这一点,这个项目不适合你。不过antirez也强调了llama.cpp/GGML的基础贡献,核心工程知识是人工积累的。
5. 硬件门槛依然不低。最入门也要96GB内存的Mac,或者多GPU的Linux机器。普通消费者的8GB/16GB笔记本跑不了。
适用场景
●有Mac Studio/MacBook Pro 128GB+的开发者,想要本地私有化大模型
●公司有淘汰GPU想复用的团队
●需要OpenAI兼容API的内部服务
●对DeepSeek/GLM有偏好,不需要支持Llama/Qwen等其他模型
不适用场景
●需要通用GGUF推理(用llama.cpp或vLLM)
●内存低于96GB且没有SSD流式需求的机器
●生产环境高可用部署(还在beta)
●需要支持多种不同模型的场景
项目信息
●项目地址:https://github.com/antirez/ds4
●作者:antirez(Salvatore Sanfilippo,Redis之父)
●Stars:2.0万+
●许可证:MIT
●状态:Beta,快速迭代中
*壹仟 | 每天一个硬核开源项目*

