大数跨境

Redis之父的本地推理引擎进化了:双Mac并联、...

Redis之父的本地推理引擎进化了:双Mac并联、... AI大风歌
2026-08-05
0
导读:Redis之父的本地推理引擎进化了:双Mac并联、...

Redis之父的本地推理引擎进化了:双Mac并联、旧显卡集群、MacBook跑PRO模型


 

antirez/ds4重大更新,从单模型专用引擎进化为多模型多平台推理系统,企业级方案浮出水面

 


 

一秒破冰

 

三个月前,Redis之父antirez发布了ds4,让MacBook本地跑DeepSeek V4 Flash成为现实。

 

当时很多人说:「不错,但也就是个玩具。」

 

现在他交出了新版本,直接打脸:

 

●双Mac通过RDMA张量并行,两台笔记本拼成一台推理服务器

●8张被淘汰的L40S旧卡,搭出120 t/s的多用户LLM服务

●连AMD Strix Halo都支持了,Framework Desktop也能跑大模型

●新增GLM 5.2支持,不再只绑死DeepSeek

 

这哪是玩具,这是要革云厂商的命。

 


 

硬核解读

 

新版本到底改了什么

 

先说结论:ds4从一个「DeepSeek专用推理器」进化成了一个「本地推理平台」。

 

1. 模型支持大幅扩展

 

之前只支持DeepSeek V4 Flash,现在:

●DeepSeek V4 Flash(主力)

●DeepSeek V4 PRO(512GB内存巨兽专属)

●GLM 5.2(智谱最新模型)

 

而且不是随便支持,antirez做了专门的routed-MoE量化:只量化MoE专家部分(占模型体积大头),共享专家、路由、投影层保持原始精度。2bit量化后质量依然在线,工具调用稳定可靠。

 

2. 硬件覆盖面炸裂

 

●平台:支持情况

●Mac(Metal):主力平台,96GB+内存最佳

●NVIDIA CUDA:多GPU、DGX Spark、Blackwell

●AMD ROCm:Strix Halo(Framework Desktop)

●CPU:诊断模式,不推荐日常用

 

重点说说CUDA多GPU方案:antirez用8张L40S(Ada Lovelace架构,已经被vLLM抛弃的「旧卡」)搭了一个多用户服务器。聚合生成速度120 t/s,预填充2000 t/s。

 

这意味着什么?你公司机房里那些被淘汰的显卡,不用扔,装个ds4-server就能变成内部LLM服务。

 

3. DSpark推测解码

 

DeepSeek官方发布的辅助模型,能预测接下来最多5个token,主模型验证后批量接受。代码场景加速明显,因为代码的连续性高、可预测性强。

 

目前还是实验性质,加速幅度有限,但方向是对的。

 

4. 双Mac张量并行

 

两台Mac(M5 Max/M3 Ultra)通过RDMA连接,把模型切到两台机器上跑。4bit DeepSeek Flash或GLM 5.2都能跑起来。

 

这个方案的潜台词:不用买512GB的Mac Studio,两台128GB的MacBook拼一下也行。

 

5. SSD流式加载

 

内存不够?没关系。非路由权重常驻内存,MoE专家按需从SSD加载。Mac的SSD速度够快,cache miss的延迟可以接受。

 

这让96GB内存的MacBook也能跑156GB的MXFP4模型,只是速度慢一些。

 


 

实战演示

 

安装和运行

 

git clone https://github.com/antirez/ds4.git
cd ds4


./download_model.sh q2-imatrix


make


./ds4


./ds4-server

 

不同内存的模型选择

 

./download_model.sh q2-imatrix        # 2bit量化,质量够用
./download_model.sh q2-q4-imatrix     # 最后6层用q4,质量更好一点


./download_model.sh q4-imatrix        # 4bit量化,质量接近原始
./download_model.sh mxfp4             # 原生MXFP4,约156GB


./download_model.sh pro-q2-imatrix    # PRO模型2bit量化

 

开启DSpark推测解码

 

./download_model.sh dspark-support


./ds4 -m ds4flash.gguf \
  --mtp gguf/DeepSeek-V4-Flash-DSpark-support.gguf \
  --dspark --temp 0

 

SSD流式模式(内存不够时的救星)

 

./ds4 -m ds4flash.gguf --ssd-streaming

 


 

老司机辣评

 

值得兴奋的部分

 

1. 旧卡复活方案真实可用。8xL40S搭多用户服务器,这个场景太实际了。多少公司的GPU在吃灰,vLLM不支持它们了,ds4-server接手。

 

2. 双Mac并联打开了想象空间。不用追求单机大内存,两台消费级设备拼起来就行。对开发者个人来说,这是目前性价比最高的本地大模型方案。

 

3. 量化策略很聪明。只量化MoE专家,其他保持精度,2bit也能用。这比粗暴的全模型量化高明得多。

 

需要冷静看待的部分

 

1. 模型支持依然「机会主义」。antirez明确说了,只跟进最好的开源模型,随时可能移除旧模型。这不是一个通用推理框架,别指望它支持所有GGUF。

 

2. DSpark还在实验阶段。目前加速有限,低收益场景甚至可能更慢。别指望立竿见影的速度提升。

 

3. Beta质量。antirez自己说了,软件变化很快,instabilities是可能的。生产环境慎用。

 

4. AI辅助开发的代码。项目明确写了大量使用GPT 5.5/5.6和Claude Fable开发。如果你介意这一点,这个项目不适合你。不过antirez也强调了llama.cpp/GGML的基础贡献,核心工程知识是人工积累的。

 

5. 硬件门槛依然不低。最入门也要96GB内存的Mac,或者多GPU的Linux机器。普通消费者的8GB/16GB笔记本跑不了。

 

适用场景

 

●有Mac Studio/MacBook Pro 128GB+的开发者,想要本地私有化大模型

●公司有淘汰GPU想复用的团队

●需要OpenAI兼容API的内部服务

●对DeepSeek/GLM有偏好,不需要支持Llama/Qwen等其他模型

 

不适用场景

 

●需要通用GGUF推理(用llama.cpp或vLLM)

●内存低于96GB且没有SSD流式需求的机器

●生产环境高可用部署(还在beta)

●需要支持多种不同模型的场景

 


 

项目信息

 

●项目地址:https://github.com/antirez/ds4

●作者:antirez(Salvatore Sanfilippo,Redis之父)

●Stars:2.0万+

●许可证:MIT

●状态:Beta,快速迭代中

 


 

*壹仟 | 每天一个硬核开源项目*

 

【声明】内容源于网络
0
0
AI大风歌
1234
内容 373
粉丝 0
AI大风歌 1234
总阅读0
粉丝0
内容373