这波开源再次把A\和O吊起来锤！DS YES
客观地说，对所有厂商间接的价格压力不小。对国产芯片，昇腾是最大的受益者；其他国产厂商面对的门槛被明显抬高了，国产厂商工作的兄弟们压力不小。
DeepInfer 最早基于 vLLM 开发，现在的 vLLM 痕迹已经很少，调度器、输入准备和采样输入构造都改成了 C++。这次开源的范围比较克制，只支持一个模型：DeepSeek-V4.1-Flash。只支持两类硬件：NVIDIA SM100（Blackwell）和华为昇腾 950。只包含离线推理，KV cache 存储系统、PD 分离（prefill 和 decode 分开部署）、负载均衡和在线服务都不在里面。
所以它更接近 DeepSeek 生产推理系统里单个引擎实例的那部分，算不上一套拿来就能上线的服务框架。
信息量比较大的是 Q&A 部分，里面给出了 DeepSeek 自己的线上数字：1.单集群每天处理约 155 万亿 token，折算每卡每小时收入约 38 美元。2.decode 用 EP64 到 EP128 的大规模专家并行，prefill 用 EP2 到 EP8 3.KV cache 存在 3FS 分布式存储里，10+2 纠删码，保留 3 到 7 天。
DeepInfer 里最省钱的部分，都和 DeepSeek 的模型结构绑在一起，什么跨层共享 KV，后半部分层借用中间层的 KV（DeepSeek 称为 YoCo）什么的。这些都要求训练时就按这种方式设计模型。
大规模在线服务的难点主要在全局 KV 缓存、PD 分离、跨集群负载均衡和故障处理，DeepInfer 这次没有放出来。但总的来说对云厂商是一个重大利好，第一天就有了明确的参照和现成的实现。结果是，在开源模型已经够用的任务上，服务价格的下限会继续往下走。
读完代码，我最大的感受是 DeepSeek 的低成本是结构性的。KV 能压到这么小、prefill 计算能省掉将近一半，靠的是模型和推理系统codesign。只靠堆硬件或者调 kernel，做不到这种程度。
对国内 GPU、NPU 厂商的影响
DeepInfer 的硬件抽象只有两条路径：一条是 达子（CUDA、NCCL），一条是昇腾（CANN、HCCL）。
昇腾这条路径和nv一样都是一等公民：
-
基于 TileLang 写的自定义算子，nv和昇腾各有 30 个，一一对应。DeepSeek 的核心算子库也有对应的昇腾版本：DeepGEMM-Ascend 和 DeepEP-Ascend。
以前国产芯片跑 DeepSeek 新模型，通常是厂商自己维护 vLLM 或 SGLang 的分支，性能和功能都跟在后面。现在昇腾和 NV 用同一个引擎、同一套算法，差距只剩硬件本身和底层算子的实现质量。这还会带来两个连锁效应：
-
TileLang 的昇腾后端经过了大规模生产验证，CANN 生态的说服力随之增强。 -
只支持 950，对华为推动客户换代有直接帮助。
DeepSeek 加昇腾，很可能成为国内大规模推理部署的默认组合之一。
对其他国产厂商
寒武纪、海光、昆仑芯、摩尔线程、沐曦、壁仞、燧原、天数智芯等厂商可能就没这么好过了，想完整适配 DeepInfer，大致可能要推翻之前做的推理引擎，而去fork一个deepinfer repo补齐这些东西：
-
一个 TileLang 后端，加上约 30 个自定义算子，或者等价实现。 -
1. FP8 乘 FP4 的 GEMM，以及把专家分发、计算、合并融合进一个 kernel 的 mega MoE。 -
2. 稀疏注意力和 top-k 选择算子。 -
3. 支持设备端主动发起通信的专家并行通信库，以及 Engram 需要的跨卡查表能力。 -
4. 平台层的整套适配。
对所有厂商来说，TileLang 后端的成熟度会变得很关键， 有成熟 TileLang 后端的厂商，移植这类引擎的成本会低很多。
对芯片设计方向的影响
这套引擎把 DeepSeek 对推理硬件的期望写了进去。
低精度格式要和 DeepSeek 对齐。 专家权重用 FP4，激活和 KV 用 FP8，缩放因子统一用 UE8M0 格式。去年发布 V3.1 时，DeepSeek 就说过 UE8M0 FP8 是为即将发布的下一代国产芯片设计的，这次在代码里全面落地了。不支持这些格式的芯片，要么损失精度，要么损失性能。
显存容量的压力降低了，互联的要求提高了。 每 token 的 KV 小到 1KB 以下，长上下文对 HBM 容量的需求大幅下降。对受出口管制影响、HBM 容量普遍偏小的国产芯片来说，这是实打实的利好。但 decode 要做 EP64 以上的大规模专家并行，mega MoE 还要求大规模高速互联域和设备端通信能力，瓶颈从显存转移到了互联。
主机和加速卡之间的带宽变得更重要。 Engram 的 n-gram 表规模很大，DeepInfer 默认把它放在主机内存里，前向时按哈希远程拉取。NPU 路径还专门调用了昇腾的主机内存注册接口来锁页。这对 CPU 和加速卡之间的带宽、延迟都提出了要求。
几点启示
对大模型公司，推理成本越来越取决于训练阶段的结构选择。DeepSeek 的做法是在设计模型时就把 KV 大小、prefill 计算量、投机解码的接受率当作目标，再配一个专门的推理引擎把收益吃干净。只把推理当作部署阶段的工程问题，很难做到同样的成本。
对芯片厂商，和头部模型公司的联合优化已经从加分项变成了必选项。新模型发布时有没有day0的官方支持，直接影响客户做选择。另外，适配工作的主战场正在从 CUDA 兼容层转向 TileLang 这类编译器 DSL 和低精度格式的支持。
对普通打工人，DeepInfer 不会取代 vLLM 和 SGLang。它不做前缀缓存，不提供在线服务，只支持一个模型，但它提供了一个很好的参照：当模型和引擎由同一个团队设计时，系统可以简化到什么程度，哪些状态必须存、哪些可以重算。通用框架后续怎么吸收这些设计，值得持续关注。所以大家也并不必焦虑没有饭吃。