大数跨境
首页
>
梁圣大气！DeepSeek推理框架全开源，公布日均吞吐和毛利，真正的OpenAI来了
>

梁圣大气！DeepSeek推理框架全开源，公布日均吞吐和毛利，真正的OpenAI来了

梁圣大气！DeepSeek推理框架全开源，公布日均吞吐和毛利，真正的OpenAI来了 智东西
2026-10-20
12
导读：DeepSeek V4.1 Flash高吞吐、低延迟的背后，竟然是它？！

DeepSeek V4.1 Flash高吞吐、低延迟的背后，竟然是它？！
作者 |  王涵
编辑 |  心缘
智东西10月20日报道，DeepSeek正式开源其内部使用的大规模云服务推理框架DeepInfer及生产级Token编解码组件deepseek-recipe。

DeepInfer：支持多平台的高性能推理引擎

DeepInfer框架集成了高性能算子和深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay及结构化输出等能力，兼容英伟达与华为昇腾平台。
数据显示，基于该框架实现的DeepSeek V4.1 Flash大规模推理服务，单一集群日吞吐量达155万亿Tokens。按谷价计算，单卡每小时收入约38美金（约合人民币253.81元），即单卡满负荷运行日收入超6000元，月收入可达18.5万元。
deepseek-recipe组件则实现了主流大模型API协议与模型Tokens间的编解码，逻辑与官方API完全对齐，确保第三方部署能获得一致的API体验。

技术解密：吞吐、成本与延迟的极致优化

DeepSeek在知乎发布的技术报告详细披露了V4.1 Flash推理系统的架构细节。以下是基于最新模型总结的核心要点：

吞吐线：最小化GPU空转

1、节点内MoE专家并行（EP）：通过增大batch size提升GPU矩阵乘效率。
2、动态并行度策略：Prefill阶段采用EP2～8/DP2～8（显存充足时取小值）；Decode阶段在64～128卡超节点中采用EP64～128/DP64～128 Wide-EP（资源充足时取大值）。
3、四类负载均衡器：
  • Prefill：四级调度共用代价模型，决策归结为compute-quota。
  • Decode：两维均衡，moe_lb为1.090。
  • Vision Encoder：按patch粒度分配，通常单卡部署。
  • EP：采用冗余专家参数与动态重排。
  • DSpark变长验证：利用低秩logit bias校正偏差，Confidence Head根据置信度决定验证长度，替代固定5 token验证，提升6%吞吐。
4、异步调度：利用CPU逻辑填充Decode步骤间的GPU空档，实现流水线重叠。
5、容错机制：通过预留机器、请求重路由及降级重启来保障稳定性，而非依赖快速重启。

成本线：最小化重复Prefill

1、KVCache长期留存：设计目标超过72小时。线上TTL设置为Agent端3天、Chatbot端7天（若Chatbot设为3天，命中率将下降0.5%–1%）。
2、独立存储架构：Block KVCache不进入本机内存，而是以128 token为块、4层mainKV写入独立的3FS集群（约100PiB SSD）。此举实现了“任意Prefill机器可命中任意前缀”，但放弃了前缀亲和路由。
3、SWA优化：20层×134的Ring结构仅保留在本机内存，不持久化，TTL约180秒，命中率超98%；未命中部分由Bounded Replay重算。
4、SWA Bounded Replay改进：V4.1版本不再将SWA落盘，改为仅重算最近128 token，使Decoder侧总Prefill计算量近乎减半。
5、硬件兼容性：支持常见硬件组网（8卡机+超节点），兼容多厂商芯片。

延迟线：TTFT与TBT分别优化

1、分离部署：编码器、Prefill和Decode解耦部署，分别优化首字延迟（TTFT）和Token生成延迟（TBT）。
2、动态Chunk Size：根据目标时延反推每个Chunk的大小。
3、并行分词：核心路径采用Rust实现，将线性分词改为分段并行（Special Token间文本独立编码后拼接），避免拖累TTFT。
4、流式返回：跨Chunk状态机缓冲不完整UTF-8码点，分阶段维护思考/正文/工具参数状态，利用KMP增量匹配分隔标记，无需回溯已确定文本。
5、工具参数优化：按DSML边界直接输出JSON片段并逐段转义字符串，缩短首个参数片段的等待时间。
6、投机解码：Confidence Head根据接受率动态分配验证算力，避免固定长度验证带来的无效等待。

开源资源与说明

技术报告地址：
https://zhuanlan.zhihu.com/p/2095560295930508953
开源地址：
DeepInfer: https://github.com/deepseek-ai/DeepInfer
deepseek-recipe: https://github.com/deepseek-ai/deepseek-recipe
DeepSeek团队表示，由于KVCache管理与负载均衡组件与内部基础设施耦合较深，相关代码暂未完整开源。未来新模型的推理代码及性能优化将在DeepIner中持续更新。

【声明】内容源于网络
0
0
智东西
各类跨境出海行业相关资讯
内容 11903
粉丝 0
智东西 各类跨境出海行业相关资讯
总阅读282.1k
粉丝0
内容11.9k