继开源内部大规模生产级推理框架后，DeepSeek官方发布技术报告，详细拆解了超大规模集群调度的底层设计。
核心技术指标显示，基于该框架实现的 DeepSeek V4.1 Flash 已达成高吞吐、低延迟的大规模推理服务。目前单一集群服务吞吐量达 155 万亿 Tokens/天，按谷价计算，整体收入为每卡每小时 38 美元。相较于行业平均每小时 5 至 10 美元的显卡算力成本，其在极低 API 售价下仍保持高达 80% 的服务毛利率。
为何DeepSeek能实现高毛利与高吞吐？
大模型推理的核心痛点在于用户量激增导致的集群吞吐瓶颈，表现为算力闲置与通信排队严重。DeepSeek 通过以下三大目标重构系统架构：
- 硬件兼容：同时适配英伟达与华为昇腾硬件。
- 任务分离：将 Prefill（预填充）与 Decode（解码）任务完全解耦。使用普通 8 卡机器处理输入 Prefill，利用 64 至 128 卡超节点专注输出 Decode。
- 缓存优化：将用户历史会话的 KVCache 保留时间延长至 72 小时以上，彻底消除重复计算。
在硬件分配上，Prefill 阶段采用较小的专家并行度（EP2-EP8），Decode 阶段则拉满至 EP64 甚至 EP128，以最大化矩阵乘法效率。多模态图片编码独立部署，利用低成本显卡单卡运行。
Rust重构分词器，极致优化协议转换
针对超长文本分词拖慢 CPU 响应及潜在的安全注入风险，DeepSeek 使用 Rust 重构了 API 协议适配、输入编码和输出解析流程。通过记录特殊标记的绝对位置并仅对普通文本进行并行切分编码，有效杜绝注入攻击并压缩长文本处理耗时。
在流式输出环节，引入跨切片解析状态机。即使 UTF-8 字符被切断，状态机也能在内存中暂存拼合，一旦识别工具调用参数，直接原地组装输出 JSON 片段，避免构造多余完整对象，从而极致提升首字返回速度。
四层负载均衡，消除显卡空转
为解决节点变大后的“木桶效应”，DeepSeek 实施了四层负载均衡调度：
- Prefill 负载均衡：将输入长度分为四档，基于二次方模型预测耗时，在纳秒级预算内动态推算最佳 Token 处理数。
- Decode 负载均衡：实时监控每张卡的请求数与缓存总长，交替搭配长短请求，将长请求分配至缓存总量较小的卡。
- MoE 专家并行负载均衡：每卡预留冗余专家位（Prefill 留 4 个，Decode 留 1 个），动态统计冷热访问并自动迁移热点专家权重，将最慢卡与平均卡的性能偏差控制在 10% 以内。
- 弹性容灾：面对流量波动自动缩容，遭遇节点故障时直接按健康卡数就地重组通信域，避免长时间重启。
100PB分布式存储，实现缓存长效留存
KVCache 复用是降低推理成本的关键。DeepSeek 将缓存划分为 Block KVCache 和 SWA KVCache 两部分。核心 Block KVCache 以 128 个 Token 为一页，存入底层 3FS 独立分布式文件系统。该系统配备 100PB 固态存储，峰值聚合读取带宽达每秒 10TB。
智能体场景缓存保存 3 天，普通对话场景保存 7 天。由于数据存储在外部独立系统中，计算节点宕机不会丢失缓存，任何机器均可拉取历史会话，彻底解决了存储与算力扩容绑定的矛盾。
SWA Bounded Replay，算力开销减半
针对滑动窗口注意力（SWA）数据时效短、长期存盘浪费空间的问题，DeepSeek V4.1 推出折中方案：SWA KVCache 不写入硬盘，仅在生成机器内存中保留约 180 秒，命中率维持在 98% 以上。
超时后，系统不再从硬盘检索，而是触发截断重算，仅重算最近 128 个 Token 并限制注意力窗口，重新拼出近似值。Decoder 端每次仅重算末尾 128 个 Token，产出即弃，不进缓存，使 Prefill 计算量缩减近半。
投机解码变长验证，GPU零等待运转
在输出端，采用 DSpark 投机解码技术。通过增加置信度预测头，模型边生成边计算概率，每次生成 5 个候选并按接受率动态排序，仅挑选预期收益最高的前缀进行验证，使线上实际吞吐净增 6%。
此外，通过消除 CPU 调度等待时间，实现 GPU 与 CPU 的无缝流水线运转：GPU 执行当前步骤时，CPU 同步完成下一步调度、指令发射及上一步后处理，确保 GPU 全程满载无空闲。
通过整套软硬件架构重构，DeepSeek 将大模型服务转化为极高吞吐的工业流水线，不仅揭示了推理优化的技术路径，也证明了低价 API 背后拥有可观的利润空间。
--end--