DeepSeek正式开源其线上运行的V4.1大模型生产级推理系统。此次公开的核心项目包括底层推理引擎DeepInfer，以及负责前后端协议与Token编解码的deepseek-recipe。
开源地址：
官方线上服务即基于此套代码运行，旨在实现高吞吐量与低延迟。DeepSeek希望通过分享生产栈，帮助社区降低计算成本与能源消耗，推动AI技术更普惠。
生产级推理引擎：DeepInfer
DeepInfer采用Apache 2.0协议开源，核心任务是在大规模集群上优化吞吐并降低延迟，DeepSeek-V4.1-Flash由其支持。
硬件支持与性能基准
框架支持以下硬件平台：
-
英伟达SM100 GPU（Blackwell架构，如B100、B200及GB200系列） -
华为昇腾950 NPU
官方性能测试显示，Prefill阶段在4张SM100上进行，Decode阶段则在64张SM100扩展域中完成。
环境依赖要求
-
Linux系统 -
GCC 13.0及以上 -
Python 3.12 -
英伟达平台需CUDA 13 -
华为平台需CANN 9.2
核心技术特性
DeepInfer底层基于vLLM构建，融合SGLang与TensorRT-LLM设计，默认权重代号为DeepSeek-V4.1-Flash-1017。其整合的关键环节包括：
-
并行机制：支持Attention DP、负载均衡CP，以及MoE的EP与EPLB。 -
调度与验证：引入DSpark、置信度调度验证，支持投机解码及零开销批处理异步调度器。 -
精度与一致性：支持SWA有界重放、批次不变性推理、确定性采样及结构化输出。
需注意，此次开源主要涵盖离线推理和核心引擎能力。若要搭建完整在线服务，用户需自行补充以下组件：
-
独立的KV Cache管理系统 -
VE、Prefill与Decode完全解耦的架构 -
跨数据并行副本的负载均衡机制
协议与分词组件：deepseek-recipe
deepseek-recipe同步开源，采用MIT协议，使用Rust编写并提供Python绑定。其作用是确保外部部署接口行为与DeepSeek官方API完全一致。
该组件负责将外部请求统一转换为Conversation内部格式，完成Prompt渲染与Token编码，并将模型生成的Token解码还原为对应协议。默认支持DeepSeek-V4-Pro和DeepSeek-V4.1-Flash两个型号。
上下文与Token限制
根据不同模式，Token上限硬性划分如下：
-
常规模式：默认输出上限8192个Token。 -
思考模式：默认上限放宽至65536个Token。 -
高力度思考模式：默认上限达到131072个Token。
多模态与工具调用差异
在多模态与工具调用方面，V4.1与V4版本存在显著区别：
-
图像支持：DeepSeek-V4.1支持图像输入（Base64或外部URL），由OpenCV预处理；DeepSeek-V4不支持图像，遇图像输入会转为不支持占位符。 -
工具调用：V4.1支持延迟工具加载、Responses协议下的客户端工具搜索、工具命名空间，以及内置apply_patch自定义补丁工具。
此外，该库集成JSON Schema、正则表达式等结构化约束解码支持，并可单独统计思考过程Token及透传Logprobs概率。未来DeepSeek后续模型的推理适配代码均将纳入此框架。
--end--
/...@作者：你说的完全正确（YAR师）