开源社区快速跟进，vLLM与SGLang性能逼近DeepInfer
DeepSeek旗下推理引擎DeepInfer开源不到一周，开源社区已迅速响应并产出优化成果。以vLLM和SGLang为代表的成熟推理框架率先完成升级，在特定测试配置下，其性能已接近甚至在部分场景下超越DeepInfer。
DeepInfer最初基于vLLM构建，并借鉴了SGLang的设计思路。随着DeepSeek公开核心实现，两大框架迅速吸收并进行二次优化，展现出开源生态的高效迭代能力。此外，受DeepInfer启发的个人开发者项目也陆续上线，涵盖硬件适配、推理加速及部署优化等多个方向，整体性能显著提升。
vLLM：集成开源内核，细节优化提升显著
vLLM通过集成DeepSeek开源内核，并对预填充和解码阶段进行深度优化，性能曲线已与DeepInfer持平。
在相同解码配置下（131K上下文、每轮3个草稿token），使用GB200测试显示，vLLM在批大小为8到256范围内的吞吐量与DeepInfer差距仅为6%。同时，预填充阶段的新增token吞吐量提升了35.6%至43.9%。
在NVIDIA GB300 NVL72机架部署测试中，配合预填充与解码分离及扩大专家并行策略，vLLM在SemiAnalysis AgentX测试中的每卡吞吐量高达95.4万tokens/s，是此前单节点结果的7.9倍。
性能提升源于对细节的极致优化。例如在稀疏注意力的top-k选择中，新实现让DeepSelect直接处理BF16数据，省去了从BF16转换至FP32再筛选的步骤，使该算子处理速度提升至原来的约3.7倍。此外，vLLM还改进了CPU通信方式，采用递归倍增减少同步轮次，并单独支持DSpark草稿生成及完整CUDA Graph执行专用解码路径，进一步优化小批量解码性能。
SGLang：全阶段覆盖，功能组件更完整
SGLang在预填充和解码两个阶段均实现了性能突破。在4张B300和4张GB300上的预填充测试中，其最高吞吐比DeepInfer高出约4%。在64张GB300的解码测试中，每卡256个请求时，SGLang单步耗时28.88毫秒，较DeepInfer的31.19毫秒缩短约7.4%；每卡8个请求时，两者性能基本持平。
SGLang集成了Mega内核系列（MegaMoE、MegaAttention等）、SWA有界重放及Engram优化，并通过引入更多内核融合方案及支持可拆分CUDA图，实现了高效预填充。相比DeepIner开源版本，SGLang提供了更完整的服务组件，包括KV缓存系统、预填充/解码分离架构及负载均衡模块。
值得注意的是，SGLang团队在GB300和B300上重新运行DeepInfer基准测试时发现，部分配置下的实际吞吐量高于DeepSeek最初公布的成绩，显示出官方测试数据的保守与实在。
个人开发者创新：Resin库助力模型快速落地
开发者Eric Zhang基于实验性积木库Resin，受DeepInfer启发快速实现了多项功能与并行机制。Resin将调度器、KV缓存管理等通用部分作为公共底座，用户可补充特定模型和硬件的计算实现以组合成独立引擎。
测试显示，在DeepSeek-V4.1-Flash模型上，Resin性能与DeepInfer相差约5%～10%，并具备HTTP服务、前缀缓存和指标监控等功能。
借助AI辅助编程，Resin进一步实现了对GLM-5.3-Flash引擎的支持。在B200、EP4配置下，其输入吞吐最高达6万tokens/s，输出吞吐最高达1.6万tokens/s。Resin保持开源，体现了从DeepInfer出发，经社区优化后回归开源的良性循环，推动了可持续开源生态的发展。
