2月3日，百度智能云千帆大模型平台正式上线了DeepSeek-R1与DeepSeek-V3模型，模型上线首日，已有超1.5万家客户通过千帆平台进行模型调用。百度智能云针对此次模型上线提供了行业领先的超低推理价格，低至DeepSeek官方刊例价3-5折，当前还可享受限时免费服务。这一突破性进展的背后，是百度智能云在推理引擎性能优化技术、推理服务工程架构创新以及推理服务全链路安全保障上的深度融合。本文将深度解析其技术实现路径。
已上架至千帆ModelBuilder「模型广场」
可在千帆ModelBuilder「体验中心」立即体验
推理引擎性能优化技术
基于百度智能云在大模型推理性能优化方向的技术积累，针对DeepSeek模型MLA结构的计算进行了极致的性能优化，并通过计算、通信、内存不同资源类型算子的有效重叠及高效的Prefill/Decode分离式推理架构等，在核心延迟指标TTFT/TPOT满足SLA的条件下，实现模型吞吐的大幅度提升，进而显著降低模型推理成本。
推理服务的工程架构创新
在推理服务层面，进行了深入的优化与创新。针对推理架构，做了严格的推/拉模式的性能对比。经验证拉模式在请求处理的成功率、响应延时以及吞吐量等关键指标上均展现出更为卓越的性能。为了进一步提升系统的稳定性和用户体验，巧妙地设计了一种请求失败的续推机制，这显著增强了系统的容错能力和服务SLA达标率。同时针对多轮对话和system设定等场景中存在重复Prompt前缀的情况，实现了主流的KV-Cache复用技术，并辅以全局Cache感知的流量调度策略。这一举措有效避免了Token KV的重复计算，从而大幅降低推理延迟，提高了推理吞吐。
推理服务的稳定安全保障
千帆平台基于百度自身长期的大模型安全技术积累，集成独家内容安全算子，实现模型安全增强与企业级高可用保障，基于大模型全生命周期数据安全与模型保护机制，在千帆平台上的模型均拥有使用安全的安全保障；基于在安全方面的专项优化，确保DeepSeek-R1&DeepSeek-V3模型，企业用户在使用过程也具有更高的安全性。
百度智能云千帆ModelBuilder始终致力于为用户提供全流程、一站式的 AI 服务，除了强大的模型资源，还匹配了完善的一站式模型效果调优工具链，包含数据加工、模型精调、模型评估、模型量化等关键环节，助力企业根据自身业务需求深度优化模型性能。同时，百度智能云千帆ModelBuilder具备卓越的模型推理托管能力，支持vLLM、LMDeploy、TensorRT-LLM、SGLang等各类主流推理框架，还支持模型的自定义导入与部署，为开发者提供了高度灵活的开发环境。
值得一提的是，百度智能云近日成功点亮了昆仑芯P800万卡集群，这也是国内首个正式点亮的自研万卡集群，百度智能云将进一步点亮3万卡集群。
未来，我们将持续解锁更多技术文档，共享行业最佳实践案例，助力每一位创新者更快突破技术边界。我们期待与更多企业用户、开发者一起，共同探索无限可能，携手共创AI新篇章。
来源：百度智能云
END
“百度智能云千帆大模型产业（北京）创新基地”，是由北京市石景山区携手百度共同打造北京唯一的人工智能领域标杆基地。基地依托百度智能云千帆大模型技术平台，聚焦打造三大引擎服务，扎根石景山、立足全北京、辐射全国，聚焦产业+AI人才培养，以AI产业应用场景和需求为牵引，集聚AI创新企业、培养科技人才、带动产业升级，全面响应“石景山区通用人工智能大模型产业集聚区”的发展目标，助力石景山打造人工智能产业新高地。