(文/赖家琪 编辑/吕栋)
在美国AI企业普遍聚焦高价闭源模型的背景下,DeepSeek选择将核心技术对外开放。10月20日,DeepSeek宣布开源内部生产级推理框架DeepInfer。该框架是其在面临美国尖端芯片出口限制下,确保大模型性能紧追国际顶尖水平的关键。作为管理计算资源的核心组件,推理框架的设计直接决定了延迟、吞吐量及硬件需求,是影响AI运营成本的重要因素。
开源核心推理技术,打破行业“黑盒”惯例
彭博社指出,推理技术通常被视为AI公司的核心竞争力而鲜少公开。DeepSeek此举让外界得以一窥其如何在压低运行成本的同时保障模型性能。即使同一款AI模型,因软件效率不同,实际运行成本与能耗差异巨大。
DeepInfer整合了分布式推理、投机解码等技术,能将AI负载分配至不同硬件,提升生成速度并挖掘芯片潜力。目前,该框架已兼容英伟达SM100 GPU和华为昇腾950 NPU。尽管部分底层技术已被业界采用,但DeepSeek针对自身模型进行了专项优化,实现了更高效协同。
降低部署门槛,海外开发者积极反馈
对于AI托管服务商和企业用户而言,更低的推理成本意味着更大的利润空间或服务价格优势。同时,开源也为其他开发者提供了研究样本,助力优化自有推理系统。
开源消息发布后,海外社区反响热烈。专注于AI开源优化的Unsloth AI公司表示,借助相关技术,DeepSeek-V4.1-Flash-1017模型已能在配备128GB内存的设备上实现本地运行。众多海外开发者称赞其为“真正的开放AI”,认为中国公司正通过降低成本推动AI普惠,这与美国AI行业强调闭源和算力护城河的路线形成鲜明对比。
践行“开放”理念,推动AI生态公平透明
需注意的是,DeepInfer并非完整的推理技术栈。官方文档显示,构建完整服务仍需KV缓存系统、Prefill/Decode解耦及负载均衡等功能,这些尚未完全包含在此次开源项目中,但核心解耦功能已基本实现。
AI基础设施初创公司Requesty首席执行官蒂博·杰古认为,DeepInfer降低了部署门槛,但企业仍需具备相应的算力和技术能力才能高效管理。在广大海外网友看来,DeepSeek正通过将企业内部技术公开,让更多人参与AI建设。相较于OpenAI等公司的闭源策略,DeepSeek以实际行动诠释了“开放”精神,致力于推动全球AI服务更加公平、透明、可信赖,加速技术迭代并减少能源浪费。

