llm-d 是由 CoreWeave、Google Cloud、IBM Research 和 NVIDIA 等公司支持的新开源项目，旨在加速生成式 AI（Gen AI）大规模推理。该项目基于 Kubernetes 原生架构，利用 vLLM 进行分布式推理，并结合智能网络路由构建稳健的推理云，以支持大语言模型（LLM）满足生产环境严格的服务水平目标（SLO）。
尽管训练至关重要，但生成式 AI 的真正价值在于高效、可扩展的推理。Gartner 预测，到 2028 年数据中心超 80% 的工作负载加速器将专用于推理。随着对复杂推理模型资源需求的增长，集中式推理面临成本高、延迟大的瓶颈，限制了 AI 创新。
回应可扩展推理的需求
Red Hat 联合行业伙伴推出 llm-d，扩展 vLLM 能力以突破单机限制，实现 AI 推理的大规模生产部署。借助 Kubernetes 编排能力，llm-d 将先进推理集成至企业现有 IT 基础设施，在满足业务关键型工作负载需求的同时，最大化效率并降低高性能 AI 加速器的总体拥有成本（TCO）。
llm-d 核心功能包括：
- vLLM 标准推理服务：兼容各类加速器及前沿模型，新增 Google Cloud TPU 支持；
- 预填充与解码分离：解耦输入处理与令牌生成，支持多服务器分布式部署；
- KV 缓存卸载：基于 LMCache 将显存负载转移至 CPU 内存或网络存储，降低成本；
- Kubernetes 集群控制：动态调度计算与存储资源，确保最佳性能与低延迟；
- 面向 AI 的网络路由：智能调度请求至缓存最新推理结果的节点；
- 高性能通信 API：支持 NVIDIA NIXL，实现服务器间高效数据传输。
llm-d：行业领袖共识
llm-d 获得顶级 Gen AI 厂商及云平台联盟支持。CoreWeave、Google Cloud、IBM Research 和 NVIDIA 为创始方；AMD、Cisco、Hugging Face、Intel、Lambda 和 Mistral AI 为合作伙伴。此外，加州大学 Sky Computing Lab（vLLM 创建者）和芝加哥大学 LMCache Lab（LMCache 创建者）等学术机构也提供了支持。
Red Hat 承诺开放协作，积极支持 llm-d 社区发展，营造包容环境吸引新成员，推动项目持续演进。
红帽愿景：任何模型、任何加速器、任何云
AI 未来不应受限于基础设施孤岛。Red Hat 致力于构建通用推理平台，使组织能在任意云和加速器上部署模型，提供一致体验并控制成本。正如 Red Hat 曾推动 Linux 成为现代 IT 基础，现正通过繁荣的 vLLM 及 llm-d 生态系统，确立混合云时代推理的开放标准。
Red Hat Summit
关注 Red Hat Summit 主题演讲，获取高管、客户及合作伙伴最新动态：
- 现代基础设施与企业 AI 对齐：5月20日 8:00–10:00 EDT（YouTube）
- 混合云演进驱动业务创新：5月21日 8:00–9:30 EDT（YouTube）