编者摘要:本文介绍谷歌云面向 Kubernetes 的开源 AI 原生栈,适配开源大模型、分布式推理与 AI 智能体生产落地,相关项目均进入 CNCF 沙箱。当前 AI 负载从科研原型走向多租户大规模集群,传统容器方案存在加速器利用率低、KV 缓存失效、框架割裂、智能体代码执行不安全四大痛点。整套栈包含 OpenRL、llm-d、KubeRay、ATE、gVisor、TorchTPU 六大组件:OpenRL 解决强化学习资源浪费,支持加速器时间分片与增量权重同步;llm-d 1.0 提供前缀缓存感知路由、三级 KV 缓存卸载、EPD 解耦推理,大幅降低多轮智能体延迟;KubeRay 依托 Kueue 调度 Ray 分布式训练与数据任务;gVisor 提供内核沙箱隔离不可信智能体代码。实测 Gemma 4 搭配 OpenRL 做强化学习,法律评测准确率从 SFT 的 50% 提升至 70%。方案适合企业平台团队、强监管机构、智能体开发者和 MaaS 厂商,可在 GKE 上私有部署,兼顾自主可控、硬件效率与安全。
作者:阿卜杜勒费塔赫・斯吉乌(Abdelfettah Sghiouar),谷歌云开发者布道师艾伦・奈姆(Allan Naim),GKE 产品管理总监
发布时间:2026 年 11 月 10
过去十年,Kubernetes 已然成为微服务与容器化应用编排的标准。如今,分布式计算领域正迎来下一次重大架构变革:AI 工作负载从孤立的科研原型,转向大规模、多租户生产集群。本文将带你搭建支撑这场变革的开源技术栈,并提供可直接在自有 Kubernetes 集群上试运行的资源清单。你也可以前往 2026 北美 KubeCon 云原生大会,通过现场演示与技术专场亲眼见证这些项目落地。
对于现代工程团队而言,生产级 AI 正在快速脱离对闭源黑盒 API 的通用调用模式。企业逐渐意识到,长期竞争优势来源于领域专业化能力。平台工程师、机器学习研究员和 AI 开发者希望能够自主运行高性能开源权重模型(例如 Gemma 系列模型);借助强化学习(RL),基于企业私有数据集对模型进行适配调优;同时在提供服务时,保障可预测的延迟、高吞吐以及硬件资源利用率最大化。
无论是科研项目利用声学数据训练领域专用模型 DolphinGemma(一款帮助科学家研究海豚交流方式的大语言模型)、法律平台解析复杂合同,还是研发团队搭建自主编码智能体,目标都是一致的:以更低的推理成本、更短的延迟,达到前沿水平的任务效果。
但在传统容器基础设施上规模化落地强化学习后训练、有状态分布式推理以及自主智能体执行,会面临诸多棘手难题:
-
强化学习场景下加速器利用率低:在训练和轨迹生成交替运行时,昂贵的 GPU、TPU 在大部分训练周期里处于空闲状态。 -
无缓存感知的负载均衡:使用 Kubernetes 原生的轮询、最小连接数路由策略时,多轮智能体请求会被分散到不同 Pod,KV 缓存的局部性被破坏。 -
框架碎片化:如果在 Kubernetes 之外单独维护多套独立计算集群(例如自研 Ray、Slurm 环境),会造成资源割裂,大幅增加运维负担。 -
多租户集群下的智能体安全风险:在共享环境中执行模型生成的不可信 Shell 命令与脚本,集群容易遭遇沙箱逃逸、权限提升攻击。
在 2026 北美 KubeCon 谷歌云专场活动中,谷歌云推出并持续完善一套统一的、基于 Kubernetes 与 GKE 的开源原生 AI 技术栈,用来解决上述挑战,整套组件均隶属于 CNCF 沙箱项目:
-
OpenRL(openrl.dev):Kubernetes 原生后训练服务,简化强化学习后训练流程,最大化加速器利用率。 -
llm-d(llm-d.ai):开源分布式推理控制平面,支持前缀缓存感知路由、解耦式服务以及多层级 KV 缓存管理。 -
GKE 上的 KubeRay:提供企业级生命周期管理、弹性扩缩容,依托 Kueue 调度器为分布式 Ray 计算和数据处理任务提供调度能力。 -
ATE(ate.dev):开源编排运行时,为多轮 AI 智能体工作流提供生命周期管理与执行目标能力。 -
gVisor(gvisor.dev):内核级容器沙箱,在多租户集群执行不可信智能体代码时,提供强系统调用隔离。 -
TorchTPU:后端组件,在 vLLM、SGLang 上游版本中,为云 TPU 与 GPU 提供原生 PyTorch 一等支持。
OpenRL:打通强化学习与 Kubernetes
有监督微调(SFT)已经成为行业常规手段,但想要在多步推理、数学证明、自主工具调用这类场景做到领域顶尖能力,离不开强化学习。
长期以来,机器学习实验环境和生产 Kubernetes 集群之间存在壁垒:研究员希望基于 Python、PyTorch 快速迭代,使用标准奖励函数;而平台团队需要多租户管控、配额限制与稳定调度能力。
为消除这种矛盾,谷歌打造了 OpenRL 并贡献至 CNCF 沙箱。
OpenRL 架构亮点
-
简洁的四大原语 Python 抽象:研究员编写标准 Python 训练代码,围绕四个核心原语: forward_backward、optim_step、sample、save_state。OpenRL 自动把这些逻辑转换成 Kubernetes 调度工作流,开发者无需深入理解 Kubernetes 底层,也不用编写基础设施代码。 -
加速器协同时间分片:在同一块物理加速卡上交替执行训练步骤和轨迹推理。不再需要单独搭建静态集群分别服务于计算密集型训练、低延迟轨迹生成。 -
增量权重同步:如果每轮优化后都在集群网络传输数 GB 的完整模型权重,会造成网络拥塞。OpenRL 仅向轨迹生成工作节点传输参数增量,避免轨迹推理冷启动。 -
零配置动态资源分配:OpenRL 自动采集模型上下文长度、批大小、LoRA 微调 / 全参数微调等配置信息,依托 Kubernetes 原生动态资源分配(DRA)声明,在异构加速卡集群内自动打包调度工作负载。
llm-d 1.0:大规模分布式推理
完成模型后训练之后,面向突发、交互式的智能体流量提供推理服务,会带来一系列分布式系统难题。标准入口控制器将大模型请求视为无状态 HTTP 请求,把一轮轮对话分发到不同副本,KV 缓存需要反复重建。
llm-d 项目由谷歌云、红帽、IBM 研究院、CoreWeave、英伟达联合发起,来自 25 家以上机构的 500 多名工程师参与贡献。如今 llm-d 作为 CNCF 沙箱分布式推理控制平面,可以把 vLLM、SGLang 这类独立推理引擎,整合成一套集群级协同服务底座。
apiVersion: inference.networking.x-k8s.io/v1alpha1kind: InferencePoolmetadata:name: gemma-serving-poolnamespace: ai-servingspec:targetRef:group: appskind: Deploymentname: vllm-gemma-27bscheduling:# 将多轮请求路由到持有对应KV上下文的副本strategy: PrefixCacheAwarefallback: LeastQueueDepthobservability:kvCacheSyncInterval: ”50ms”
llm-d 1.0 核心能力
-
前缀缓存感知路由:端点选择器对接网关 API 推理扩展组件,GKE 原生集成该能力。端点选择器实时评估各个工作 Pod 的 KV 缓存驻留情况。在生产环境中,该能力最高可将首 token 生成时间(TTFT)降低 35%70%;面向多轮智能体负载,端到端延迟下降 70%85%。 -
三层 KV 缓存卸载:长上下文交互场景下,当加速器高带宽显存(HBM)资源告急时,llm-d 会逐级迁移 KV 缓存块:HBM 显存 → 主机内存 → 本地 NVMe 固态硬盘 / 谷歌云托管 Lustre / 云存储,避免代价高昂的上下文重计算。 -
基于 DisaggregatedSet 的编码 - 预填充 - 解码(EPD)解耦:将编码、Prefill 预填充、Decode 解码任务拆分到由高速互联连接的专用硬件资源池。DisaggregatedSet 基于 Kubernetes LWS(工作集 API)构建,支持独立水平扩缩容、无停机滚动升级。 -
TorchTPU 上游原生支持:依托 TorchTPU,PyTorch 模型可以在 vLLM、SGLang 上游版本原生运行在谷歌云 TPU 上,TPU v5e、v6e、v7x 与英伟达 GPU 保持能力对齐,不需要维护私有分支或者重写流水线。 -
容忍延迟的异步处理与流控: llm-d-async-processor组件从 Pub/Sub 或者 Redis 拉取后台低优先级任务,利用集群闲置资源处理;同时严格做好流量优先级隔离,后台任务不会影响交互式用户体验。 -
Prism 集群可观测性:借助 llm-d 开源基准与监控面板 Prism,观测集群吞吐、token 间延迟(ITL)、首 token 耗时 TTFT 以及缓存命中率。
KubeRay:分布式 Python 与机器学习编排
推理和强化学习循环由专用运行时承载,而分布式数据预处理、Embedding 生成、分布式 PyTorch 训练大量依赖 Ray。
KubeRay 是开源 Kubernetes 原生算子,在 Kubernetes 上完整管理 Ray 集群、任务、服务的生命周期,提供RayCluster、RayJob、RayService自定义资源。
apiVersion: ray.io/v1kind: RayJobmetadata:name: gemma-fine-tune-jobnamespace: ai-workloadslabels:kueue.x-k8s.io/queue-name: ml-team-queuespec:shutdownAfterJobFinishes: truettlSecondsAfterFinished: 60entrypoint: python fine_tune_gemma.py --model-id google/gemma-2-27b-itruntimeEnvYAML: |pip:- datasets==2.18.0- transformers==4.40.0- torch==2.2.0rayClusterSpec:rayVersion: ”2.35.0”headGroupSpec:rayStartParams:dashboard-host: ”0.0.0.0”template:spec:containers:- name: ray-headimage: rayproject/ray-ml:2.35.0resources:limits:cpu: ”4”memory: ”16Gi”requests:cpu: ”2”memory: ”8Gi”workerGroupSpecs:- groupName: gpu-workersreplicas: 4minReplicas: 1maxReplicas: 8rayStartParams: {}template:spec:containers:- name: ray-workerimage: rayproject/ray-ml:2.35.0resources:limits:nvidia.com/gpu: ”1”cpu: ”8”memory: ”32Gi”requests:nvidia.com/gpu: ”1”cpu: ”4”memory: ”16Gi”
KubeRay 对平台团队的价值
-
声明式集群生命周期:平台工程师可以按需创建临时、自愈式 Ray 集群,用于临时训练任务;也可以部署常驻集群运行批处理流水线。 -
原生对接 Kueue,支持多租户:KubeRay 直接集成 Kueue,在共享 GPU、TPU 资源上实现多租户公平调度、优先级抢占、配额管理。 -
弹性扩缩容:KubeRay 根据正在运行的 Ray 任务与 Actor 放置情况动态调整工作节点数量,避免资源空转浪费。
AI 智能体强隔离:Agent Substrate 与 gVisor
多轮 AI 智能体已经从对话助手,进化为可以生成代码、执行 Shell 命令、编排外部 API 的自治系统。在共享集群中运行模型生成的不可信代码,会带来严重安全风险。
谷歌云向 CNCF 沙箱贡献 Agent Substrate,并持续投入 gVisor 核心开发:
-
内核级沙箱:gVisor 实现用户态内核,拦截并虚拟化系统调用,保障不可信智能体代码无法破坏宿主机内核、访问其他租户负载。 -
亚秒级临时执行:每一轮智能体请求都能在毫秒级拉起独立沙箱环境,同时支撑 OpenRL 里的强化学习轨迹生成以及线上生产智能体工作流。
实战验证:领域推理能力落地
为在严苛的企业负载下验证整套开源技术栈,团队使用 Gemma 4 模型,在 Harvey Labs 开源评测集上开展测试。这套评测覆盖并购尽调、合同争议分析等 24 个复杂法律业务场景。
评测结果:单纯有监督微调(SFT)在多步推理评分标准下准确率大约卡在 50%;搭配 OpenRL 实现可复现的强化学习闭环后,模型准确率提升至 70%。运维效率:整套训练流水线可以和集群内同时运行的 LoRA 微调、推理任务动态共享 GKE 上的 GPU 与 TPU 资源,无需人工资源划分。
不同团队的落地路径
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|

