大数跨境

面向生产:Kubernetes 上的开放 AI 技术栈

面向生产:Kubernetes 上的开放 AI 技术栈 苏哲管理咨询
2026-11-17
0
导读:面向 Kubernetes 的开源 AI 原生栈,适配开源大模型、分布式推理与 AI 智能体生产落地,相关项目均进入 CNCF 沙箱。当前 AI 负载从科研原型走向多租户大规模集群,传统容器方案存在加
https://storage.googleapis.com/gweb-cloudblog-publish/images/kubena26-hero.max-2500x2500.jpg编者摘要:本文介绍谷歌云面向 Kubernetes 的开源 AI 原生栈,适配开源大模型、分布式推理与 AI 智能体生产落地,相关项目均进入 CNCF 沙箱。当前 AI 负载从科研原型走向多租户大规模集群,传统容器方案存在加速器利用率低、KV 缓存失效、框架割裂、智能体代码执行不安全四大痛点。整套栈包含 OpenRL、llm-d、KubeRay、ATE、gVisor、TorchTPU 六大组件:OpenRL 解决强化学习资源浪费,支持加速器时间分片与增量权重同步;llm-d 1.0 提供前缀缓存感知路由、三级 KV 缓存卸载、EPD 解耦推理,大幅降低多轮智能体延迟;KubeRay 依托 Kueue 调度 Ray 分布式训练与数据任务;gVisor 提供内核沙箱隔离不可信智能体代码。实测 Gemma 4 搭配 OpenRL 做强化学习,法律评测准确率从 SFT 的 50% 提升至 70%。方案适合企业平台团队、强监管机构、智能体开发者和 MaaS 厂商,可在 GKE 上私有部署,兼顾自主可控、硬件效率与安全。
附录:Kubernetes 上的开源原生 AI 技术栈:从开源模型到分布式推理与智能体

作者:阿卜杜勒费塔赫・斯吉乌(Abdelfettah Sghiouar),谷歌云开发者布道师艾伦・奈姆(Allan Naim),GKE 产品管理总监 

发布时间:2026 年 11 月 10 

过去十年,Kubernetes 已然成为微服务与容器化应用编排的标准。如今,分布式计算领域正迎来下一次重大架构变革:AI 工作负载从孤立的科研原型,转向大规模、多租户生产集群。本文将带你搭建支撑这场变革的开源技术栈,并提供可直接在自有 Kubernetes 集群上试运行的资源清单。你也可以前往 2026 北美 KubeCon 云原生大会,通过现场演示与技术专场亲眼见证这些项目落地。

对于现代工程团队而言,生产级 AI 正在快速脱离对闭源黑盒 API 的通用调用模式。企业逐渐意识到,长期竞争优势来源于领域专业化能力。平台工程师、机器学习研究员和 AI 开发者希望能够自主运行高性能开源权重模型(例如 Gemma 系列模型);借助强化学习(RL),基于企业私有数据集对模型进行适配调优;同时在提供服务时,保障可预测的延迟、高吞吐以及硬件资源利用率最大化。

无论是科研项目利用声学数据训练领域专用模型 DolphinGemma(一款帮助科学家研究海豚交流方式的大语言模型)、法律平台解析复杂合同,还是研发团队搭建自主编码智能体,目标都是一致的:以更低的推理成本、更短的延迟,达到前沿水平的任务效果。

但在传统容器基础设施上规模化落地强化学习后训练、有状态分布式推理以及自主智能体执行,会面临诸多棘手难题:

  1. 强化学习场景下加速器利用率低:在训练和轨迹生成交替运行时,昂贵的 GPU、TPU 在大部分训练周期里处于空闲状态。
  2. 无缓存感知的负载均衡:使用 Kubernetes 原生的轮询、最小连接数路由策略时,多轮智能体请求会被分散到不同 Pod,KV 缓存的局部性被破坏。
  3. 框架碎片化:如果在 Kubernetes 之外单独维护多套独立计算集群(例如自研 Ray、Slurm 环境),会造成资源割裂,大幅增加运维负担。
  4. 多租户集群下的智能体安全风险:在共享环境中执行模型生成的不可信 Shell 命令与脚本,集群容易遭遇沙箱逃逸、权限提升攻击。

在 2026 北美 KubeCon 谷歌云专场活动中,谷歌云推出并持续完善一套统一的、基于 Kubernetes 与 GKE 的开源原生 AI 技术栈,用来解决上述挑战,整套组件均隶属于 CNCF 沙箱项目:

  • OpenRL(openrl.dev):Kubernetes 原生后训练服务,简化强化学习后训练流程,最大化加速器利用率。
  • llm-d(llm-d.ai):开源分布式推理控制平面,支持前缀缓存感知路由、解耦式服务以及多层级 KV 缓存管理。
  • GKE 上的 KubeRay:提供企业级生命周期管理、弹性扩缩容,依托 Kueue 调度器为分布式 Ray 计算和数据处理任务提供调度能力。
  • ATE(ate.dev):开源编排运行时,为多轮 AI 智能体工作流提供生命周期管理与执行目标能力。
  • gVisor(gvisor.dev):内核级容器沙箱,在多租户集群执行不可信智能体代码时,提供强系统调用隔离。
  • TorchTPU:后端组件,在 vLLM、SGLang 上游版本中,为云 TPU 与 GPU 提供原生 PyTorch 一等支持。

OpenRL:打通强化学习与 Kubernetes

有监督微调(SFT)已经成为行业常规手段,但想要在多步推理、数学证明、自主工具调用这类场景做到领域顶尖能力,离不开强化学习。

长期以来,机器学习实验环境和生产 Kubernetes 集群之间存在壁垒:研究员希望基于 Python、PyTorch 快速迭代,使用标准奖励函数;而平台团队需要多租户管控、配额限制与稳定调度能力。

为消除这种矛盾,谷歌打造了 OpenRL 并贡献至 CNCF 沙箱。

OpenRL 架构亮点

  • 简洁的四大原语 Python 抽象:研究员编写标准 Python 训练代码,围绕四个核心原语:forward_backward、optim_step、sample、save_state。OpenRL 自动把这些逻辑转换成 Kubernetes 调度工作流,开发者无需深入理解 Kubernetes 底层,也不用编写基础设施代码。
  • 加速器协同时间分片:在同一块物理加速卡上交替执行训练步骤和轨迹推理。不再需要单独搭建静态集群分别服务于计算密集型训练、低延迟轨迹生成。
  • 增量权重同步:如果每轮优化后都在集群网络传输数 GB 的完整模型权重,会造成网络拥塞。OpenRL 仅向轨迹生成工作节点传输参数增量,避免轨迹推理冷启动。
  • 零配置动态资源分配:OpenRL 自动采集模型上下文长度、批大小、LoRA 微调 / 全参数微调等配置信息,依托 Kubernetes 原生动态资源分配(DRA)声明,在异构加速卡集群内自动打包调度工作负载。

llm-d 1.0:大规模分布式推理

完成模型后训练之后,面向突发、交互式的智能体流量提供推理服务,会带来一系列分布式系统难题。标准入口控制器将大模型请求视为无状态 HTTP 请求,把一轮轮对话分发到不同副本,KV 缓存需要反复重建。

llm-d 项目由谷歌云、红帽、IBM 研究院、CoreWeave、英伟达联合发起,来自 25 家以上机构的 500 多名工程师参与贡献。如今 llm-d 作为 CNCF 沙箱分布式推理控制平面,可以把 vLLM、SGLang 这类独立推理引擎,整合成一套集群级协同服务底座。

apiVersion: inference.networking.x-k8s.io/v1alpha1kind: InferencePoolmetadata:  name: gemma-serving-pool  namespace: ai-servingspec:  targetRef:    group: apps    kind: Deployment    name: vllm-gemma-27b  scheduling:  # 将多轮请求路由到持有对应KV上下文的副本    strategy: PrefixCacheAware    fallback: LeastQueueDepth  observability:    kvCacheSyncInterval: ”50ms”

llm-d 1.0 核心能力

  1. 前缀缓存感知路由:端点选择器对接网关 API 推理扩展组件,GKE 原生集成该能力。端点选择器实时评估各个工作 Pod 的 KV 缓存驻留情况。在生产环境中,该能力最高可将首 token 生成时间(TTFT)降低 35%70%;面向多轮智能体负载,端到端延迟下降 70%85%。
  2. 三层 KV 缓存卸载:长上下文交互场景下,当加速器高带宽显存(HBM)资源告急时,llm-d 会逐级迁移 KV 缓存块:HBM 显存 → 主机内存 → 本地 NVMe 固态硬盘 / 谷歌云托管 Lustre / 云存储,避免代价高昂的上下文重计算。
  3. 基于 DisaggregatedSet 的编码 - 预填充 - 解码(EPD)解耦:将编码、Prefill 预填充、Decode 解码任务拆分到由高速互联连接的专用硬件资源池。DisaggregatedSet 基于 Kubernetes LWS(工作集 API)构建,支持独立水平扩缩容、无停机滚动升级。
  4. TorchTPU 上游原生支持:依托 TorchTPU,PyTorch 模型可以在 vLLM、SGLang 上游版本原生运行在谷歌云 TPU 上,TPU v5e、v6e、v7x 与英伟达 GPU 保持能力对齐,不需要维护私有分支或者重写流水线。
  5. 容忍延迟的异步处理与流控:llm-d-async-processor组件从 Pub/Sub 或者 Redis 拉取后台低优先级任务,利用集群闲置资源处理;同时严格做好流量优先级隔离,后台任务不会影响交互式用户体验。
  6. Prism 集群可观测性:借助 llm-d 开源基准与监控面板 Prism,观测集群吞吐、token 间延迟(ITL)、首 token 耗时 TTFT 以及缓存命中率。

KubeRay:分布式 Python 与机器学习编排

推理和强化学习循环由专用运行时承载,而分布式数据预处理、Embedding 生成、分布式 PyTorch 训练大量依赖 Ray。

KubeRay 是开源 Kubernetes 原生算子,在 Kubernetes 上完整管理 Ray 集群、任务、服务的生命周期,提供RayCluster、RayJob、RayService自定义资源。

apiVersion: ray.io/v1kind: RayJobmetadata:  name: gemma-fine-tune-job  namespace: ai-workloads  labels:    kueue.x-k8s.io/queue-name: ml-team-queuespec:  shutdownAfterJobFinishes: true  ttlSecondsAfterFinished: 60  entrypoint: python fine_tune_gemma.py --model-id google/gemma-2-27b-it  runtimeEnvYAML: |    pip:      - datasets==2.18.0      - transformers==4.40.0      - torch==2.2.0  rayClusterSpec:    rayVersion: ”2.35.0”    headGroupSpec:      rayStartParams:        dashboard-host: ”0.0.0.0”      template:        spec:          containers:            - name: ray-head              image: rayproject/ray-ml:2.35.0              resources:                limits:                  cpu: ”4”                  memory: ”16Gi”                requests:                  cpu: ”2”                  memory: ”8Gi”    workerGroupSpecs:      - groupName: gpu-workers        replicas: 4        minReplicas: 1        maxReplicas: 8        rayStartParams: {}        template:          spec:            containers:              - name: ray-worker                image: rayproject/ray-ml:2.35.0                resources:                  limits:                    nvidia.com/gpu: ”1”                    cpu: ”8”                    memory: ”32Gi”                  requests:                    nvidia.com/gpu: ”1”                    cpu: ”4”                    memory: ”16Gi”

KubeRay 对平台团队的价值

  • 声明式集群生命周期:平台工程师可以按需创建临时、自愈式 Ray 集群,用于临时训练任务;也可以部署常驻集群运行批处理流水线。
  • 原生对接 Kueue,支持多租户:KubeRay 直接集成 Kueue,在共享 GPU、TPU 资源上实现多租户公平调度、优先级抢占、配额管理。
  • 弹性扩缩容:KubeRay 根据正在运行的 Ray 任务与 Actor 放置情况动态调整工作节点数量,避免资源空转浪费。

AI 智能体强隔离:Agent Substrate 与 gVisor

多轮 AI 智能体已经从对话助手,进化为可以生成代码、执行 Shell 命令、编排外部 API 的自治系统。在共享集群中运行模型生成的不可信代码,会带来严重安全风险。

谷歌云向 CNCF 沙箱贡献 Agent Substrate,并持续投入 gVisor 核心开发:

  • 内核级沙箱:gVisor 实现用户态内核,拦截并虚拟化系统调用,保障不可信智能体代码无法破坏宿主机内核、访问其他租户负载。
  • 亚秒级临时执行:每一轮智能体请求都能在毫秒级拉起独立沙箱环境,同时支撑 OpenRL 里的强化学习轨迹生成以及线上生产智能体工作流。

实战验证:领域推理能力落地

为在严苛的企业负载下验证整套开源技术栈,团队使用 Gemma 4 模型,在 Harvey Labs 开源评测集上开展测试。这套评测覆盖并购尽调、合同争议分析等 24 个复杂法律业务场景。

评测结果:单纯有监督微调(SFT)在多步推理评分标准下准确率大约卡在 50%;搭配 OpenRL 实现可复现的强化学习闭环后,模型准确率提升至 70%。运维效率:整套训练流水线可以和集群内同时运行的 LoRA 微调、推理任务动态共享 GKE 上的 GPU 与 TPU 资源,无需人工资源划分。

不同团队的落地路径

组织类型
核心痛点
OpenRL + llm-d + KubeRay + Gemma 架构方案
企业平台团队
管理多支内部 ML 团队,不想维护割裂的 Slurm/Ray 集群、控制硬件成本
依托 DRA、Kueue、加速器时间分片,把现有 GKE 集群改造为自研强化学习即服务(RLaaS)
强监管企业(金融、医疗、法律)
知识产权、合规、隐私要求,禁止私有数据对外调用第三方公有 API
在私有 VPC 内完成 1B~30B 参数量 Gemma 模型的后训练与推理;使用领域专属奖励函数,提升任务精度,降低总体拥有成本 TCO
AI 原生开发者、智能体开发团队
长上下文、多轮智能体交互场景推理成本高、延迟瓶颈突出
部署 llm-d 前缀缓存路由,搭配 gVisor 隔离的智能体沙箱执行环境
模型即服务厂商、云服务商
在异构硬件集群上交付高毛利的多租户后训练与推理服务
对外暴露 OpenRL 多租户 API 与 llm-d 多加速器控制平面,统一管理 GPU、TPU 混合集群



【声明】内容源于网络
0
0
苏哲管理咨询
为企业及组织提供AI+战略、数智化转型咨询及观点、建议等
内容 2552
粉丝 0
苏哲管理咨询 为企业及组织提供AI+战略、数智化转型咨询及观点、建议等
总阅读97.7k
粉丝0
内容2.6k