Google在亚特兰大KubeCon + CloudNativeCon North America会议上推出以Agent Sandbox为首的新开源工具，旨在简化AI环境运维。
Agent Sandbox详情
Google发布开源工具Agent Sandbox，简化AI代理虚拟沙箱创建。作为Kubernetes核心功能扩展，它支持部署数千个隔离AI代理环境，并在任务完成后自动销毁。
该工具基于2018年发布的gVisor，通过隔离容器与操作系统敏感组件，防止AI编写的恶意软件造成有害更改。
Google Cloud将在GKE服务中提供支持，允许开发者创建云端Kubernetes集群，并自动化大部分基础设施维护任务。
Pod快照
为提升AI工作负载性能，Google Cloud推出GKE新功能Pod Snapshots。针对LLM启动耗时超10分钟的问题，该功能可将启动时间缩短80%。
传统LLM启动需从零初始化容器、分发及配置软件组件。Pod Snapshots消除了脚本配置需求，系统直接创建包含所有组件及配置的内存快照供应用加载。
借助该技术，700亿参数模型可在80秒内加载，80亿参数模型仅需16秒。
据Google高级产品总监Brandon Royal透露，GKE Pod Snapshots支持CPU和GPU工作负载的快照与恢复，将启动时间从数分钟缩短至秒级；空闲虚拟空间可被即时捕获并挂起。
多层检查点
随新开源工具Multi-Tier Checkpointing (MTC)一同发布。MTC专注于简化大规模AI训练项目并加速工作流程，帮助企业更快训练新模型及利用新数据集更新现有模型。
GKE推理网关
Google推出GKE Inference Gateway以加速AI工作负载。其生产版本将首令牌时间延迟（TTFT）降低96%，令牌消耗量仅为标准GKE应用的四分之一。此外，单集群支持节点数提升至13万个，可满足最大规模训练需求。