摘要
GMI Cloud 全球业务发展副总裁 Andy Chen 与 VAST Data 数据平台销售副总裁 Ryan McGinty 在 Tech Week Singapore 2025 活动上进行主题内容分享。下文为分享内容精华整理。
在刚落幕的 Tech Week Singapore 2025 盛会中，GMI Cloud 很荣幸能与我们的策略伙伴 VAST Data 共同发表一场引人入胜的演讲，主题为《从数据到可扩展 AI ——最大化基础设施效用的新途径》。这场由 GMI Cloud 全球业务发展副总裁 Andy Chen 与 VAST Data 数据平台销售副总裁 Ryan McGinty 共同呈现。两位讲者为 AI 基础设施描绘了一个统一的愿景，并展示了我们如何携手推动 AI 创新，实现从数据到可扩展 AI 的端到端路径，兼顾速度、效率与控制。
01
GMI Cloud：释放多集群 GPU 平台的潜力，引领 AI 推理新时代
GMI Cloud 始终致力于提供业界领先的 AI 基础设施解决方案，我们是亚太地区少数几家 AI 原生全栈式 NVIDIA 专注型 GPU 集群引擎供应商之一。在本次演讲中，Andy Chen 深入阐述了 GMI Cloud 的多集群 GPU 平台如何通过最大化基础设施效用，有效扩展 AI 训练与推理（Inference）的规模。我们深知，在快速发展的 AI 领域中，推理性能至关重要。它不仅直接影响终端应用程序的响应速度，更是控制成本、提升效率的关键。
我们在演讲中强调了推理优化的重要性：
商业价值：推理是驱动真实世界 AI 应用程序的核心。
成本控制：优化对于最大化投资回报率（ROI）至关重要。
效率：在性能与资源使用之间取得平衡。
适应性：生态系统必须随着技术的演进而发展。
为了实现卓越的推理性能，GMI Cloud 不断寻求最先进的硬件与优化技术。我们在单一服务器节点上对 8 个 H100、H200、B200 GPU 进行了吞吐量测试，结果显示 B200 的性能比 H200 高出 25 倍以上，证明了最新硬件能更好地承载最新模型。硬件升级无疑是提升性能最直接的方式之一。此外，我们通过全球自动扩展（Global Autoscaling）和智能流量路由（Smart Traffic Routing）来确保推理服务的高可用性和低延迟，并支持混合扩展和集群管理。然而，真正的突破来自于我们与 VAST Data 的紧密合作。
02
VAST Data：AI 操作系统与 KV Cache 的革新力量，加速数据流动
VAST Data 的 Ryan McGinty 在演讲中介绍了其创新的 AI 操作系统，这是一个旨在简化数据存取、消除数据孤岛并加速分析的下一代架构。VAST Data 的技术核心在于其独特的 DASE（Disaggregated, Shared-Everything）架构，它为 AI 工作负载提供了前所未有的线性扩展性、实时性能和极致的弹性。这种架构能够支持数十万个 CPU/GPU 和 EB 级的数据，并提供实时的并行文件 I/O、事件、向量和查询能力，同时在最严苛的数据中心环境中保持极高的弹性。
特别值得一提的是，VAST Data 的 KV Cache (Key-Value Cache) 技术在提升 GMI Cloud 推理平台性能方面扮演了关键角色。通过利用 VAST Data 的 VUA（VAST Universal Architecture），我们能够显著优化 GPU 效率。VAST Data 的 KV Cache 通过以下方式为我们的推理平台带来革命性的改进：
扩展 GPU 内存层次结构：VAST Data 的技术将 GPU 内存扩展至 CPU 和 NVMe 层级，为大规模上下文（massive contexts）提供了支持，有效解决了 GPU 内存限制的问题，从而实现更复杂模型的部署。
降低延迟与成本：这项技术能将「首个 Token 接收时间」（Time to First Token, TTFT）缩短高达 10 倍，同时降低 GPU 的开销，大幅提升了推理的响应速度和成本效益，这对于需要实时响应的 AI 应用至关重要。
智能前缀缓存：通过最长前缀匹配（longest-prefix matching）技术，VAST Data 的 KV Cache 显著提高了缓存命中率，确保了数据的快速存取，减少了重复计算。
集群级 KV Cache：VAST Data 提供了集群范围内的 KV Cache，实现了高并发和大规模的共享上下文空间，这对于处理复杂的 AI 模型推理至关重要，特别是在多用户或多任务环境中。
结合 GMI Cloud 的多集群架构，VAST Data 的 KV Cache 甚至支持跨集群的缓存传输（Cross-Cluster Cache transfer with Shared Persistent Storage），进一步提升了全球范围内推理服务的效率和一致性。这意味着无论用户身在何处，都能享受到一致且高效的 AI 推理服务。
03
从数据到可扩展 AI 的统一愿景：共创未来
GMI Cloud 与 VAST Data 的合作，正是「从数据到可扩展 AI」这一愿景的完美体现。我们共同提供了一个端到端的解决方案，让客户能够以更快的速度、更高的效率和更精准的控制，将数据转化为强大的 AI 能力。这不仅是技术上的结合，更是对未来 AI 基础设施发展方向的共同承诺。
我们深信，通过 GMI Cloud 的多集群 GPU 平台与 VAST Data 创新的 AI 操作系统及 KV Cache 技术的结合，我们将能够为客户提供无与伦比的 AI 基础设施，帮助他们在竞争激烈的市场中脱颖而出。我们期待未来能与 VAST Data 继续深化合作，为全球客户带来更多创新和价值，共同塑造 AI 的未来。
关于 GMI Cloud
由 Google X 的 AI 专家与硅谷精英共同参与创立的 GMI Cloud 是一家领先的 AI Native Cloud 服务商，是全球六大 Reference Platform NVIDIA Cloud Partner 之一，拥有遍布全球的数据中心，为企业 AI 应用提供最新、最优的 GPU 云服务，为全球新创公司、研究机构和大型企业提供稳定安全、高效经济的 AI 云服务解决方案。
GMI Cloud 凭借高稳定性的技术架构、强大的GPU供应链以及令人瞩目的 GPU 产品阵容（如能够精准平衡 AI 成本与效率的 H200、具有卓越性能的 B200 以及未来所有全新上线的高性能芯片），确保企业客户在高度数据安全与计算效能的基础上，高效低本地完成 AI 落地。此外，通过自研“Cluster Engine”、“Inference Engine”两大平台，完成从算力原子化供给到业务级智算服务的全栈跃迁，全力构建下一代智能算力基座。
作为推动通用人工智能（AGI）未来发展的重要力量，GMI Cloud 持续在 AI 基础设施领域引领创新。选择 GMI Cloud，您不仅是选择了先进的 GPU 云服务，更是选择了一个全方位的 AI 基础设施合作伙伴。
如果您想要了解有关 GMI Cloud 的信息
请关注我们并建立联系
