AI推理扩产新路径:24张GPU实现48张产能,华瑞指数云获超亿元融资
AI推理的算力扩产是否只能依赖增加GPU数量?华瑞指数云披露的一项客户联合验证给出了另一种思路:通过改善上下文的保存与调用效率,提升GPU利用率。验证显示,24张GPU配合一个WQS存储节点,可实现与48张GPU方案相当的Token产能。这一“以存换算”的技术方向不仅降低了单位服务的算力与能耗成本,也获得了资本市场的认可。
近日,华瑞指数云宣布完成新一轮超亿元融资,由琮碧秋实投资与另一家基金联合领投,某国有产投基金跟投。本轮资金将重点投入AI原生KV Cache存储系统WQS的研发与规模化交付、软硬协同设计及全栈I/O优化,以及市场服务体系的建设。
上下文存储:AI基础设施的新层级
过去,芯片数量是衡量AI基础设施投入的最直观指标。然而,随着AI进入推理阶段,芯片的任务承接能力不仅取决于数量,更受限于上下文处理效率。
在多轮对话、代码助手及Agent应用中,历史数据被反复使用。系统将已处理的中间计算结果保存在KV Cache(键-值缓存)中,可在条件匹配时直接调用,避免重复计算。但GPU显存容量有限且昂贵,随着会话变长和并发增加,单机显存难以承载海量缓存。
显存不足会导致两种损耗:一是缓存清理后的重复计算;二是数据移出显存后,若取回速度慢导致GPU等待。在长上下文和高并发场景下,上下文读写与传输成为系统效率的关键瓶颈。单纯增加GPU无法消除这些损耗,存储因此从后台配置转变为支持实时服务的核心组件。
产业巨头已开始调整架构。2026年初,NVIDIA发布推理上下文存储平台,并在3月介绍CMX架构,旨在GPU显存和主机内存之外,通过网络连接闪存建立共享上下文层。这表明,上下文存储正成为AI基础设施中明确的新层次。
华瑞指数云联合创始人兼CTO曹羽中认为:“算力决定计算能力,上下文I/O决定能力能否高效发挥。未来的基础设施建设,需将两者纳入同一产能账本。”
为AI推理重做存储:原生KV架构突破性能瓶颈
既然通用存储和并行文件系统也能保存KV Cache,为何需要专用存储系统?核心在于调用成本。
通用存储系统为兼顾多种业务,通过分层和解耦提供兼容性,但这引入了文件管理、目录遍历等额外开销。在高并发推理场景下,这些非必需的步骤会累积延迟,影响Token吞吐量和响应速度。
相比之下,推理场景的上下文具有明确的I/O特征:写入后不修改、数据量可预知、支持内容寻址。推理框架还掌握着缓存复用、生命周期等关键信息。若将这些信息与存储调度打通,系统可根据实际使用顺序安排读取、预取和回收,大幅减少无效搬运。
为此,华瑞指数云推出了基于自研分布式存储引擎WiDE的WQS系统。WQS采用原生KV路线,直接面向KV对象寻址,统一管理SSD空间,并配合用户态RDMA数据通路。通过绕过通用文件系统的复杂处理,WQS实现了极致高效的并行I/O,类似于CPU与GPU的分工:通用存储服务多样化业务,专用存储围绕特定模式集中资源以提升效率。
全链路软硬协同:贯通推理I/O链条
优化GPU利用率不能仅靠单一组件,需实现推理框架、缓存管理、存储引擎、网络传输及硬件的全链路协同。
在传统架构中,各层通过通用接口独立工作,容易丢失调度机会。WQS坚持全链路设计,使数据加载与计算并行。例如,框架提前告知下一步所需缓存块,系统在计算当前任务时启动读取,重叠部分时间以减少GPU等待。此外,跨节点共享缓存扩大了集群调度空间,任务不再局限于特定服务器。
这种协同正向硬件端延伸。华瑞指数云正与NVIDIA、AMD、昇腾等算力生态及SSD厂商协作,将上下文的访问顺序和时延需求用于介质优化。目前,原生KV路径、全局共享和GPUDirect等能力已在客户联合验证中应用,HBM到SSD的直通方案也是研发重点。
在接入层面,WQS提供可共享的KV存储层,兼容vLLM、SGLang等主流推理框架。客户可选择独立部署或融合部署,以获得端到端的加速效果。
性能实证:产能翻倍与成本优化
技术优化的最终体现是产能与成本。对于Token工厂和模型服务商,首Token时延(TTFT)和Token平均输出间隔(TPOT)是关键指标,而在满足这些要求后的集群吞吐量则是可交付的产能。
在某大型Token工厂的验证中,WQS采用独立存储节点部署,将KV Cache从单机显存扩展至多台GPU服务器共享。结果显示,24张GPU加一个WQS节点的方案,达到了与48张GPU方案相当的Token产能。这意味着企业可通过增加存储而非昂贵的GPU来突破瓶颈,同时节省机柜、电力和散热支出。
对于希望利用存量设备的企业,WQS支持纯软件融合部署。在某大型企业验证中,WQS汇集现有内存和SSD资源构建共享KV Cache,无需新增硬件,使首Token时延降低80%,Token吞吐量提升超过3倍。这为企业检验存量设备优化空间提供了灵活选择。
针对不同客户,华瑞指数云通过衡量减少重算和数据搬运带来的端到端收益,帮助客户验证ROI。对Token服务商而言,重点在于降低单位Token成本;对智算中心,在于提高资源服务能力;对自建模型的企业,则是在有限预算下支持更多业务。
六年底层研发铸就壁垒,推动标准化交付
性能提升背后是华瑞指数云自研WiDE存储引擎的支撑。公司核心团队来自华为、腾讯、IBM等企业,自2020年创立起便启动WiDE研发。基于该引擎,公司打造了块存储WDS、文件存储WFS及推理上下文存储WQS。
自研底层引擎使得团队能直接调整数据结构与I/O路径以适应AI推理需求,而非仅在既有产品外增加适配层。这一能力经公开评测验证:2023年,WDS打破SPC-1企业级存储性能纪录;2025年,AI原生智能数据平台WADP在MLPerf Storage v2.0评测中多项指标位居世界第一。
除了性能,长期生产交付实践构成了另一大壁垒。华瑞指数云的存储产品已运行在200余家金融、半导体、自动驾驶等行业客户的核心环境中。长期的实战运行推动了故障恢复、数据保护及运维机制的完善,确保系统在高并发和异常情况下保持稳定。
瞄准AI Infra窗口期,迈向规模化落地
随着多轮对话和Agent应用普及,推理上下文存储的需求日益增长。WQS瞄准模型API平台、Token工厂、智算中心及企业自建系统,既服务于新增集群,也助力存量系统改造。
曹羽中判断,未来12至18个月是AI推理上下文KV Cache层方案选择的重要窗口期。华瑞指数云致力于将联合验证转化为可复制的标准化交付,减少对长期驻场调试的依赖。公司目标在未来12个月内推动50家以上重点AI推理用户实现生产落地。
数据显示,2026年上半年华瑞指数云合同额同比增长150%。目前,公司正与多家头部大模型厂商、金融企业及行业客户推进合作,相关项目已进入生产级PoC测试与验收阶段。随着AI推理成为各行各业的基础服务,华瑞指数云希望通过规模化的AI原生存储,提升算力生产效率,确立其在新一代AI基础设施中的关键位置。


