随着AI基础设施建设规模达到惊人程度，从现有GPU中榨取推理能力的压力前所未有。对于掌握特定技术的研究人员而言，当前正是筹集资金的良机。
这也是推动Tensormesh本周结束隐身模式并推出、获得450万美元种子轮融资的动力之一。该投资由Laude Ventures领投，数据库先驱Michael Franklin也提供了额外的天使投资。
Tensormesh正利用这笔资金构建开源LMCache工具的商用版本，该工具由联合创始人Yihua Cheng发起并维护。使用得当的话，LMCache可将推理成本降低多达10倍——这一优势使其成为开源部署中的标配，并吸引了Google和Nvidia等巨头进行集成。如今，Tensormesh计划将这种学术声誉转化为可行的商业模式。
该产品的核心是键值缓存（KV缓存），这是一种通过将复杂输入浓缩为其键值来更高效处理它们的内存系统。在传统架构中，KV缓存在每次查询结束时都会被丢弃——但Tensormesh联合创始人兼首席执行官Junchen Jiang认为，这是巨大的效率低下来源。
“这就像有一位非常聪明的分析师在读取所有数据，但他们在每次提问后都会忘记自己学到的内容。”姜说。
Tensormesh的系统不会丢弃这些缓存，而是将其保留下来，以便在模型执行类似过程时于单独的查询中重新部署。由于GPU内存极为宝贵，这可能意味着将数据分散到多个不同的存储层中，但其回报是在相同服务器负载下能显著提升推理能力。
这种改变对聊天界面尤为强大，因为随着对话的进行，模型需要不断回顾不断增长的聊天记录。智能体系统也存在类似问题，其行动和目标的日志也在不断增长。
理论上，这些变化是AI公司可以自行实施的——但技术复杂性使其成为一项艰巨的任务。鉴于Tensormesh团队在研究该过程及其细节复杂性方面的工作，该公司押注会有大量对开箱即用产品的需求。
“将KV缓存保存在二级存储系统中并高效复用，同时不拖慢整个系统的速度，是一个非常具有挑战性的问题。”姜说，“我们看到有人雇佣20名工程师，花费三到四个月来构建这样的系统。或者他们可以使用我们的产品，非常高效地完成这一任务。”