斯坦福大学兼职教授兼成功退出的创始人 Zain Asgar 刚刚为其初创公司筹集了 8000 万美元的 A 轮融资，该公司以一种巧妙的方式解决了 AI 推理瓶颈问题。该轮投资由 Menlo Ventures 领投。
这家公司，Gimlet Labs，声称创建了首个也是唯一的“多硅片推理云”，这是一种软件，允许 AI 工作负载同时在多种类型的硬件上运行。它可以将 AI 应用的工作拆分到传统的 CPU 和针对 AI 优化的 GPU，以及高内存系统上。
“我们基本上是在利用所有可用的不同硬件，”Asgar 告诉 TechCrunch。
单个智能体可能会将多个步骤串联起来，而每个步骤“都需要不同的硬件：推理是计算密集型的；解码是内存密集型的；工具调用是网络密集型的”，主要投资者、Menlo 的 Tim Tully 在一篇关于此次融资的博客文章中写道。
目前还没有哪种芯片能通吃一切，但随着新硬件的推出和旧 GPU 的重新部署，“多硅片舰队已准备就绪——只是缺少使其协同工作的软件层。”这正是 Tully 认为 Gimlet Labs 所提供的价值。
如果当前增加更多计算能力的趋势持续下去，McKinsey 估计数据中心支出到 2030 年将接近 7 万亿美元。Asgar 表示，应用程序仅在使用现有已部署硬件的时间中，“只有 15% 到 30%”。
“换一种思考方式：你正在浪费数千亿美元，因为你只是让资源闲置，”他说。“我们的目标基本上是想办法让 AI 工作负载的效率比现在提高 10 倍。”
因此，他和他的联合创始人 Michelle Nguyen、Omid Azizi 和 Natalie Serrino 着手构建编排软件，将智能体工作负载切片，以便它们可以同时分布在各种硬件上。
Gimlet Labs 声称，在相同成本和功耗下，它能可靠地将 AI 推理速度提升 3 到 10 倍。Gimlet 称，它甚至可以对底层模型进行切片，使其在不同架构上运行，为模型的每个部分使用最佳的芯片。
该公司已与芯片制造商 NVIDIA、AMD、Intel、ARM、Cerebras 和 d-Matrix 建立合作伙伴关系。
Gimlet 的产品可以通过软件或通过其自有 Gimlet Cloud 的 API 交付，并非面向普通 AI 应用开发者。它面向的是最大的 AI 模型实验室和数据中心。
该公司于 10 月公开推出，据称在推出时即实现了八位数（至少 1000 万美元）的收入。Asgar 表示，在过去四个月里，他的客户群已增加了一倍多，目前包括一家大型模型制造商和一家超大型云计算公司，尽管他拒绝透露这些公司的名称。
这两位联合创始人此前曾在 Pixie 共事，这是一家为 Kubernetes 创建开源可观测性工具的初创公司。Pixie 被 New Relic 于 2020 年收购，距离其以 Benchmark 领投的 900 万美元 A 轮融资亮相仅两个月。（Pixie 的技术现已成为负责监督 Kubernetes 的开源组织的一部分。）
大约一年前，Asgar 偶然遇到了 Tully，并获得了斯坦福大学教授的种子投资，此后风险投资机构开始联系他。发布后，一份条款清单摆在了 Asgar 的办公桌上。当风投们得知 Asgar 正在审视报价时，“我们收到了一大堆融资请求”，该轮次迅速超额认购，他说。
加上此前的种子轮，这家初创公司目前已累计融资 9200 万美元，投资者包括红杉资本的比尔·科夫兰、斯坦福大学教授尼克·麦考恩、VMware 前首席执行官拉古·拉古兰以及英特尔首席执行官利普-布·坦等众多天使投资人。该公司目前有 30 名员工。
其他投资者还包括领投种子轮的 Factory、Eclipse Ventures、Prosperity7 和 Triatomic。