Runware：AI图像生成速度突破秒级，软硬件全栈优化重塑推理成本
有时，一个演示就足以让你了解一款产品。Runware 正是如此。如果你访问 Runware 的网站，输入提示词并按回车生成图像，你会惊讶于 Runware 生成图像的极速——整个过程不到一秒。
Runware 是 AI 推理或生成式 AI 初创企业领域的新兴力量。该公司正在自行制造服务器，并优化这些服务器上的软件层，以消除瓶颈并提升图像生成模型的推理速度。该初创企业已获得 Andreessen Horowitz 的 Speedrun、LakeStar 的 Halo II 以及 Lunar Ventures 共计 300 万美元的投资。
硬件自研与系统级优化
该公司并不想重新发明轮子，它只是想让轮子转得更快。在幕后，Runware 自行制造服务器，尽可能在同一块主板上安装更多的 GPU。它还拥有定制的冷却系统，并自主管理数据中心。
在服务器上运行 AI 模型时，Runware 通过 BIOS 和操作系统层面的优化来改进编排层，从而缩短冷启动时间。它还开发了专门用于分配推理工作负载的算法。这项演示本身令人印象深刻。如今，该公司希望将所有的研发成果转化为实际业务。
按调用付费模式 vs 传统GPU租赁
与许多 GPU 托管公司不同，Runware 不会按 GPU 使用时间出租其 GPU。相反，它认为应该鼓励企业加快工作负载的处理速度。因此，Runware 提供图像生成 API，采用传统的按 API 调用次数收费的模式。该 API 基于流行的 Flux 和 Stable Diffusion AI 模型。
“如果你看看 Together AI、Replicate、Hugging Face——它们都是按 GPU 时间来出售计算资源，”联合创始人兼首席执行官 Flaviu Radulescu 告诉 TechCrunch。“比较我们制作一张图片所需的时间与它们相比，再对比定价，你会发现我们便宜得多，也快得多。”
他补充道：“它们不可能达到这种性能水平。尤其是在云提供商中，你必须在虚拟化环境中运行，这会带来额外的延迟。”
多厂商GPU兼容与动态切换技术
随着 Runware 审视整个推理流程，并对硬件和软件进行优化，该公司希望不久后能够使用来自多个供应商的 GPU。这对于几家初创企业来说一直是一项重要任务，因为 Nvidia 在 GPU 领域占据明显领先地位，这意味着 Nvidia 的 GPU 往往价格相当昂贵。
“目前，我们只使用 Nvidia GPU。但这应该是软件层的抽象化，”Radulescu 说。“我们可以非常快速地切换 GPU 内存中的模型，这使得我们能够在同一块 GPU 上服务多个客户。”
“所以我们的做法与竞争对手不同。他们只是将模型加载到 GPU 中，然后 GPU 执行非常特定的任务。而在我们的案例中，我们开发了一套软件解决方案，允许我们在进行推理时动态切换 GPU 内存中的模型。”
如果 AMD 和其他 GPU 厂商能够创建适用于典型 AI 工作负载的兼容层，Runware 就有望构建一个依赖多厂商 GPU 的混合云。如果它希望保持比竞争对手更低的 AI 推理成本，这必将大有裨益。