周四，AI平台 Clarifai 宣布推出一款新推理引擎，据称可将 AI 模型运行速度提升两倍，成本降低 40%。该系统兼容多种模型与云主机，通过一系列优化措施，在同等硬件条件下实现更强的推理能力。
Clarifai CEO Matthew Zeiler 表示：“这是一系列涵盖 CUDA 内核到高级推测解码技术的综合优化。本质上，用户可从相同显卡中获得更高性能。”
第三方公司 Artificial Analysis 的基准测试验证了该成果，其在吞吐量与延迟方面均创下行业最佳纪录。
该引擎专为推理场景设计，即满足已训练 AI 模型的运算需求。随着代理型及推理型模型兴起，单条指令需多步响应，计算负载显著加剧。
Clarifai 最初以计算机视觉服务起家，伴随 AI 热潮对 GPU 及数据中心编排需求的激增，公司重心逐渐转向计算编排。继去年 12 月 AWS re:Invent 大会发布计算平台后，这款新推理引擎成为首款专为多步代理模型定制的产品。
当前 AI 基础设施承压巨大，催生了一系列数十亿美元级交易。OpenAI 计划投入高达 1 万亿美元新建数据中心，预计未来算力需求近乎无限。然而，Zeiler 认为尽管硬件建设火热，现有基础设施的优化空间依然广阔。
“Clarifai 推理引擎等软件技巧能让优秀模型发挥更大效能，”Zeiler 指出，“同时算法改进也能应对吉瓦级数据中心的需求。我认为算法创新远未触及天花板。”