在周二的Hot Chips会议上，OpenAI分享了Jalapeño系统的详细情况及首批基准测试结果。SemiAnalysis的InferenceX测试显示，Jalapeño在每用户令牌数和每千瓦吞吐量上均优于当前最先进的推理处理器。
OpenAI硬件负责人Richard Ho表示：“结果显示其性能相比当前最先进水平有显著进步。Jalapeño单位功耗下能处理更多AI负载且响应更快，在服务大量客户时高效并实现极低延迟。”
需注意，该对比对象为Nvidia Blackwell系统，待Jalapeño全面部署时竞品技术可能已大幅领先。Ho预计，Jalapeño将于2026年底以极小批量部署，2027年展开更广泛部署。
Jalapeño于去年10月首次公布，由OpenAI与Broadcom紧密合作开发，OpenAI自身模型也参与其中。公司计划将其打造为多代际平台，实现AI产品、模型、芯片和内存协同开发。
得益于全栈式方法，OpenAI解决了推理过程中易产生摩擦的特定阶段。Jalapeño旨在最小化预填充（prefill）和处理通信阶段的延迟，这些阶段常成为瓶颈。
OpenAI在博文中写道：“我们设计Jalapeño是为了最小化数据移动和通信延迟。这意味着模型状态（包括生成响应时使用的KV缓存）可被显式放置并保持本地，同时系统为每个推理阶段激活合适的计算、内存和网络组合。”