OpenAI首次将其Decisions API模型广泛提供给用户，进入了最近使由前沿实验室前研究人员创办的初创公司TypeSafe成为一家价值76亿美元的公司的快速、廉价智能市场。
TypeSafe的Jev模型创造了一个类别，用于充当超级分类器的深度学习模型：给定一组选项，它们可以快速做出选择并提供决策的信心评级。软件开发者很快发现，这些决策或System One模型可以在各种工作流中取代大型语言模型（LLMs），运行速度更快且成本大幅降低。
OpenAI API的产品负责人Nikunj Handa告诉TechCrunch，他的同事看到Jev后惊叹道：“哇，我们简直有成百万种用例可以应用于此。”Handa的团队迅速行动，推出了自己的版本：他们没有构建一个专门校准的决策模型，而是采用了ChatGPT Luna并对其进行重新配置，以加快推理速度并降低成本。
Handa表示：“Decisions API带来的重大突破在于速度，将处理时间从一到三秒缩短至100、120或180毫秒。”“未来，我们可能会进行专门的训练，使我们的模型在这些方面表现得更好。但目前，只需使用普通的Luna就能完成任务。”
Decisions API于9月29日在公司的开发者日上宣布推出，并于周四向所有客户开放。OpenAI在公开版本中新增了语音和视觉模态，并通过在全球范围内地理定位其推理资源，努力降低各地区的延迟。
在与Box、Datadog、Ramp和Speak等客户的初步试验中，工程师们使用该API以更高的吞吐量替换了OpenAI的大语言模型（LLMs）。Speak的首席技术官Andrew Hsu表示，该公司利用Decisions API将动作之间的响应时间从1.4秒缩短至0.13秒。OpenAI还利用该产品提升了其Dots语音助手的响应能力。
尽管如此，除了“它对你有用”之外，目前尚不清楚究竟是什么让一个决策模型变得优秀——在智能、成本、校准和速度方面的优化似乎因工作负载而异。TypeSafe首席执行官Diogo Almeida不信任基准测试，并敦促人们在自己的工作中试用这些模型，但即使如此，TypeSafe上周在其最新Jev模型发布的同时也发布了自身的排名，该模型包括支持图像和智能条件语句等新功能。
像<Aim System One Index>和<Artificial Analysis Decision Index>这样的公开基准测试往往青睐Liquid上周发布的新型决策模型D1 Ultra以及Base Lab的Elephant-1。最新的Jev模型在这两个指数上仍具有竞争力，分别位列第七和第三，而OpenAI的Decision Model则分别排在第八和第十四位。然而，TypeSafe的产品目前在OpenRouter上被查询得最为广泛。
然而，最有趣的Jev基准测试是<JevMan>，这是一个让决策模型玩吃豆人游戏的基准测试；最新的Jev模型在该排名中位居榜首。构建该基准测试的Opper AI首席增长官Felix Wunderlich表示，这款经典游戏“是一个有趣的测试，因为它包含不间断的快速、高风险决策流。在每个路口，模型必须在几百毫秒内决定去向。”
Handa对TechCrunch表示，OpenAI arguably更具能力的模型在多模态方面可能具有优势——在图像分类任务中，“Luna极其强大，并且展现出更好的校准效果。”他补充说，OpenAI的客户希望Decisions API在将图像作为输出时能更加灵活。
Handa还看到了速度的进一步提升所带来的新用例：“我们能否将其降至约60毫秒？然后你可以想象，比如为视频中的每一帧调用这样一个API。”
随着这些产品变得越来越快且越来越便宜，我们可以期待它们能名副其实地呼应其命名者——一位经济学家，他解释了如何通过使用资源更高效使其更加普及。或者，正如Handa所看到的，将出现一个不断扩大的“疯狂用例集”，这些用例此前一直隐藏在显而易见之处，直到决策模型将它们揭示出来。