近日，一位在美国计算机视觉公司 Roboflow 负责开发者体验的员工，在一个下午内搭建了一个演示程序，用于标记视频流中鸡蛋的状态（干净、脏污或破损）。他并未训练单独的目标检测模型，而是使用了 OpenAI 于 10 月 22 日推出的 Decisions API。
Decisions API 代表了一类新兴的 AI 产品。与需针对特定任务训练的常规分类器不同，此类模型无需额外训练，即可直接从预设答案中做出选择。
图片来源：Ulla
美国初创公司 TypeSafe 在九月中旬推出 Jev，帮助普及了这一品类，引发行业广泛关注。Jev 目前在允许开发者通过单一界面调用众多 AI 模型的 OpenRouter 平台上表现强劲，过去一个月处理了超过 58 亿次请求。
Jev 发布后几周，OpenAI、Microsoft 和 Cloudflare 等巨头迅速推出竞争性决策模型。例如，Cloudflare 的 Clef 仅用一周完成训练并上线；OpenAI 的 Decisions API 基于其现有模型权重构建；印度初创企业 Sarvam 也发布了同类产品。
Jev 的早期成功表明市场对快速、廉价的决策模型需求巨大。然而，竞争对手的快速跟进引发了新的思考：如果核心技术能被迅速复制，产品的核心竞争力何在？
为何竞争对手能够迅速跟进
TypeSafe 联合创始人兼 CEO Diogo Almeida 曾表示，Jev 的开发历时两年，尽管第一周就搭建了早期版本，但当时并不稳定。目前，TypeSafe 未对媒体的评论请求作出回应。
Jev 的兴起印证了 Cloudflare 在 2023 年的预测：AI 模型将变得更小、更快，部署在离用户更近的服务器以降低延迟变得至关重要。然而，行业此前主要拥抱的是庞大的大语言模型（LLMs）。
Cloudflare 通过使用合成数据微调 Qwen3.8 的小版本构建了 Clef，而非从头训练。Cloudflare AI 平台产品负责人 Chen 表示，注册后立即使用 Clef 的用户数量正在上升，这表明决策模型是吸引用户的关键因素之一，但她拒绝透露具体数据。
Together AI 则展示了构建此类模型的便捷性：仅需 17 美元，借助其微调服务和现有开放权重模型即可创建类 Jev 模型。
AI 顾问 Berryman 指出，构建这些模型之所以容易，是因为其原理简单。传统 LLM 逐词元生成文本，而决策模型利用概率分数在预设答案中进行选择，无需生成长回复。例如，在判断题中，模型为选项分配分数并转换为百分比。“大家手里都有现成的 LLM，想出这个方案易如反掌。”Berryman 说道。
OpenAI Codex 应用 AI 主管也表示，Decisions API 使用了 Luna 现有的模型权重，主要改动在于 API 及请求处理方式，旨在为带预设答案的问题提供更快的处理速度。
尽管 TypeSafe 称 Jev 不是 LLM，但 Berryman 怀疑其底层架构并无实质性差异。他认为 Jev 的独特之处可能在于训练方式，即优化模型使其分配的概率能反映正确决策，而非仅仅预测下一个词。
决策模型的下一个战场
竞争对手迅速填补了 Jev 最初的功能空白。Cloudflare 和 OpenAI 在推出决策模型时均支持图像功能。OpenAI 还将 Decisions API 集成到其系统中，使客户服务语音代理能决定继续提问、转接团队或转人工客服。
Cloudflare 正探索将更多任务剥离给更小、更专业的模型。Chen 表示，从电子邮件和文档中提取信息是一个重要方向，因为 LLM 有时会返回源数据中不存在的值。这催生了 Clairic，这是 Cloudflare 在 10 月推出的另一款 System One 模型。
Cloudflare还在10月9日推出了Clef-omni，这是一款支持音频和视频输入的决策模型。/ 图片来源：
Clairic 能够从数据中提取、计算或估算数值。在演示中，它能从客户邮件中提取订单号和配送日期，并计算含税费的总支付金额。Chen 设想了一种场景：客服代理使用 Clairic 检索订单，使用 Clef 决定处理团队，并使用 LLM 起草回复，所有模型均由 Cloudflare 托管。
这种整合有助于 Cloudflare 实现决策模型的商业化。与通常对输入和输出标记均收费的 LLMs 不同，决策模型仅对输入标记收费，成本更低。Chen 表示，Cloudflare 更看重整体回报，例如吸引开发者在其平台上构建智能体，从而带动计算、数据库和存储等业务。
决策模型的关键限制
尽管进展显著，基于云的决策模型并非适用于所有场景。印尼对话式 AI 公司 Kata.ai 的 CTO 表示，由于 Jev 运行在云端，涉及数据合规性的监管担忧，他们尚未将其用于银行交易的实时分类。该公司计划为需要本地数据处理的企业客户适配开源权重模型。
人们现在对这一理念持开放态度，同时也受够了 LLMs 高昂的费用。
对于 Roboflow 的 Kokalj 而言，本地运行模型在速度与可靠性上更具优势。例如，制造流水线的摄像头需在无网络情况下以每秒 30 帧的速度处理图像，每帧处理时间需少于 33 毫秒。测试显示，OpenAI 的 Decisions API 耗时约 250 毫秒，无法满足实时性要求。
图片来源：Timmy Loen
一致性也是主要挑战。Kata.ai 的 Prawinda 指出，即使上下文不变，提示词的更改也会影响 Jev 的概率评分，因此部署前需充分评估每种用例。
OpenAI 的 Choi 承认，当问题重述或选项排序改变时，决策模型的一致性有待提高。他警告称，模型的置信度分数不应被误认为是答案正确的概率。
尽管存在局限，决策模型仍因低成本受到关注。正如 Cloudflare 的 Chen 所言：“人们现在对这一理念持开放态度，同时也对 LLMs 如此高昂的费用感到厌倦。”