vLLM开源Decision 3.0，主打多模态轻量判断
智东西10月12日消息，vLLM社区孵化的开源AI基础设施项目vLLM Semantic Router正式推出并开源多模态决策模型Decision 3.0系列 。该系列模型专注于分类、选择、是非判断和评分等任务，直接返回结构化判断结果及概率，不生成长篇文本 。
▲vLLM Semantic Router推出并开源Decision 3.0（图源：X）
对标Jev与微软，支持本地部署与多模态输入
近期，以“做判断”而非生成文本为核心功能的决策模型备受关注。Jev模型上线3天Token用量即达1万亿 ，其开发商TypeSafe AI在24天内获得a16z领投的8.7亿美元 融资，估值达75亿美元 。微软也于10月10日推出基于Qwen3.5-9B微调的Microsoft-Decision-1，通过云端提供服务。
与之相比，vLLM-SR的Decision 3.0系列包含d3、d3-flash、d3-mini、d3-nano、d3-lite和d3-edge 六款模型，参数规模覆盖0.6B至27B ，权重已在Hugging Face开源。
https://huggingface.co/collections/vllm-sr/decision-30
旗舰模型d3基于Qwen3.8-27B打造，支持图片及视频输入；其余五款基于不同规模的Qwen3.5构建。与主要提供云端API的Jev不同，Decision 3.0开放权重，支持本地部署 ，可直接处理多模态数据。
性能评测：文本与视觉榜单均位列第一
在Jev Decision Index 0.3.1榜单中，d3文本决策指数为64.7分，公开集得分65.5分，位列文本榜第一 ，超越Jev的60.1分。d3（27B）、d3-flash（9B）及d3-mini（4B）的成绩均优于微软Decision-1（9B）的53.2分。
在视觉榜中，d3以71.6分同样排名第一 。小参数模型表现亦不俗，9B的d3-flash在文本榜获59.8分，视觉榜获66.9分，位居同规模前列。
第三方实测显示，在75道工具选择题测试中，Microsoft-Decision-1答对71题 居首；d3-flash和d3-mini答对70题 并列第二；Jev答对69题 ；d3-nano答对68题 。
应用场景与推理效率
Decision 3.0适用于客服分流、内容审核、风险识别和模型路由 等场景。例如在处理客户投诉时，模型可一次性判断负责团队、验证收据有效性及确认配送方式，并给出结构化答案。
性能方面，单张AMD Instinct MI325X GPU上，d3处理文本请求延迟中位数为55毫秒 ，含图片请求为273毫秒 ，10秒视频请求为553毫秒 。
另有开发者将d3-lite部署于搭载M5 Pro的Mac本地，对1000个代码合并请求（PR） 进行分类路由，总耗时约2分钟 。单个PR平均处理耗时约0.12秒 ，吞吐量达每秒8.3个PR ，全程无需调用云端API。
结语：类Jev模型瞄准AI决策需求
随着AI应用对意图识别、任务分类和模型路由需求的提升，类Jev决策模型有望承担更多轻量级、结构化的判断任务。它们能先识别用户意图并分发任务，再由合适的生成模型处理。
对于多模型系统而言，此类模型有助于减轻通用大模型处理简单任务的负担，从而控制推理成本、提升响应速度及路由准确性。
智东西