Jev 是 TypeSafe AI 公司于 2026 年 9 月发布的结构化评估模型（structured evaluation model），也是该公司所称的「系统一模型」品类的第一个产品。用一句话概括：你给它一个状态（state）和几个关于这个状态的问题，它返回的不是一段文字，而是一个带概率的类型化答案。
本文汇总 arXiv 上围绕该主题检索到的 10 篇预印本，并附大模型生成的检索归纳。检索为单次 arXiv API 查询，结果保持原始顺序，未做逐篇相关性筛选。
综合来看，这批论文在方法上呈现出一致的技术路线：将决策任务形式化为类型化选择，用单次前向传播输出校准概率，避免自回归生成。共同发现包括：Jev式模型在二元或有限选项决策上可达到与LLM评判者相当的准确率，同时成本降低数十至数百倍，延迟降低一个数量级；在智能体记忆和选择性控制中，System One决策层能显著减少强模型调用次数并压缩构建与查询时间。然而，分歧同样明显：在分级标准、复杂推理、低置信度决策和分布外场景中，Jev与最强LLM评判者的差距扩大；级联收益受限于错误相关性，最多仅提升1.5至2.0个百分点 [2], [6]。
研究归纳
1. 研究概况
本综述围绕Jev类型化决策模型（System One决策模型）在大型语言模型（LLM）评判、智能体记忆、选择性控制等场景中的应用展开。检索式以“JEV”与“large language model”“LLM”“deep learning”等词组合，实际纳入的论文均将Jev视为一种受System One/System Two认知启发的决策架构。这批论文共同关注的核心问题是：能否用轻量、单次前向传播、返回类型化概率而不生成文本的决策模型，替代或增强依赖自回归生成的LLM评判器、记忆控制器和智能体路由器，从而在保持决策质量的同时大幅降低计算成本与延迟。
所纳入的十篇论文覆盖了智能体记忆管理、对齐失败检测、事故叙事编码、诈骗电话筛查、数值解码、评分标准评判、自主渗透测试、选择性控制、边缘服务编排和LLM评判等应用场景。它们共享一个基本假设：许多决策任务本质上是类型化选择而非自由生成，因此可以用校准概率输出替代文本生成。论文之间在方法上既有共识也有分歧：共识在于Jev式模型能显著降低成本和延迟；分歧在于其准确率优势因任务类型、标签粒度和校准质量而异，尤其在分级标准、复杂推理和分布外场景中表现不一。
2. 智能体记忆与选择性控制
在智能体记忆领域，现有系统通常依赖自回归LLM控制记忆组织与检索，将昂贵的生成过程置于记忆操作的关键路径上。Jev-Mem受System One/System Two认知启发，构建了System-One控制平面、结构化多关系记忆平面与System-Two推理平面。其System-One控制器在构建阶段管理记忆类型与关系组织，在检索阶段执行查询路由、检索预算分配、图遍历、候选打分与自适应停止，而System-Two仅在复杂推理与答案合成时被调用。在LoCoMo基准上，LLM-as-a-Judge总分为0.777，相对最强基线提升11.0%；记忆构建时间降至158秒，比最快竞争系统快6.6倍，平均查询延迟降至0.93秒，减少36.7% [7]。这一结果表明，将System One决策层嵌入记忆系统可有效缓解生成瓶颈。
在选择性控制方面，REFLEX智能体架构使用Jev作为快速类型化决策层，在置信度低或需要生成时调用强LLM。在冻结的100任务基准上，REFLEX达到95%成功率，比仅用强模型的智能体减少72.7%的强模型调用，且该减少在三种回退族中持续存在。受控干预显示可靠性取决于动作集大小以及授权边界附近的近似有效替代项。外部BFCL和τ类评估显示，当普通路由已高度准确时，相比廉价生成式级联优势有限 [4]。这说明Jev的选择性控制收益并非普遍，而是受任务结构和路由基线精度调节。
边缘服务编排场景进一步验证了低延迟决策的价值。将Jev面向决策的API集成到边缘服务编排中，可减少自然语言服务请求执行前的语言模型决策延迟。集成提取四个有界意图字段，并应用共享验证器、准入策略和调度器。与短结构化输出的DeepSeek部署比较，Jev在三个连续测量块中将中位客户端决策延迟降低15.9%至26.5%；在八组配对OCR条件中，Jev在七组中与DeepSeek的正确按时完成数持平，在一组中超过它；无缓存时，两者均正确完成的请求中位端到端延迟低11.1%至25.3%，每次正确完成的API费用低69.0%至70.6% [5]。这些发现与Jev-Mem和REFLEX的结论一致，即类型化决策层能在不牺牲任务完成率的前提下压缩延迟与成本。
3. LLM评判与对齐失败检测
LLM评判是Jev应用最密集的领域之一。传统对齐失败检测器多为生成式评判器或固定标签分类器，每次调用需消耗解码或仅给单一标签。Jev经强化学习校准决策训练，可在单次调用中对一个输入回答多个类型化问题并给出校准概率。RLCDAlignBench覆盖谄媚、越狱、欺骗、提示注入、幻觉、隐私侵犯、社会偏见、奖励黑客、隐瞒不确定性与权力寻求十类对齐失败，涵盖44个基准与五个目标模型。通过分别变化提问措辞与输入字段，发现问题措辞影响小，上下文影响更大，主要来自编码标签的字段。单个通用问题零样本达到中位AUROC 0.886，在多数基准上超过监督基线，与参考评分器的人类一致性相当，成本比LLM评判器低63倍 [8]。这一结果凸显了类型化决策在零样本对齐检测中的成本优势。
在评分标准评判中，Jev作为返回允许答案概率而不生成文本的类型化分类器，与三个flash级LLM评判者在来自七个基准的九个面板上比较。27个配对比较中仅8个准确率差异显著，Jev在二元标准上多占优、在分级标准上落后。九个面板合计，LLM评判者按每条标准调用一次的成本是Jev的29至325倍，耗时是30至220倍。在分级标准上，四个评判者彼此之间的一致性高于与标签的一致性，且大多给出比人工评分者更低的等级。Jev的置信度在多数面板上能对其自身错误排序，但LLM评判者重复了Jev几乎所有最自信的错误，导致级联最多仅比最佳单一评判者提升1.5至2.0个百分点 [2]。这表明Jev在二元决策上具有竞争力，但在分级标准上仍逊于生成式评判者，且级联收益受限于错误相关性。
另一项LLM评判研究将jev-as-a-judge与十六个生成式和奖励模型评判者比较，并经盲法人工裁决。在普通偏好和证据支撑的事实性上，其与最强LLM评判者差距在三个百分点以内，费用仅为后者的0.36%。当判断需要检查推导或抵抗精心编写的错误答案时，差距更大；在若干基准上，JEV与该比较者的差距集中在低置信度决策上。一个冻结级联接受自信判定并升级不确定判定，以更低成本保留了该比较者99%的准确率 [6]。这与评分标准评判的发现相呼应：Jev适合作为经济的第一轮评估器，但复杂推理和低置信度场景仍需强模型介入。
4. 领域应用与结构化决策
在事故叙事编码中，带调查员叙事的碰撞数据集包含编码字段所缺失的信息，但大规模编码受限于前沿LLM成本高、生成文本不可验证、人工核查量无规则。本文将叙事编码形式化为门控类型化决策，由System One模型Jev在分析者定义选项上返回概率且不生成文本。筛查覆盖499,500条得克萨斯州叙事，其中195,857条按27问题模式完成编码，成本由模式大小而非叙事长度决定。概率结果与编码字段及按既定抽样设计获得的2,416条盲态人工判断进行审计，并基准测试两个前沿LLM。类型化模型相对人工标签F1为0.908，一个前沿模型提升0.059，另一个与之无显著差异；校准因模型而异，需逐一审计。在同一标签上重校准使校准误差降低3.3倍；与编码字段的一致性中位低估叙事保真度0.26 kappa；加入校准变量后归因于九类因素的伤害与致命碰撞每年增加10,747起 [9]。这一案例展示了Jev在大规模、高保真编码中的潜力，同时强调校准审计的必要性。
在诈骗电话筛查中，电话诈骗筛查需要在每个来电轮次后毫秒级给出可信概率。Jev式类型化决策可声明选项并在单次前向传播中输出每个选项的校准概率且不生成文本。在CallScreenBench上测试开源实现JevLite：对Qwen3-4B进行LoRA微调，使两个答案标签logits经温度缩放softmax后得到P(scam)。在41个留出场景（577个逐轮决策）上，三种子集成达到AUROC 0.974、校准误差0.052，在预设0.02边际下不劣于LLM评判器MiniMax-M3。对合法通话无误报，在相同挂断规则下决策提前1.14轮，单张消费级GPU上每次决策64.5毫秒，比同骨干微调生成答案低4.9倍。增益来自读出与校准而非准确率：微调ModernBERT编码器表现不显著更差，配方选择存在测试集暴露，且所有来电者均为合成数据。作者不声称架构新颖性，贡献在于应用以及同时报告校准、误报与决策时机的评估 [10]。
在数值解码中，NUMERICJEV是一种免训练的数值解码算法，使任何具有Jev式结构化选择接口的LLM能输出数值结果。方法上通过多路决策树递归细化数值范围，并在上下文中保留原始问题，无需参数更新或访问隐藏状态。在算术基准上，其表现比从含正确答案的候选列表中直接选择高出2.93个百分点。在100值网格上，十路树仅需两轮决策；范围归一化MAE为1.84%，而直接选择为5.18%。在三个日期的历史指数研究中，平均相对召回误差为4.58%，当数值被提供时读出误差为0% [1]。这表明Jev式接口可扩展至连续数值输出，且免训练特性降低了部署门槛。
在自主渗透测试中，常用LLM确认发现、评定严重性和选择智能体，可能导致误报、严重性虚高和算力浪费。研究定义四个决策点：发现裁定、严重性重校准、智能体剪枝和确认循环。通过NeuroSploit探索性案例研究，比较使用与不使用TypeSafe System One（Jev）对含13个漏洞的Web目标的单次运行，差异在严重性分布、运行时间和按暴露数据类型的评分上，但未确立统计显著性。研究回顾Jev、Jev-Ultrafast和开源Laya的公开规范，不假设其他基准结果可迁移至渗透测试。讨论RLHF、RLAIF、RLCD和RLHV等训练方法及其对安全决策信任的影响，并提出领域适配的System One模型Rave及其训练数据、评估协议和潜在影响 [3]。该工作尚处探索阶段，但指出了Jev在安全关键领域适配时需考虑的训练与信任问题。
5. 讨论与展望
综合来看，这批论文在方法上呈现出一致的技术路线：将决策任务形式化为类型化选择，用单次前向传播输出校准概率，避免自回归生成。共同发现包括：Jev式模型在二元或有限选项决策上可达到与LLM评判者相当的准确率，同时成本降低数十至数百倍，延迟降低一个数量级；在智能体记忆和选择性控制中，System One决策层能显著减少强模型调用次数并压缩构建与查询时间。然而，分歧同样明显：在分级标准、复杂推理、低置信度决策和分布外场景中，Jev与最强LLM评判者的差距扩大；级联收益受限于错误相关性，最多仅提升1.5至2.0个百分点 [2], [6]。
研究空白与局限亦不容忽视。多数评估依赖合成数据或特定基准，如诈骗筛查中所有来电者均为合成数据 [10]，渗透测试仅为单次探索性案例且未确立统计显著性 [3]。校准质量因模型而异，需逐一审计 [9]。此外，Jev的置信度虽能对自身错误排序，但LLM评判者会重复其最自信的错误，说明单纯级联不足以完全消除风险 [2]。未来方向包括：领域适配的System One模型训练（如Rave）、更鲁棒的校准方法、以及将Jev与检索增强或工具调用结合以处理需要外部证据的复杂判断。总体而言，Jev类型化决策模型为LLM系统提供了一种经济高效的第一轮决策层，但其适用边界和可靠性保障仍需在更多真实场景中系统验证。
本综述仅基于本次取回论文的标题、摘要和元数据，不等于全文综述，也不代表完整召回或质量评级。
论文速览（10 篇）
1. NumericJev：基于多路决策树的类Jev大语言模型数值解码
NumericJev: Jev-like LLM Numerical Decoding with Multiway Decision Trees
Weiwei Ye；Hangchen Liu；Renhe Jiang · 首次提交 2026-09-23 · arXiv:2609.28587v1
原文链接：https://arxiv.org/pdf/2609.28587v1
AI 要点
数值解码多路决策树免训练方法LLM结构化选择
提出NUMERICJEV，一种免训练的数值解码算法，使任何具有Jev式结构化选择接口的LLM能输出数值结果。
方法上通过多路决策树递归细化数值范围，并在上下文中保留原始问题，无需参数更新或访问隐藏状态。
在算术基准上，其表现比从含正确答案的候选列表中直接选择高出2.93个百分点。
在100值网格上，十路树仅需两轮决策；范围归一化MAE为1.84%，而直接选择为5.18%。
在三个日期的历史指数研究中，平均相对召回误差为4.58%，当数值被提供时读出误差为0%。
2. JEV与LLM作为评分标准评判者的对比：更便宜、更快速，却在相同之处出错
JEV vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places
Delip Rao；Chris Callison-Burch · 首次提交 2026-09-24 · arXiv:2609.29769v1
原文链接：https://arxiv.org/pdf/2609.29769v1
AI 要点
评分标准评判类型化分类器成本效率级联决策
研究Jev这一返回允许答案概率而不生成文本的类型化分类器能否替代LLM评分标准评判者。
在来自七个基准的九个面板上与三个flash级LLM评判者比较，27个配对比较中仅8个准确率差异显著，Jev在二元标准上多占优、在分级标准上落后。
九个面板合计，LLM评判者按每条标准调用一次的成本是Jev的29至325倍，耗时是30至220倍。
在分级标准上，四个评判者彼此之间的一致性高于与标签的一致性，且大多给出比人工评分者更低的等级。
Jev的置信度在多数面板上能对其自身错误排序，但LLM评判者重复了Jev几乎所有最自信的错误，导致级联最多仅比最佳单一评判者提升1.5至2.0个百分点。
3. 面向自主渗透测试框架的校准决策模型：JEV与Laya作为LLM驱动渗透测试智能体的系统一决策层
Calibrated Decision Models for Autonomous Penetration-Testing Harnesses: JEV and Laya as System One Decision Layers for LLM-Driven Pentest Agents
Joas Antonio dos Santos Barbosa · 首次提交 2026-09-24 · arXiv:2609.28940v1
原文链接：https://arxiv.org/pdf/2609.28940v1
AI 要点
自主渗透测试System One决策模型校准判定安全智能体
指出自主渗透测试框架常用LLM确认发现、评定严重性和选择智能体，可能导致误报、严重性虚高和算力浪费。
定义四个决策点：发现裁定、严重性重校准、智能体剪枝和确认循环。
通过NeuroSploit探索性案例研究，比较使用与不使用TypeSafe System One（Jev）对含13个漏洞的Web目标的单次运行，差异在严重性分布、运行时间和按暴露数据类型的评分上，但未确立统计显著性。
回顾Jev、Jev-Ultrafast和开源Laya的公开规范，不假设其他基准结果可迁移至渗透测试。
讨论RLHF、RLAIF、RLCD和RLHV等训练方法及其对安全决策信任的影响，并提出领域适配的System One模型Rave及其训练数据、评估协议和潜在影响。
4. 结合Jev的REFLEX：面向LLM智能体的高效选择性控制
REFLEX with Jev for Efficient Selective Control in LLM Agents
Tiantong Wu；Wei Yang Bryan Lim · 首次提交 2026-09-22 · arXiv:2609.26532v1
原文链接：https://arxiv.org/pdf/2609.26532v1
AI 要点
LLM智能体选择性控制类型化决策层计算效率
研究REFLEX智能体架构，使用Jev作为快速类型化决策层，在置信度低或需要生成时调用强LLM。
在冻结的100任务基准上，REFLEX达到95%成功率，比仅用强模型的智能体减少72.7%的强模型调用，且该减少在三种回退族中持续存在。
受控干预显示可靠性取决于动作集大小以及授权边界附近的近似有效替代项。
外部BFCL和τ类评估显示，当普通路由已高度准确时，相比廉价生成式级联优势有限。
结论指出使用Jev的选择性控制何时能减少计算，以及其收益受限的场景。
5. 以Jev决策模型替代大语言模型实现低延迟边缘服务编排
Replacing Large Language Models with Jev Decision Models for Low-Latency Edge Service Orchestration
Delong Li 等（共 5 位作者） · 首次提交 2026-09-19 · arXiv:2609.22753v1
原文链接：https://arxiv.org/pdf/2609.22753v1
AI 要点
边缘服务编排低延迟决策API集成成本降低
将Jev面向决策的API集成到边缘服务编排中，以减少自然语言服务请求执行前的语言模型决策延迟，同时保持服务完成。
集成提取四个有界意图字段，并应用共享验证器、准入策略和调度器，在整个请求时间线中考虑决策等待。
与短结构化输出的DeepSeek部署比较，Jev在三个连续测量块中将中位客户端决策延迟降低15.9%至26.5%。
在八组配对OCR条件中，Jev在七组中与DeepSeek的正确按时完成数持平，在一组中超过它。
无缓存时，两者均正确完成的请求中位端到端延迟低11.1%至25.3%，每次正确完成的API费用低69.0%至70.6%；重复请求缓存基本消除延迟差异。
6. JEV作为评判者：自信时接受，不确定时升级
JEV-as-a-Judge: Accept When Confident, Escalate When Unsure
Yubo Li 等（共 4 位作者） · 首次提交 2026-09-22 · arXiv:2609.26550v1
原文链接：https://arxiv.org/pdf/2609.26550v1
AI 要点
LLM评判决策模型级联评估成本效率
研究仅做决策的评判者能否提供经济的第一轮评估，并识别何时需要更强评估。
将jev-as-a-judge与十六个生成式和奖励模型评判者比较，并经盲法人工裁决，在普通偏好和证据支撑的事实性上，其与最强LLM评判者差距在三个百分点以内，费用仅为后者的0.36%。
当判断需要检查推导或抵抗精心编写的错误答案时，差距更大。
在若干基准上，JEV与该比较者的差距集中在低置信度决策上。
一个冻结级联接受自信判定并升级不确定判定，以更低成本保留了该比较者99%的准确率。
7. Jev-Mem：面向高效AI智能体的系统一控制式智能体记忆
Jev-Mem: System-One-Controlled Agentic Memory for Efficient AI Agents
Dongming Jiang；Yi Li；Bingzhe Li · 首次提交 2026-09-21 · arXiv:2609.23986v1
原文链接：https://arxiv.org/pdf/2609.23986v1
AI 要点
智能体记忆System-One/System-Two检索效率LLM智能体
现有智能体记忆系统依赖自回归LLM控制记忆组织与检索，将昂贵生成置于记忆操作关键路径上。
Jev-Mem受System-One/System-Two认知启发，构建System-One控制平面、结构化多关系记忆平面与System-Two推理平面。
System-One控制器在构建阶段管理记忆类型与关系组织，在检索阶段执行查询路由、检索预算分配、图遍历、候选打分与自适应停止。
System-Two仅在复杂推理与答案合成时被调用。
在LoCoMo上LLM-as-a-Judge总分为0.777，相对最强基线提升11.0%。
记忆构建时间降至158秒，比最快竞争系统快6.6倍；平均查询延迟降至0.93秒，减少36.7%。
8. 直接询问Jev：将校准决策的强化学习作为AI对齐失败的零样本检测器
Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures
Ruoqi Guo 等（共 9 位作者） · 首次提交 2026-09-24 · arXiv:2609.29429v1
原文链接：https://arxiv.org/pdf/2609.29429v1
AI 要点
对齐失败检测校准决策零样本检测RLCD
现有对齐失败检测器多为生成式评判器或固定标签分类器，每次调用需消耗解码或仅给单一标签。
Jev经强化学习校准决策训练，可在单次调用中对一个输入回答多个类型化问题并给出校准概率。
提出RLCDAlignBench，覆盖谄媚、越狱、欺骗、提示注入、幻觉、隐私侵犯、社会偏见、奖励黑客、隐瞒不确定性与权力寻求十类对齐失败。
基准涵盖44个基准与五个目标模型，标签来自各基准评分器，其中两个基准有人工标注。
通过分别变化提问措辞与输入字段，发现问题措辞影响小，上下文影响更大，主要来自编码标签的字段。
单个通用问题零样本达到中位AUROC 0.886，在多数基准上超过监督基线，与参考评分器的人类一致性相当，成本比LLM评判器低63倍。
9. 大规模校准决策：利用系统一模型（Jev）将警方碰撞叙述转化为概率性碰撞变量
Calibrated Decisions at Scale: Converting Police Crash Narratives into Probabilistic Crash Variables with a System One Model (Jev)
Amir Rafe；Subasish Das · 首次提交 2026-09-21 · arXiv:2609.24052v1
原文链接：https://arxiv.org/pdf/2609.24052v1
AI 要点
事故叙事编码概率化变量校准评估System One模型
带调查员叙事的碰撞数据集包含编码字段所缺失的信息，但大规模编码受限于前沿LLM成本高、生成文本不可验证、人工核查量无规则。
本文将叙事编码形式化为门控类型化决策，由System One模型Jev在分析者定义选项上返回概率且不生成文本。
筛查覆盖499,500条得克萨斯州叙事，其中195,857条按27问题模式完成编码，成本由模式大小而非叙事长度决定。
概率结果与编码字段及按既定抽样设计获得的2,416条盲态人工判断进行审计，并基准测试两个前沿LLM。
类型化模型相对人工标签F1为0.908，一个前沿模型提升0.059，另一个与之无显著差异；校准因模型而异，需逐一审计。
在同一标签上重校准使校准误差降低3.3倍；与编码字段的一致性中位低估叙事保真度0.26 kappa；加入校准变量后归因于九类因素的伤害与致命碰撞每年增加10,747起。
10. Open-Jev在CallScreenBench上的判断：基于小语言模型的校准式单遍诈骗筛查
Open-Jev Judgments on CallScreenBench: Calibrated One-Pass Scam Screening with a Small Language Model
Simiao Ren 等（共 9 位作者） · 首次提交 2026-09-21 · arXiv:2609.23959v1
原文链接：https://arxiv.org/pdf/2609.23959v1
AI 要点
诈骗电话筛查校准概率小语言模型单次前向传播
电话诈骗筛查需要在每个来电轮次后毫秒级给出可信概率，Jev式类型化决策可声明选项并在单次前向传播中输出每个选项的校准概率且不生成文本。
在CallScreenBench上测试开源实现JevLite：对Qwen3-4B进行LoRA微调，使两个答案标签logits经温度缩放softmax后得到P(scam)。
在41个留出场景（577个逐轮决策）上，三种子集成达到AUROC 0.974、校准误差0.052，在预设0.02边际下不劣于LLM评判器MiniMax-M3。
对合法通话无误报，在相同挂断规则下决策提前1.14轮，单张消费级GPU上每次决策64.5毫秒，比同骨干微调生成答案低4.9倍。
增益来自读出与校准而非准确率：微调ModernBERT编码器表现不显著更差，配方选择存在测试集暴露，且所有来电者均为合成数据。
作者不声称架构新颖性，贡献在于应用以及同时报告校准、误报与决策时机的评估。