Jev 刷屏一周,DAIR.AI 的 elvis(@omarsar0)发了一篇 X 长文《A Beginner's Guide to Jev》。开头第二句话就挺直接:推特上到处是误导性的例子,没展示出 Jev 真正的能力,所以他们写了这份入门指南,还配了一个能直接上手试的 Jev Playground。
前两篇我们讲了 Jev 是什么、它对 agent 架构意味着什么。这篇补的是第三块:坐下来真用的时候,题怎么出,返回的那组数字怎么读。
01一张工单,一张判断单
他的讲法很适合第一次接触的人。想象你递给 Jev 一张客服工单和一张简短的判断单。工单是 state,也就是 Jev 要读的信息;判断单上是你要它回答的问题。
一张工单可以问三件事:该哪个团队处理?需不需要人工复核?对客户的影响有多严重?每个问题的答案形状是事先定死的,对应三种题型。
一个 state,三种问法:Choice 选一个、Noul 给"是"的概率、Score 落在有序刻度上(图源:@omarsar0 X 长文)
- ▪Choice
:选一个,比如 payments、account、frontend。适合每个选项通向不同代码路径的时候 - ▪Noul
:返回"是"的概率,比如 78% 的可能需要人工复核。适合你的代码需要一个 if 的时候 - ▪Score
:把答案放在有序刻度上,比如低、中、高影响。适合你要在一个评分标准上设阈值的时候
同一个 state 可以一次问好几个问题,Jev 分开回答,一个答案不会影响另一个。
02返回的数字怎么读
这一节是全文最有用的部分,也最容易被跳过。
Playground 里"清晰工单"这个用例的结果:团队选 payments 100%,需要复核 23%,影响 2.00;最下面的模拟策略是"70% 以上才触发"(图源:@omarsar0 X 长文)
Choice 返回选中的选项、每个选项的概率,以及一个 confidence。Score 返回一个数值分数、它的有序图例、一个分布,以及 confidence。Noul 只返回"是"的概率,没有单独的 confidence。elvis 特意说明,他们的界面为了好读把"是"和"否"都画了出来,但没有替 Noul 编一个 confidence 值。
两条读法:
1. 看完整分布,别只看标签。 前两名很接近的时候,一个单独的标签会把这份不确定藏起来。2. 阈值滑块就是你的业务策略。 它把一个 Noul 概率变成一条应用策略。调高,策略触发得少;调低,策略更谨慎。
然后是那句应该贴在工位上的话:最后拍板的是你的代码。它设阈值,它执行硬规则,它决定一个动作放不放行。
读 Jev 返回值的三条规则,以及四个难例分别在考什么
03哪里能用,哪里别用
elvis 给的适用范围是"答案有边界的重复性判断":模型路由、内容分诊、相关性检查、工具风险审查,以及 agent 循环外面的质量闸门。
不适用的部分他直接引了 TypeSafe 官方那页 jev-1.13 毛边清单:算术、计数、日期、字面措辞、无关上下文、对抗性 state、自相矛盾的标准,模型在这些地方表现不均匀。他的建议是两句话:精确检查留在代码里;把每个概率当成证据,由你的策略去权衡,权限决策放在代码里。
这和我们上一篇的结论是同一件事:算术、格式、权限归代码,语义判断归 Jev,写东西和长推理归大模型。
04Playground:六个基础用例,四个挖坑的
Playground 里先给了六个用例:清晰的工单、含糊的工单、带干扰信息的工单、模型路由、agent 工具调用护栏、智能家居指令。后三个改编自 TypeSafe 官方的模型路由、LLM 护栏用例和智能家居 demo。每个 state 都能改了再跑。
四个更难的用例:证据互相矛盾、伪装的工具调用、听起来简单、嵌套例外(图源:@omarsar0 X 长文)
文末又开了四个更难的,每个都藏了一点让判断不那么显然的东西:
- ▪Conflicting evidence
:两个团队都有理由接这张工单。截图里的例子是支付步骤报 500,计费供应商的状态页显示有事故,但自家前端 8 分钟前刚发版,而且只在 Safari 上出错。看复核概率会不会升上去 - ▪Disguised tool call
:一条指令被埋在 state 里 - ▪Sounds simple
:听着简单,实际没那么简单 - ▪Nested exceptions
:例外套例外
他的建议是随便挑一个,改 state 里的任何东西,看分布怎么动。这比读十篇介绍都管用。Playground 在 DAIR.AI Academy 上,需要留邮箱解锁完整教程。
Jev 给你的是证据。阈值、硬规则、放不放行,都在你的代码里。
项目地址elvis 的 X 长文:https://x.com/omarsar0/status/2101774405521301681Jev Playground(DAIR.AI Academy):https://academy.dair.ai/resources/introduction-to-jevTypeSafe 文档:https://docs.typesafe.ai/jev-1.13 已知毛边:https://docs.typesafe.ai/model-jaggedness/jev-1.13

