大数跨境

Jev 入门指南:三种题型怎么问、概率怎么读、四个专门挖坑的难例

Jev 入门指南:三种题型怎么问、概率怎么读、四个专门挖坑的难例 AIGCLINK
2026-09-21
15
导读:Choice、Noul、Score 各返回什么;Noul 没有 confidence;阈值滑块就是业务策略;四个难例在考什么。

Jev 刷屏一周,DAIR.AI 的 elvis(@omarsar0)发了一篇 X 长文《A Beginner's Guide to Jev》。开头第二句话就挺直接:推特上到处是误导性的例子,没展示出 Jev 真正的能力,所以他们写了这份入门指南,还配了一个能直接上手试的 Jev Playground。

前两篇我们讲了 Jev 是什么、它对 agent 架构意味着什么。这篇补的是第三块:坐下来真用的时候,题怎么出,返回的那组数字怎么读

01一张工单,一张判断单

他的讲法很适合第一次接触的人。想象你递给 Jev 一张客服工单和一张简短的判断单。工单是 state,也就是 Jev 要读的信息;判断单上是你要它回答的问题。

一张工单可以问三件事:该哪个团队处理?需不需要人工复核?对客户的影响有多严重?每个问题的答案形状是事先定死的,对应三种题型。

一个 state,三种问法:Choice 选一个、Noul 给"是"的概率、Score 落在有序刻度上(图源:@omarsar0 X 长文)

  • Choice
    :选一个,比如 payments、account、frontend。适合每个选项通向不同代码路径的时候
  • Noul
    :返回"是"的概率,比如 78% 的可能需要人工复核。适合你的代码需要一个 if 的时候
  • Score
    :把答案放在有序刻度上,比如低、中、高影响。适合你要在一个评分标准上设阈值的时候

同一个 state 可以一次问好几个问题,Jev 分开回答,一个答案不会影响另一个。

02返回的数字怎么读

这一节是全文最有用的部分,也最容易被跳过。

Playground 里"清晰工单"这个用例的结果:团队选 payments 100%,需要复核 23%,影响 2.00;最下面的模拟策略是"70% 以上才触发"(图源:@omarsar0 X 长文)

Choice 返回选中的选项、每个选项的概率,以及一个 confidence。Score 返回一个数值分数、它的有序图例、一个分布,以及 confidence。Noul 只返回"是"的概率,没有单独的 confidence。elvis 特意说明,他们的界面为了好读把"是"和"否"都画了出来,但没有替 Noul 编一个 confidence 值。

两条读法:

1. 看完整分布,别只看标签。 前两名很接近的时候,一个单独的标签会把这份不确定藏起来。2. 阈值滑块就是你的业务策略。 它把一个 Noul 概率变成一条应用策略。调高,策略触发得少;调低,策略更谨慎。

然后是那句应该贴在工位上的话:最后拍板的是你的代码。它设阈值,它执行硬规则,它决定一个动作放不放行。

读 Jev 返回值的三条规则,以及四个难例分别在考什么

03哪里能用,哪里别用

elvis 给的适用范围是"答案有边界的重复性判断":模型路由、内容分诊、相关性检查、工具风险审查,以及 agent 循环外面的质量闸门。

不适用的部分他直接引了 TypeSafe 官方那页 jev-1.13 毛边清单:算术、计数、日期、字面措辞、无关上下文、对抗性 state、自相矛盾的标准,模型在这些地方表现不均匀。他的建议是两句话:精确检查留在代码里;把每个概率当成证据,由你的策略去权衡,权限决策放在代码里

这和我们上一篇的结论是同一件事:算术、格式、权限归代码,语义判断归 Jev,写东西和长推理归大模型。

04Playground:六个基础用例,四个挖坑的

Playground 里先给了六个用例:清晰的工单、含糊的工单、带干扰信息的工单、模型路由、agent 工具调用护栏、智能家居指令。后三个改编自 TypeSafe 官方的模型路由、LLM 护栏用例和智能家居 demo。每个 state 都能改了再跑。

四个更难的用例:证据互相矛盾、伪装的工具调用、听起来简单、嵌套例外(图源:@omarsar0 X 长文)

文末又开了四个更难的,每个都藏了一点让判断不那么显然的东西:

  • Conflicting evidence
    :两个团队都有理由接这张工单。截图里的例子是支付步骤报 500,计费供应商的状态页显示有事故,但自家前端 8 分钟前刚发版,而且只在 Safari 上出错。看复核概率会不会升上去
  • Disguised tool call
    :一条指令被埋在 state 里
  • Sounds simple
    :听着简单,实际没那么简单
  • Nested exceptions
    :例外套例外

他的建议是随便挑一个,改 state 里的任何东西,看分布怎么动。这比读十篇介绍都管用。Playground 在 DAIR.AI Academy 上,需要留邮箱解锁完整教程。

Jev 给你的是证据。阈值、硬规则、放不放行,都在你的代码里。

项目地址elvis 的 X 长文:https://x.com/omarsar0/status/2101774405521301681Jev Playground(DAIR.AI Academy):https://academy.dair.ai/resources/introduction-to-jevTypeSafe 文档:https://docs.typesafe.ai/jev-1.13 已知毛边:https://docs.typesafe.ai/model-jaggedness/jev-1.13

【声明】内容源于网络
0
0
AIGCLINK
AIGCLINK公众号,致力于让每个想拥抱AI的人都能找到适合自己的AI产品
内容 630
粉丝 0
AIGCLINK AIGCLINK公众号,致力于让每个想拥抱AI的人都能找到适合自己的AI产品
总阅读14.3k
粉丝0
内容630