编者摘要:本文提出分层智能体架构:把结构化决策任务剥离出通用生成大模型,交由专门的决策模型 Jev 处理,搭配开源智能体调度框架 TrueForge,大幅降低智能体运行成本,同时保持准确率。
传统智能体全部任务都交给 LLM,即使只是在有限候选里做选择,也会消耗大量 token,且缺少可靠置信度,容易静默出错。Jev 是 TypeSafe AI 的 System One 决策模型,专门处理固定选项的选择、打分、布尔概率判断,输出带校准置信度的结构化 JSON。价格极低:输入仅 $0.042 / 百万 token,输出免费,推理速度比 LLM 快几十到上百倍。
Jev 存在输入 token 上限和候选数量上限,不能创造新内容。所以采用 “粗筛 + Jev 判定 + 置信路由复核” 流水线:先用脚本缩小候选集合;Jev 做匹配;置信低于阈值的案例回传给 Claude Opus 复核。 在 40 条客户工单匹配测试上,Jev 方案和纯 Opus 准确率同为 37/40,但决策成本下降约 150 倍;并且低置信样本会进入二次校验,捕获更多潜在错误。
底层调度框架 TrueForge 通过延迟工具加载、大文本卸载、代码模式、子智能体四项机制控制上下文膨胀,减少模型调用;同时提供凭证隔离、人工写入审批,保障数据安全。 该架构范式可推广到工单分类、CRM、邮件分拣等大量批量决策场景:生成模型负责创作与复杂推理,轻量决策模型负责候选选择,置信度作为自动复核开关。
20 个关键问题问与答
-
什么是 Open Agent Harness?
智能体调度框架,管理 Agent 执行循环、工具调用、上下文流转、分支逻辑。
-
Jev 是谁开发的?定位是什么?
TypeSafe AI,System One 专用决策模型,不是生成大模型。
-
Jev 和通用 LLM 最大差异?
LLM 生成文本;Jev 只在给定候选里做选择,输出带校准置信度的结构化结果。
-
Jev 支持哪三类输出?
Choice 选择、Score 打分、Noul 布尔概率。
-
Jev 定价规则?
输入 token $0.042 / 百万,输出不计费。
-
Jev 两大限制是什么?
只能在提供的候选选项中选择;输入上限 32k token,候选最多 255 个。
-
文中案例 token 消耗瓶颈在哪?
40 请求 ×300 工单,12000 组匹配对,全部送入 LLM 会消耗巨量 token。
-
为什么关键词匹配不够用?
客户与工程师描述同一问题的措辞不一致。
-
降低 Agent 成本的三个杠杆?
上下文大小、模型调用次数、模型指派(任务分给不同模型)。
-
TrueForge 是什么?
TrueFoundry 开源 MIT 协议智能体调度框架,可私有化部署。
-
TrueForge 四项降 token 机制?
延迟工具加载、大文本卸载、Code Mode、子智能体。
-
Code Mode 原理?
脚本处理中间数据,中间结果不进入对话上下文,抑制上下文膨胀。
-
数据卸载(Offloading)是什么?
超大工具结果写入沙盒文件,对话仅保留摘要 + 文件路径。
-
MCP 工具延迟加载好处?
不一次性加载全部工具定义,减少初始上下文 token。
-
该工作流三段式流程?
脚本粗筛候选 → Jev 匹配判定 → 生成模型复核 / 新建工单。
-
置信分流策略?
高置信直接采纳;低于阈值(常规 80%,关闭工单 90%)进入复核。
-
测试集结果:准确率?成本差异?
两套方案都是 37/40;Jev 决策成本是纯 Opus 的 1/150。
-
Jev 方案相比纯 LLM 方案的优势是什么?
成本大幅下降;不确定样本自动进入复核,捕获更多潜在错误。
-
Jev 方案缺陷?
存在高置信错误样本,直接放行,无法被复核捕获。
-
这套架构还能应用在哪些场景?
收件箱分级、工单打标签、CRM 客户分类、交易审核等批量决策任务。
附录 把 Jev 嵌入开源智能体调度框架(Open Agent Harness)
把 Jev 嵌入开源智能体调度框架(Open Agent Harness),在 40 项决策任务上,取得和 Claude Opus 同等精度,但决策成本降低 150 倍;依靠置信度分数,把存疑结果路由给人工 / 大模型复核。
将 Jev 接入一套开源智能体调度框架(Open Agent Harness) 在 40 项决策任务上完成测试,精度与 Opus 持平,但决策成本低 150 倍;依靠置信度分数,把不确定的答案送入复核流程。
AI 智能体以循环方式运行:模型决定下一步动作、调用工具、处理返回结果,持续迭代直到任务完成。 这套能力依赖两大基础:工具调用让模型可以调用外部工具;结构化输出让模型以可预测格式返回数据。二者让智能体更容易对接软件、把大模型接入各类应用。
调度框架(harness)把所有组件整合在一起:管理智能体执行循环,包括可用工具列表、工具结果处理方式、给到模型的上下文信息,以及后续流转逻辑。 框架如何管理这些步骤,直接决定运行成本。上下文越长、模型调用次数越多,智能体运行开销就越高。
举一个客户跟进场景:需要把客户需求和 GitHub 工单做匹配。智能体要判断哪张工单对应这条客户请求。大模型可以完成这类判断,但每一次匹配都会生成大量冗余文本。
这类属于决策型问题:模型只需要在固定候选选项里做选择,并评估选择的置信度,而不是自由生成长篇文本。
TypeSafe AI 的 System One 决策模型 Jev 正是为此而生。TypeSafe 称:在这类决策型智能体任务中,Jev 的推理速度比通用大模型快 40–200 倍。 本文会介绍 Jev 的原理、它在智能体调度框架中的定位,以及如何在开源框架中部署它。
Token 消耗都去哪了?
某软件公司客户团队,把所有客户需求(功能诉求、bug 反馈)记录在 Notion;工程团队在 GitHub 管理工单。 公司一共有 40 条客户请求;GitHub 里有 300 条工单(200 条打开、100 条已关闭),每条包含标题、讨论、标签等内容。平均每条工单约 230 token,合计约 69000 token。
把每条客户请求匹配到对应工单,就是 token 消耗的重灾区: 40 条请求 × 300 条工单,一共 12000 组待匹配对。
关键词匹配不可靠:客户描述问题的措辞,和工程师写工单的语言往往不一样。 提示词缓存虽然可以降低重读历史工单的成本,但模型依然要处理全部内容。 换低价模型只能降低单 token 单价,却无法给出每次匹配的置信度。
这一点是最大风险:高置信度但错误的匹配,会造成误导 —— 告诉客户工程师正在修复 bug,但团队实际在处理别的问题。
控制智能体成本的三大杠杆
降低单次运行成本有三个方向:
- 上下文
模型在多次调用之间携带多少信息 - 调用次数
调度框架向模型发起请求的频率 - 模型指派
由哪个模型负责哪一项决策
调度框架管控前两项;第三项就是把决策任务交给 Jev,下面介绍其工作原理。
Jev 如何完成决策
很多智能体任务根本不需要生成文本,只需要在固定选项中选择,比如分类、优先级打分。决策模型接收候选选项,返回可供程序直接使用的结构化选择结果。
TypeSafe AI 的 Jev 就是为此设计,被称为首款 “系统一号(System One)” 模型。
Jev 接收状态信息 + 一个或多个带类型约束的问题,返回结构化结果,支持三类输出:
-
Choice:从预定义集合中选出一项 -
Score:把当前状态映射到有序等级打分 -
Noul:输出布尔陈述成立的概率
本例中,状态 = 客户请求 + 初筛后的候选工单;选择类问题:哪一张工单匹配,包含 “无匹配” 选项。
{
"type": "choice",
"choice": "#212",
"confidence": 0.88,
"probabilities": {
"#212": 0.90,
"#147": 0.06,
"none": 0.04
}
}
TypeSafe 强调 Jev 的置信度是经过校准(calibrated)的:给出 0.88 置信度的预测,大约 88% 的概率是正确的。如果该特性稳定,就可以基于置信度决定哪些匹配需要人工复核。
一次请求可以并行回答多个问题,例如客户紧急程度。并行提问只会少量增加 token,不会新增一轮模型调用。
Jev 定价:每百万输入 token 0.042 美元,输出不计费。本例每条请求约 900 token,40 条总共约 36000 token,总成本不到 1 美分。
使用 Jev 有两个核心限制:
-
Jev只能在给到它的候选选项里做选择,可以返回 “无匹配”,但不能新建工单。 -
输入存在上限:状态 + 最长问题不能超过 32000 token,候选选项最多 255 个。原文的 69000 token 工单存量无法一次性送入。
因此方案设计:先用脚本初筛,选出 Top10 候选工单;再交给 Jev 做选择;其余生成类任务交给通用大模型,全部跑在开源智能体调度框架内。
智能体调度框架(Harness)需要具备什么能力
调度框架负责模型之外的全部逻辑:工具调用、结果处理、上下文管理、流转分支。 这个每周客户跟进工作流还有几个实用约束:
-
每周自动启动 -
服务器重启后可恢复 -
写入操作前暂停等待审批 -
各负责人会话隔离
很多智能体框架都能实现这些功能,差异点在于上下文管理效率与模型调用频次,二者直接影响成本。
本文使用 TrueFoundry 开源智能体框架 TrueForge。 在 DevRev 企业基准测试中:TrueForge、Claude Managed Agents、deep agents 完成任务总量接近;但 TrueForge 消耗 token 是 Claude Managed Agents 的 1/2.7,不足 deep agents 的 1/4。
四项机制降低每轮上下文大小与模型调用次数:
- 延迟工具加载(Deferred tool loading)
TrueForge 不会一次性加载全部 MCP 工具定义。启动阶段仅保留工具服务名称和简介,用到时再拉取详情:
-
list_tools:列出服务下所有工具名称 -
get_tool_info:获取单个工具描述、输入输出 schema -
get_tool_output_schema:仅获取输出结构,避免脚本猜测字段 -
call_tool:按名称执行工具
- 数据卸载(Offloading)
当工具返回结果过大、超出上下文限制时,TrueForge 将内容写入沙盒文件;对话上下文只保留简短摘要 + 文件路径。多个溢出结果时优先卸载体积最大的数据。 - 代码模式(Code Mode)
在代码模式下,智能体编写脚本调用工具、处理结果。中间数据保存在脚本内部,不进入对话上下文,抑制上下文膨胀,减少模型调用次数。 - 子智能体(Subagents)
子智能体在独立上下文内完成聚焦任务,返回摘要。以此缩小主上下文;缺点是生成模型仍然要读取分配给子智能体的全部记录。
处理客户数据的额外要点:
-
私有化部署:托管框架数据跑在厂商基础设施;TrueForge 采用 MIT 协议,可部署在你自己的环境。 -
已投入生产:作为 TrueFoundry AI Gateway 的内置智能助手;NetApp、Automatiq 基于它构建智能体。
即便做了上述优化,默认方案依然用生成式大模型做匹配判断。生成模型擅长写文本,但这个场景只需要在候选里做选择。这正是模型分层指派的价值。
在 TrueForge 中运行 Jev
每周执行流程分为三步:
- 候选筛选
脚本按关键词相似度排序工单,取出 Top10。会漏掉部分语义匹配,但把 300 条工单压缩到 Jev 可评估的集合。 - 匹配判定
Jev 接收请求 + 候选列表,选出匹配工单或返回 “无匹配”。 - 生成与复核
当 Jev 返回 “无匹配” 时,生成模型起草新 GitHub 工单;置信度不足的匹配项送入复核。
Jev 选出工单后,脚本把工单字段映射成客户团队可直接使用的状态:
-
In progress:打开、有负责人或 in-progress 标签 -
Tracked:打开、尚未启动、无负责人 -
Fixed /declined:已关闭,按关闭原因区分
40 条请求批量执行:脚本拉取并预处理数据,Jev 完成匹配,生成模型负责新建工单与低置信结果复核。
脚本会带来凭证风险:如果 Notion、GitHub、Jev 的密钥放在沙盒内,脚本可以直接访问密钥;工单里的文本也可能影响脚本行为。 TrueForge 设置两层防护:
-
凭证隔离:密钥保存在沙盒之外;工具请求经过调度框架,由框架代为使用凭证。 -
写入审批:任何 Notion / GitHub 的修改,都需要业务团队审批关联关系与新建工单,不会自动落地。
置信度分流策略
高于置信阈值的 Jev 结果直接采信;低于阈值(含不确定的 “无匹配”),连同候选列表与概率,回传给生成模型复核。 阈值策略:常规匹配 > 80% 直接放行;已关闭工单匹配,阈值提高至 90%。
测试结果
两套智能体对比,底层生成模型都是 Claude Opus 5.5 默认配置:
-
启用 Jev:每周客户跟进智能体,每条请求先筛选 Top10 工单,由 Jev 做匹配;低于置信阈值交给生成模型复核 -
不启用 Jev:相同指令与初筛逻辑,无 Jev 连接器,由生成模型直接从候选列表做匹配
测试集包含简单匹配、近似重复、回归问题、功能需求、无对应工单的请求;每条请求都有标准答案,用于评估两套方案。
两套方案 40 条里都答对 37 条。差异体现在不确定样本的处理上:
-
使用 Jev:16 条进入复核,人工 / 模型复核发现 5 处错误 -
不使用 Jev:仅 5 条进入复核,复核没有发现任何错误
典型失败案例 REQ-004:客户反馈 “全公司使用后,搜索一直转圈然后失败”。GitHub 有一条搜索超时工单,但根因并不相同。
-
无 Jev:生成模型直接匹配这条工单,汇报该需求已被跟踪 -
带 Jev:最高分候选置信仅 0.4,进入复核,正确判定为新需求
不是所有错误都能进入复核:REQ-001 是 Jev 三处误判之一,Jev 给错误工单打出最高置信度,直接放行,没有触发复核。
决策成本大致与请求数量成正比。下表对比 Jev 与 Claude Opus 5.5 在同样 40 组候选上做决策: Opus 输入 token $4 / 百万,输出 $20 / 百万;成本预估是 Jev 的 150~250 倍。开启深度思考模式时,思考 token 按输出计费,成本更靠近上限。
整套工作流跑在开源智能体调度框架上,你可以复现这个测试,也可以接入自己的工单库。
本地部署运行
TrueForge 本地以单进程 + SQLite 运行,需要 Node 22.13+
npx @truefoundry/trueforge
打开 http://localhost:8790 在设置页配置运行环境。 本地模式无需登录,仅在可控机器使用。多用户场景:使用 Postgres+Redis 托管模式,Docker Compose 或 Helm 部署。
设置 → 模型,添加模型服务商。本演示使用 Claude Opus 作为生成模型。 连接器页面接入 GitHub、Notion、Jev 的 MCP 服务;沙盒提供商配置 Daytona Key,用于代码执行和文件卸载。
创建智能体:绑定生成模型、三个连接器、工作流指令,保存到智能体库。 设置调度:每周五早自动执行,任务指令发给客户团队:
plaintext Can you run our weekly client follow-up? Check which of our open client requests engineering is already tracking, and where each one stands. Draft issues for anything new, and give me a summary I can share with the team.
每次运行完成匹配,待确认的工单关联与新建工单会进入待审批队列,等团队上班处理。
聊天界面适合快速试用;深度配置可以使用智能体规范文件,或者通过 API/SDK 嵌入自有应用。
核心价值与启示
本工作流中,TrueForge 减少上下文体积与模型调用次数;Jev 输出匹配结果附带置信度;生成模型负责起草工单、复核低置信样本;业务负责人审批所有变更。

