大数跨境

分层智能体架构:专用决策模型 Jev,以 1/150 成本比肩 Claude Opus

分层智能体架构:专用决策模型 Jev,以 1/150 成本比肩 Claude Opus 苏哲管理咨询
2026-11-17
0
导读:本文提出分层智能体架构:把结构化决策任务剥离出通用生成大模型,交由专门的决策模型 Jev 处理,搭配开源智能体调度框架 TrueForge,大幅降低智能体运行成本,同时保持准确率。

编者摘要:本文提出分层智能体架构:把结构化决策任务剥离出通用生成大模型,交由专门的决策模型 Jev 处理,搭配开源智能体调度框架 TrueForge,大幅降低智能体运行成本,同时保持准确率。

传统智能体全部任务都交给 LLM,即使只是在有限候选里做选择,也会消耗大量 token,且缺少可靠置信度,容易静默出错。Jev 是 TypeSafe AI 的 System One 决策模型,专门处理固定选项的选择、打分、布尔概率判断,输出带校准置信度的结构化 JSON。价格极低:输入仅 $0.042 / 百万 token,输出免费,推理速度比 LLM 快几十到上百倍。

Jev 存在输入 token 上限和候选数量上限,不能创造新内容。所以采用 “粗筛 + Jev 判定 + 置信路由复核” 流水线:先用脚本缩小候选集合;Jev 做匹配;置信低于阈值的案例回传给 Claude Opus 复核。 在 40 条客户工单匹配测试上,Jev 方案和纯 Opus 准确率同为 37/40,但决策成本下降约 150 倍;并且低置信样本会进入二次校验,捕获更多潜在错误。

底层调度框架 TrueForge 通过延迟工具加载、大文本卸载、代码模式、子智能体四项机制控制上下文膨胀,减少模型调用;同时提供凭证隔离、人工写入审批,保障数据安全。 该架构范式可推广到工单分类、CRM、邮件分拣等大量批量决策场景:生成模型负责创作与复杂推理,轻量决策模型负责候选选择,置信度作为自动复核开关。

 20 个关键问题问与答

  1. 什么是 Open Agent Harness?

智能体调度框架,管理 Agent 执行循环、工具调用、上下文流转、分支逻辑。

  1. Jev 是谁开发的?定位是什么?

TypeSafe AI,System One 专用决策模型,不是生成大模型。

  1. Jev 和通用 LLM 最大差异?

LLM 生成文本;Jev 只在给定候选里做选择,输出带校准置信度的结构化结果。

  1. Jev 支持哪三类输出?

Choice 选择、Score 打分、Noul 布尔概率。

  1. Jev 定价规则?

输入 token $0.042 / 百万,输出不计费。

  1. Jev 两大限制是什么?

只能在提供的候选选项中选择;输入上限 32k token,候选最多 255 个。

  1. 文中案例 token 消耗瓶颈在哪?

40 请求 ×300 工单,12000 组匹配对,全部送入 LLM 会消耗巨量 token。

  1. 为什么关键词匹配不够用?

客户与工程师描述同一问题的措辞不一致。

  1. 降低 Agent 成本的三个杠杆?

上下文大小、模型调用次数、模型指派(任务分给不同模型)。

  1. TrueForge 是什么?

TrueFoundry 开源 MIT 协议智能体调度框架,可私有化部署。

  1. TrueForge 四项降 token 机制?

延迟工具加载、大文本卸载、Code Mode、子智能体。

  1. Code Mode 原理?

脚本处理中间数据,中间结果不进入对话上下文,抑制上下文膨胀。

  1. 数据卸载(Offloading)是什么?

超大工具结果写入沙盒文件,对话仅保留摘要 + 文件路径。

  1. MCP 工具延迟加载好处?

不一次性加载全部工具定义,减少初始上下文 token。

  1. 该工作流三段式流程?

脚本粗筛候选 → Jev 匹配判定 → 生成模型复核 / 新建工单。

  1. 置信分流策略?

高置信直接采纳;低于阈值(常规 80%,关闭工单 90%)进入复核。

  1. 测试集结果:准确率?成本差异?

两套方案都是 37/40;Jev 决策成本是纯 Opus 的 1/150。

  1. Jev 方案相比纯 LLM 方案的优势是什么?

成本大幅下降;不确定样本自动进入复核,捕获更多潜在错误。

  1. Jev 方案缺陷?

存在高置信错误样本,直接放行,无法被复核捕获。

  1. 这套架构还能应用在哪些场景?

收件箱分级、工单打标签、CRM 客户分类、交易审核等批量决策任务。

附录  把 Jev 嵌入开源智能体调度框架(Open Agent Harness)

把 Jev 嵌入开源智能体调度框架(Open Agent Harness),在 40 项决策任务上,取得和 Claude Opus 同等精度,但决策成本降低 150 倍;依靠置信度分数,把存疑结果路由给人工 / 大模型复核。

将 Jev 接入一套开源智能体调度框架(Open Agent Harness) 在 40 项决策任务上完成测试,精度与 Opus 持平,但决策成本低 150 倍;依靠置信度分数,把不确定的答案送入复核流程。

AI 智能体以循环方式运行:模型决定下一步动作、调用工具、处理返回结果,持续迭代直到任务完成。 这套能力依赖两大基础:工具调用让模型可以调用外部工具;结构化输出让模型以可预测格式返回数据。二者让智能体更容易对接软件、把大模型接入各类应用。

调度框架(harness)把所有组件整合在一起:管理智能体执行循环,包括可用工具列表、工具结果处理方式、给到模型的上下文信息,以及后续流转逻辑。 框架如何管理这些步骤,直接决定运行成本。上下文越长、模型调用次数越多,智能体运行开销就越高。

举一个客户跟进场景:需要把客户需求和 GitHub 工单做匹配。智能体要判断哪张工单对应这条客户请求。大模型可以完成这类判断,但每一次匹配都会生成大量冗余文本。

这类属于决策型问题:模型只需要在固定候选选项里做选择,并评估选择的置信度,而不是自由生成长篇文本。

TypeSafe AI 的 System One 决策模型 Jev 正是为此而生。TypeSafe 称:在这类决策型智能体任务中,Jev 的推理速度比通用大模型快 40–200 倍。 本文会介绍 Jev 的原理、它在智能体调度框架中的定位,以及如何在开源框架中部署它。

Token 消耗都去哪了?

某软件公司客户团队,把所有客户需求(功能诉求、bug 反馈)记录在 Notion;工程团队在 GitHub 管理工单。 公司一共有 40 条客户请求;GitHub 里有 300 条工单(200 条打开、100 条已关闭),每条包含标题、讨论、标签等内容。平均每条工单约 230 token,合计约 69000 token。

把每条客户请求匹配到对应工单,就是 token 消耗的重灾区: 40 条请求 × 300 条工单,一共 12000 组待匹配对。

关键词匹配不可靠:客户描述问题的措辞,和工程师写工单的语言往往不一样。 提示词缓存虽然可以降低重读历史工单的成本,但模型依然要处理全部内容。 换低价模型只能降低单 token 单价,却无法给出每次匹配的置信度。

这一点是最大风险:高置信度但错误的匹配,会造成误导 —— 告诉客户工程师正在修复 bug,但团队实际在处理别的问题。

控制智能体成本的三大杠杆

降低单次运行成本有三个方向:

  1. 上下文
    模型在多次调用之间携带多少信息
  2. 调用次数
    调度框架向模型发起请求的频率
  3. 模型指派
    由哪个模型负责哪一项决策

调度框架管控前两项;第三项就是把决策任务交给 Jev,下面介绍其工作原理。

Jev 如何完成决策

很多智能体任务根本不需要生成文本,只需要在固定选项中选择,比如分类、优先级打分。决策模型接收候选选项,返回可供程序直接使用的结构化选择结果。

TypeSafe AI 的 Jev 就是为此设计,被称为首款 “系统一号(System One)” 模型。

Jev 接收状态信息 + 一个或多个带类型约束的问题,返回结构化结果,支持三类输出:

  • Choice:从预定义集合中选出一项
  • Score:把当前状态映射到有序等级打分
  • Noul:输出布尔陈述成立的概率

本例中,状态 = 客户请求 + 初筛后的候选工单;选择类问题:哪一张工单匹配,包含 “无匹配” 选项。

{
  "type": "choice",
  "choice": "#212",
  "confidence": 0.88,
  "probabilities": {
    "#212": 0.90,
    "#147": 0.06,
    "none": 0.04
  }
}

TypeSafe 强调 Jev 的置信度是经过校准(calibrated)的:给出 0.88 置信度的预测,大约 88% 的概率是正确的。如果该特性稳定,就可以基于置信度决定哪些匹配需要人工复核。

一次请求可以并行回答多个问题,例如客户紧急程度。并行提问只会少量增加 token,不会新增一轮模型调用。

Jev 定价:每百万输入 token 0.042 美元,输出不计费。本例每条请求约 900 token,40 条总共约 36000 token,总成本不到 1 美分。

使用 Jev 有两个核心限制:

  1. Jev只能在给到它的候选选项里做选择,可以返回 “无匹配”,但不能新建工单。
  2. 输入存在上限:状态 + 最长问题不能超过 32000 token,候选选项最多 255 个。原文的 69000 token 工单存量无法一次性送入。

因此方案设计:先用脚本初筛,选出 Top10 候选工单;再交给 Jev 做选择;其余生成类任务交给通用大模型,全部跑在开源智能体调度框架内。

智能体调度框架(Harness)需要具备什么能力

调度框架负责模型之外的全部逻辑:工具调用、结果处理、上下文管理、流转分支。 这个每周客户跟进工作流还有几个实用约束:

  • 每周自动启动
  • 服务器重启后可恢复
  • 写入操作前暂停等待审批
  • 各负责人会话隔离

很多智能体框架都能实现这些功能,差异点在于上下文管理效率与模型调用频次,二者直接影响成本。

本文使用 TrueFoundry 开源智能体框架 TrueForge。 在 DevRev 企业基准测试中:TrueForge、Claude Managed Agents、deep agents 完成任务总量接近;但 TrueForge 消耗 token 是 Claude Managed Agents 的 1/2.7,不足 deep agents 的 1/4。

四项机制降低每轮上下文大小与模型调用次数:

  1. 延迟工具加载(Deferred tool loading)
    TrueForge 不会一次性加载全部 MCP 工具定义。启动阶段仅保留工具服务名称和简介,用到时再拉取详情:
  • list_tools:列出服务下所有工具名称
  • get_tool_info:获取单个工具描述、输入输出 schema
  • get_tool_output_schema:仅获取输出结构,避免脚本猜测字段
  • call_tool:按名称执行工具
  1. 数据卸载(Offloading)
    当工具返回结果过大、超出上下文限制时,TrueForge 将内容写入沙盒文件;对话上下文只保留简短摘要 + 文件路径。多个溢出结果时优先卸载体积最大的数据。
  2. 代码模式(Code Mode)
    在代码模式下,智能体编写脚本调用工具、处理结果。中间数据保存在脚本内部,不进入对话上下文,抑制上下文膨胀,减少模型调用次数。
  3. 子智能体(Subagents)
    子智能体在独立上下文内完成聚焦任务,返回摘要。以此缩小主上下文;缺点是生成模型仍然要读取分配给子智能体的全部记录。

处理客户数据的额外要点:

  • 私有化部署:托管框架数据跑在厂商基础设施;TrueForge 采用 MIT 协议,可部署在你自己的环境。
  • 已投入生产:作为 TrueFoundry AI Gateway 的内置智能助手;NetApp、Automatiq 基于它构建智能体。

即便做了上述优化,默认方案依然用生成式大模型做匹配判断。生成模型擅长写文本,但这个场景只需要在候选里做选择。这正是模型分层指派的价值。

在 TrueForge 中运行 Jev

每周执行流程分为三步:

  1. 候选筛选
    脚本按关键词相似度排序工单,取出 Top10。会漏掉部分语义匹配,但把 300 条工单压缩到 Jev 可评估的集合。
  2. 匹配判定
    Jev 接收请求 + 候选列表,选出匹配工单或返回 “无匹配”。
  3. 生成与复核
    当 Jev 返回 “无匹配” 时,生成模型起草新 GitHub 工单;置信度不足的匹配项送入复核。

Jev 选出工单后,脚本把工单字段映射成客户团队可直接使用的状态:

  • In progress:打开、有负责人或 in-progress 标签
  • Tracked:打开、尚未启动、无负责人
  • Fixed /declined:已关闭,按关闭原因区分

40 条请求批量执行:脚本拉取并预处理数据,Jev 完成匹配,生成模型负责新建工单与低置信结果复核。

脚本会带来凭证风险:如果 Notion、GitHub、Jev 的密钥放在沙盒内,脚本可以直接访问密钥;工单里的文本也可能影响脚本行为。 TrueForge 设置两层防护:

  • 凭证隔离:密钥保存在沙盒之外;工具请求经过调度框架,由框架代为使用凭证。
  • 写入审批:任何 Notion / GitHub 的修改,都需要业务团队审批关联关系与新建工单,不会自动落地。

置信度分流策略

高于置信阈值的 Jev 结果直接采信;低于阈值(含不确定的 “无匹配”),连同候选列表与概率,回传给生成模型复核。 阈值策略:常规匹配 > 80% 直接放行;已关闭工单匹配,阈值提高至 90%。

测试结果

两套智能体对比,底层生成模型都是 Claude Opus 5.5 默认配置:

  • 启用 Jev:每周客户跟进智能体,每条请求先筛选 Top10 工单,由 Jev 做匹配;低于置信阈值交给生成模型复核
  • 不启用 Jev:相同指令与初筛逻辑,无 Jev 连接器,由生成模型直接从候选列表做匹配

测试集包含简单匹配、近似重复、回归问题、功能需求、无对应工单的请求;每条请求都有标准答案,用于评估两套方案。

两套方案 40 条里都答对 37 条。差异体现在不确定样本的处理上:

  • 使用 Jev:16 条进入复核,人工 / 模型复核发现 5 处错误
  • 不使用 Jev:仅 5 条进入复核,复核没有发现任何错误

典型失败案例 REQ-004:客户反馈 “全公司使用后,搜索一直转圈然后失败”。GitHub 有一条搜索超时工单,但根因并不相同。

  • 无 Jev:生成模型直接匹配这条工单,汇报该需求已被跟踪
  • 带 Jev:最高分候选置信仅 0.4,进入复核,正确判定为新需求

不是所有错误都能进入复核:REQ-001 是 Jev 三处误判之一,Jev 给错误工单打出最高置信度,直接放行,没有触发复核。

决策成本大致与请求数量成正比。下表对比 Jev 与 Claude Opus 5.5 在同样 40 组候选上做决策: Opus 输入 token $4 / 百万,输出 $20 / 百万;成本预估是 Jev 的 150~250 倍。开启深度思考模式时,思考 token 按输出计费,成本更靠近上限。

整套工作流跑在开源智能体调度框架上,你可以复现这个测试,也可以接入自己的工单库。

本地部署运行

TrueForge 本地以单进程 + SQLite 运行,需要 Node 22.13+

npx @truefoundry/trueforge

打开 http://localhost:8790 在设置页配置运行环境。 本地模式无需登录,仅在可控机器使用。多用户场景:使用 Postgres+Redis 托管模式,Docker Compose 或 Helm 部署。

设置 → 模型,添加模型服务商。本演示使用 Claude Opus 作为生成模型。 连接器页面接入 GitHub、Notion、Jev 的 MCP 服务;沙盒提供商配置 Daytona Key,用于代码执行和文件卸载。

创建智能体:绑定生成模型、三个连接器、工作流指令,保存到智能体库。 设置调度:每周五早自动执行,任务指令发给客户团队:

plaintext Can you run our weekly client follow-up? Check which of our open client requests engineering is already tracking, and where each one stands. Draft issues for anything new, and give me a summary I can share with the team.

每次运行完成匹配,待确认的工单关联与新建工单会进入待审批队列,等团队上班处理。

聊天界面适合快速试用;深度配置可以使用智能体规范文件,或者通过 API/SDK 嵌入自有应用。

核心价值与启示

本工作流中,TrueForge 减少上下文体积与模型调用次数;Jev 输出匹配结果附带置信度;生成模型负责起草工单、复核低置信样本;业务负责人审批所有变更。



【声明】内容源于网络
0
0
苏哲管理咨询
为企业及组织提供AI+战略、数智化转型咨询及观点、建议等
内容 2552
粉丝 0
苏哲管理咨询 为企业及组织提供AI+战略、数智化转型咨询及观点、建议等
总阅读97.7k
粉丝0
内容2.6k