编者摘要：本文提出SearchJev，面向搜索智能体的快速、高置信度 System‑1 模型，基于认知科学双系统理论，将高频短时搜索决策与推理生成解耦。现有方案使用自回归大模型做相关性、证据充分性等频繁判断，存在推理延迟高、置信度校准差的问题。
SearchJev 包含三大模块：
1）System‑1 决策模型，依据 schema 直接读取模型首 token logits，对合法选项归一化输出概率分布，跳过自回归解码；
2）SLCD 软标签校准学习，结合交叉熵与 Brier 损失学习软标签，按输出类型做温度校准，提升置信度可靠性；
3）双系统智能体，SearchJev 处理简单决策，置信度低于阈值则交由 System‑2 大模型完成复杂推理，后者负责规划、查询生成、答案合成。
论文构建 SearchDecision‑Bench 基准，统一路由、改写、相关性、充分性、导航、验证共 6 类搜索决策任务。实验表明，相比同规模 Qwen3.5 自回归模型，SearchJev 决策速度提升 5.2‑5.3 倍，期望校准误差下降 41‑74%。在 BrowseComp‑Plus 数据集上，双系统智能体搜索速度提升 3.7‑4.7 倍，输出 Token 减少 3.3‑4.8 倍，答案准确率由 45% 最高提升至 54%。同时模型在 OOD 数据集具备一定泛化能力，但在通用 System‑1 基准仍存在短板。
10 个关键问题问与答
Q1：SearchJev 要解决什么核心痛点？
A：搜索智能体中频繁的短时搜索判断（相关性、证据充分性等），全部交给自回归大模型，带来推理延迟高、输出置信度校准差的问题。
Q2：论文 System‑1 与 System‑2 分别承担什么工作？
A：System‑1(SearchJev)：完成 schema 定义的快速搜索决策；System‑2 (大模型)：负责规划、查询生成、复杂推理、最终答案合成。置信度不足时，System‑1 任务会委派给 System‑2。
Q3：SearchJev 为什么推理速度远快于普通自回归模型？
A：不执行逐 token 自回归生成，直接读取第一个输出位置 token logits，仅在预设合法选项集合做归一化，无需 JSON 解析，极大减少解码开销。
Q4：什么是 SLCD 软标签学习校准？作用是什么？
A：Soft‑Label Learning for Calibrated Decisions。使用软分布标签表达标注的不确定性，结合交叉熵与 Brier 损失训练，训练完成后按输出类别做温度缩放，提升模型输出概率的置信度可靠性。
Q5：SearchDecision‑Bench 包含哪 6 类搜索决策？
A：路由 Routing、改写 Rewriting、相关性 Relevance、充分性 Sufficiency、导航 Navigation、验证 Verification。
Q6：基准的三种输出类型 Choice、Score、Noul 含义？
A：Choice：多选项分类选择；Score：有序打分；Noul：二元真假判断。
Q7：置信度门控 δ 的工作逻辑？
A：当 SearchJev 输出的最大决策置信度≥δ，直接采纳该决策；低于阈值，则将该判断委派给 System‑2 大模型处理。
Q8：端到端实验 BrowseComp‑Plus 主要指标提升多少？
A：相比仅 System‑2 的 27B 模型，搜索速度提升 3.7‑4.7 倍，输出 token 减少 3.3‑4.8 倍，答案准确率从 45% 最高提升至 54%。
Q9：SearchJev 的 OOD 泛化表现如何？
A：在搜索相关 OOD 数据集上决策能力可以迁移，维持速度优势；但校准能力是任务依赖，决策偏好迁移效果优于置信度校准。
Q10：SearchJev 主要局限性是什么？
A：①需要预先枚举全部合法选项，无法处理完全开放决策；②约三分之一训练数据来自 LLM 标注，可能引入数据偏差；③仅验证中英文本场景，跨模态、其他语言未充分验证，通用 System‑1 基准性能弱于部分竞品。
附录：SEARCHJEV
论文一句话：把搜索智能体中最频繁的「短时判断」从生成式大模型的推理流程中剥离出来，用一个小而快的 System-1 模型直接给出概率化、且置信度可靠的决策，再由 System-2 负责规划与答案生成，从而在不牺牲准确率的前提下大幅降低延迟。
一、研究动机与问题定义
LLM 搜索智能体在检索轨迹中会反复做大量短决策：这段文本相关吗？证据够不够？下一步该点哪个链接？这类判断决定了用什么证据、搜索如何进行。
作者借用卡尼曼的 System-1/System-2 理论：这些短判断属于 System-1 决策，而规划、查询生成、答案合成属于 System-2 推理。当前把它们都放进同一个生成式过程里，带来两个痛点：
- 延迟
每次短判断都要做自回归（逐 token）解码； - 置信度不可靠
无论是口头自信还是 token 概率，通常校准不良，无法判断 "这个决策可以直接采信，还是需要更深推理"。
已有两条路线各有缺陷：专用重排器 / 分类器只能覆盖单一功能（要建一堆模型）；提示通用 LLM 能适配多样任务，但自回归生成慢、置信度差。
二、SEARCHJEV 的核心设计（三大组件）
① System-1 搜索决策模型
-
输入由三部分组成：搜索状态 s_t = (问题 q、轨迹 H_t、候选集 C_t)、任务 f 的问题与输出类型、以及合法选项集合V(f)。 -
每个选项只对应词汇表里的单个 token 标签（如 A/B/True/False）。 -
关键机制：不做自回归生成，直接读取 LM 第一个输出 token 的 logit，在合法选项上做 softmax 归一化，得到决策分布 p_f (v)。无需 JSON 解析、可批量处理、零新增决策参数。
② SLCD—— 软标签学习校准决策（Soft-Label Learning for Calibrated Decisions）
-
决策监督来自可靠度不同的来源，SLCD 用软目标分布t_f 表示监督的不确定性（部分数据源如 LLM 标注 / 演示 / 构造改写会降权，w_f=0.5）。 -
用严格适当评分损失（交叉熵 + Brier 损失，λ_B=0.5）拟合目标分布；这两类损失只在 "等于真实条件分布" 时取最小，天然利于校准。 -
训练后在验证集上按输出类型（Choice/Score/Noal）分别拟合温度 T 做温度校准。
③ 双系统搜索智能体
-
System-2（Qwen3.5-27B）负责规划、查询生成、答案合成； -
System-1（SEARCHJEV-0.8B/4B）按 schema 做每步短决策； - 置信度门槛 δ
：某决策置信度 ≥δ 则直接采信执行；否则交回 System-2 用其合法选项裁决。两条路径最终都进入同一个搜索控制器（search/open/rerank/stop）。 -
验证（Verification）被刻意放在循环外：答案合成后 SEARCHJEV 只给出 "支持度概率"，不改写答案、不重启搜索。
三、SearchDecision-Bench 基准
为了统一训练与评估，作者把异构搜索资源转成统一的 "状态 + schema" 格式，覆盖 6 类决策 × 3 种输出类型：
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
-
样本数（训练 / ID 测试 / OOD 测试，单位：状态 - schema 对）：Routing 77,627/26,427/10,000；Rewriting 74,318/32,746/10,000；Relevance 153,990/17,581/5,976；Sufficiency 14,652/1,036/0；Navigation 56,981/10,213/0；Verification 47,830/10,334/20,631。 -
数据来源中英混合（BANKING77、LCQMC、QReCC、T2Ranking、DuReader-Retrieval、MuSiQue、VitaminC 等），OOD 用 FRAMES、RAGTruth、CANDY、Search Arena、AgentRewardBench、QReCC 测试集。 -
质量控制：去重、剔除冲突标签、掩蔽无法判定的字段、保证训练 / 验证与测试隔离。约 1/3 训练行有 LLM 参与打标。
四、实验结果（三个研究问题）
RQ1 决策层面（表 3，ID 测试集）
-
SEARCHJEV 在 6 个决策族上全面优于同规模 Qwen3.5 AR (JSON)，4B 版在其中 5 个领先；充分性 / 路由 / 改写 / 验证上优于闭源 Jev 1.13。 -
平均 ECE 相对同规模 AR 模型下降 74.4%（0.8B）与 40.7%（4B）。 - 决策延迟 5.2–5.3× 加速
（中位单决策延迟：SEARCHJEV-0.8B 27.6ms、4B 37.1ms，对比 Qwen 0.8B 144.2ms / 4B 195.2ms / Jev 265.4ms）；比 Jev 快 7.2–9.6×。
RQ2 端到端智能体（表 4，BrowseComp-Plus，100 题）
|
|
|
|
|
|
|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
54.0% |
|
|
|
-
SEARCHJEV-4B 把准确率从 45% 提到 54%（比 Jev 智能体高 8 个百分点，0.8B 与 Jev 持平）； -
相对 System-2-only：3.7–4.7× 加速、System-2 输出 token 减少 3.3–4.8×、调用次数更少。
RQ3 泛化（表 5，OOD）
-
决策能力迁移到留出数据集，路由提升 11.9–12.1 个百分点；保持 5.3–5.5×（相对 AR）/ 7.4–9.9×（相对 Jev）的速度优势。 -
校准提升呈任务相关性：决策偏好迁移比校准更稳定。
附录补充（表 9，与 JevBench 排行榜对比）：SEARCHJEV-4B 在 BANKING77（89.0）、CLINC150（94.6）居首；但在 JevBench 高难档（JB-Hard 62.2）低于其自身零样本主干（65.8），在 SQuAD2.0、RAGTruth、Open-Jev 控制任务上仍弱于部分闭源 / 专用系统 —— 说明它在搜索决策族内强，在更通用的 System-1 基准上仍有差距。
训练细节：LoRA（rank/α=16/32）、lr 5×10⁻⁵、batch 132、bf16、AdamW、余弦调度；温度 T*：Choice 1.11、Score 0.96/1.01、Noal 0.88/0.82。
五、理论结果与限制
- 命题 1（校准↔决策效用）
对二值决策，基于模型分数的决策规则与最优规则的期望效用差被 2・U_max・ECE (ρ) 界定 ——校准误差归零时，分数决策规则即最优，为非零误差提供了效用上界。 - 限制
仅评测中英文文本决策，且假设合法选项可在 schema 中枚举（开放式查询 / 答案生成仍归 System-2）；约 1/3 训练行有 LLM 打标、衍生标签依赖过滤模型，训练数据偏差仍可能影响泛化。 - 后续工作
扩展到智能体式信息访问、购物 / 推荐 / 科学发现 / 法律等场景；探索知识感知微调与偏好对齐。
贡献总结：
① 提出 schema 条件化的 System-1 搜索决策模型 + SLCD 校准；
② 构建双系统搜索智能体并引入置信度门控委派机制；
③ 形式化 6 类搜索决策并发布统一基准 SearchDecision-Bench；
④ 实证：更优决策质量、更优平均校准、更快决策，以及端到端更高的答案准确率与更低的搜索耗时。