大数跨境

SAG2 抄的是骨架,不是它的检索算法

SAG2 抄的是骨架,不是它的检索算法 AI驱动数字化转型
2026-11-16
0
导读:知识库真正难的不是把答案找出来,是知道哪一段算证据、哪一段只是背景,以及两者都找不到的时候肯不肯说不知道。判定头什么时候值得有,取决于换一个语料之后它会不会有增益,这个问题还没做完。
一份知识库检索方案的实测复盘 | 2026-11-11 文中数字全部来自真实运行,出处见文末

PART 01
大家都在说 SAG2 是 SAG 的升级版

这个说法流传得挺广。真去看论文,它几乎是把 SAG 推翻重做。
要说明一句,SAG2 不是 SAG 的下一个版本,两篇论文是同期各走一条路,编号挨着容易看错。
SAG 把文档拆成一张“事件加实体”的网,用大模型去抽,跑稠密向量算相似度。SAG2 把这些全撤了,只留一个数据库文件加全文索引,建库时一次模型都不调。
判断的时点也跟着搬了家。SAG 在建库抽实体的时候就顺手判了一轮,SAG2 把它推到查询的时候,拿到候选段落再逐条问,这段本身是不是证据。
多跳的做法也换了。SAG 靠顺着共享的实体在图上扩边,SAG2 靠接力,这一轮查回来的段落里冒出新词,拿新词再查下一轮。论文拿最经典的伪相关反馈做法做了对照,命中率是 47.83 对 86.62。
成本的时点整个搬了家。向量检索的钱压在建库,跑一遍嵌入模型,查询几乎不要钱;图检索也压在建库,而且更重。SAG2 建库几乎不花钱,钱花在每一次查询上。
这不是更省的检索,是把账换了个地方记。 评估的时候必须按查询量算,只看建库便宜会算错。

PART 02
检索增强生成的三个老毛病

先说眼下最扎人的三处。
召回和判断混在一层。 检索撒出一堆相似的段落,交给大模型读着答。哪一段是真答案、哪一段只是背景、哪几段其实是同一件事的三种说法,模型在读的时候顺手判断。判断变成了生成的副产品,说不清哪一段真的有用,也说不清它凭什么认为某段算证据。
没有“不知道”这个出口。 生成模型必须给个答案。语料里没有,它也编一个;证据分散在几段里,它自己拼一个。拼出来的东西读着通顺,回原文却找不到出处。
成本压在看不见的地方。 嵌入模型跑一遍不贵,但向量库要养、要重建,改一个文档插进去还是老的。规模一大,增量维护就成了没人愿意碰的活。
SAG2 的做法是把判断从生成里拆出来,单独一层,输出带概率的结构化结果,不是一段话。
它敢说我判不了,概率 0.5,而不是硬给一个答案。 这是 SAG2 最值得学的一条。代价是判断发生在查询时,每次查询都要付这笔钱。

PART 03
怎么把它的判定模型拿掉

先说结论:这套骨架可以自己搭,论文用的那个判定模型不能依赖。
那个模型是家美国公司的闭源服务,判断的时候会把问题和文档片段发出去。企业知识库里常有不许外发的材料,这条是硬线,不是权衡。官方命令行工具装过,字面搜索完全离线可用,语义检索在没有配判定服务时明确拒绝,而不是悄悄降级。把服务地址指向本地模型,被 400 拒了,说本地那个不是它要的判定模型类型。
顺手从安装包里把判定提示词读了出来。它要求三件事,这段候选本身是不是完整答案链里必要的证据、遵守实体和关系的约束、只用手上的上下文连接事实,不给出处编造。
它的护城河是一套判定提示词加一个判定模型的托管方式,不是一条不可替代的检索算法。 提示词是看得见的,那就没有必须依赖它的道理。
于是照着这个骨架自己搭了四层,从下往上是这样:
语料层   原文段落 + 路径 + 行号,进数据库,配全文索引
检索层   按词查回候选 → 判证据 → 抽词扩展 → 重排
决策层   规则 → 本地小模型 → 大模型兜底
约束层   本体的实体与关系约束,对不上就降一档,不让模型自由裁量
四层里最要紧的是判定口径,只有一条:这段候选自身是否必要,不是是否相关。主题相关但不必要的内容不算证据。这一条不钉死,整套东西会退化成普通的语义检索,多跳的能力也就没了。
决策层分三档。最底下是规则,零成本,看词项重叠、实体命中、段落长度,过一遍明显不必要的候选。中间是本地小模型批量判,一次五条,给出一个是非结论、一句理由、还能继续查的词。最上面是大模型,只接中间那档拿不准的题。
最上面那层约束是我们多加的,论文里没有。论文把这道校验写进了判定提示词,让判定模型自己去守;我们把它拿出来交给本体层硬做。本体就是一份实体和关系的对照表,规定哪个东西跟哪个东西有关系、关系朝哪边、归哪个租户。候选段落里出现的实体必须在这张表里对得上,跨文档的同一个实体必须落在同一个租户键上。对不上的一律降一档处理,不让模型自己裁量。
这一层比纯模型判定多两件东西:能指出违反了哪条约束,同一输入必得同一结论。

PART 04
一套知识库的落地过程与数字

语料是一套真实的企业知识库,3073 篇文档、34100 段,索引 148.6 MB。

模式

首条命中

前五条

前十条

平均延迟

查词(默认)

82%

100%

100%

149 毫秒

深检索(本地模型判证据)

82%

100%

100%

5549 毫秒

深检索加扩展轮次

无

覆盖率 70.6%

无

7410 毫秒

这三行值得连着读。查词这一行,前五条就全中,延迟不到两百毫秒。深检索那一行,命中率一点没涨,延迟翻了几十倍。第三行加了扩展轮次,覆盖率反而掉下来,因为模型抽出来的词把已经命中的段落挤出了前十条。
每条的命中结果都按行号回原文打开核对,17 条全部对得上。多跳题集扩到 34 条之后,查词这一路的证据覆盖率是 86.8%,153 毫秒。
判定头在这批题上没有带来命中增益。深检索把综合排名从 0.87 抬到 0.88,代价是每题多五秒半。规则档零增益,只多 50 毫秒。扩展轮次那一路更差,覆盖率从 86.8% 掉到 70.6%。
这些数字指向一个不太舒服的结论,判定头该被用在扩展轮次,不是重排。它确实能顺带吐出八维评分、4.4 分这类可以继续查的词,这正是多跳扩展的燃料。
判定层本身另有一个项目验证过。42 份行业文档、725 段,跑同一副骨架,五道验收门全过,最要紧的一道是拒答题不许编,5 条该拒答的题一条都没编。
判定层做的是四种结果,证据充分、依据偏弱、没找到、没判。前两种给结论,后两种直接认。
判不了就是判不了,判定失败绝不阻塞检索。
三处证据指向同一个结论。查词已经把该找的找齐了,判定层在现有语料上暂时没有增量。

PART 05
三个必须记住的坑

第一个坑,是把模型不行和调用方式错了混为一谈。
最早测本地模型判证据,两个模型在真实判定提示词下返回空串,只有第三个能解析。当时的结论是只有它能当判定头,但延迟太高,只能做深检索模式。
真相是调用方式错了。那个模型带思维链能力。所谓思维链,就是模型在给答案之前先自己推演一遍,把推演过程也吐出来。当时把输出长度上限压在 200 又没关思维链,思维链把预算吃光,模型就没东西可吐了。关掉思维链、把预算给足之后,单段热态不到一秒,输出格式也对,判定理由也准。
这个坑在另一个项目上又踩了一次。本地小模型超时,导致上云流量里大部分是被顶上去的,关掉思维链后降到不足十分之一。
同一个病,两处犯。
第二个坑,是中文问法跟英文标识符之间没有桥。
三条题没命中,全是这个病。问 DeepSeek 输出为空怎么处理,库里只有 max_tokens 这个词;问笔记库多久没动了,库里只有 vault。人问的是中文,库里存的是英文标识符,两边对不上,查词再准也找不到。
试过两次自动学词表,产出的全是巧合配对,根因是日志目录里全是工具转录记录,同一段堆着几十个标识符,共现统计被毒化了。最后改成手写维护,15 条对照词,首条命中从七成出头抬到八成出头。
第三个坑,是方法要跟切词方式一起看。
业界经验说把标题链拼进块再索引,召回失败率降 35%。照做,那批题的命中反而从全中掉到八成多。那条经验的前提是按词或子词切分,我们用的是重叠的二字组合,标题里的字早就在正文高频出现的组合里重复计了一遍,把真正稀有的正文词挤下去了。
抄结论不抄做法,多数时候抄来的是负收益。

PART 06
这套方案该怎么用

有三件事已经确定,有一件还没定。
已经确定的第一件,判断可以离线做。判定头不需要联网,不需要境外服务,本地小模型加一层规则就能跑起来。
第二件,判定可以本地跑,判不了可以是一等公民。那套四种结果在一个 42 份文档的行业知识库上跑通了,零编造,增量重建不到一秒,库只有两兆多。这套东西不是纸面设计。
第三件,检索侧的门槛很低。文档格式统一,九成八有标题,路径能回引到行号,这三件事凑齐了,剩下的就是配一套索引。
还没定的是判定头值不值得训。现有证据是零增益加五秒半延迟。按同一个口径,题做满了再训也白训,验证集里的正例不够时根本测不出差异,当前不值得为它训练任何权重。真要训,门槛是三百个以上正例标注、同一段不同标签低于 5%,而且要先证明判定头能把前五条命中率或引用可核对率抬高三个点以上。标签只能来自人的判断或者更强的外部老师,不许拿模型自己的输出回喂。
还有一条更根本的:这套查词已经到平台了,再调打分公式是零和。剩下的提升要么来自语料清洗,要么来自换判定模型,不是分数公式能解决的。两次调参反而更差的记录都留着,就为了下次别再试。
落到具体做法,四条规矩:
  • 召回就用查词配二字组合加词频加权,硬闸一律不要。硬闸是把“稀有词必须出现”当条件而不是参考项,用它做否决,会把前十条命中从八成多压到六成不到。
  • 稀有词命中的段落强制进候选并排到前面。这一刀是把前五条从九成多推到全中的关键。库里含某个词的段本来就少,让它排第一,等于告诉检索器,这词比别的重要。
  • 判定层先做四种结果的分类,把判不了这个出口留在架构里,别等到最后才补。
  • 扩展用链接图而不是抽词。链接图能说清为什么,因为这条笔记引用了它;抽词只能说因为这个词出现了。

PART 07
它提示的一个解题思路

把这些放回更大的位置看,会看到一个更一般的结论。
任何检索系统,抽象掉实现只剩三个动作。表示,是输入被压成什么形式才能比较;匹配,是凭什么说这条相关或这条该拦;停止,是什么时候算够了。
判断一个方案先不先进,就问一句,它在哪个动作上做了近似,自己知不知道。
向量检索和图检索都在表示这一环做近似。文档还没被问,就已经被压成了向量或者三元组,先替人决定了什么信息重要。
这一步是结构性的,调参解决不了。
SAG2 把近似推到了查询时。
我们保留这个时点,只把判定器从境外服务换成本机模型。
判定时机不是一个必须改的东西,判定器归谁才是。
顺着这个思路,知识库这件事可以拆成两半,各用各的判据。
召回是规模相关的。它的结论必须带成立区间:多少文档、多长、什么语言、什么问法下这个方案划算,换个规模区间结论就可能不成立。
判定是规模无关的。它只吃一对问题和候选,候选从哪来它不关心。
这两件事不许跨线担保。向量当前不划算,不能拿来论证判定层是核心;判定层做成了,也不能拿来论证检索方案选对了。教训正好卡在这里。判定头零增益,是判定层的事;查词前五条命中 100%,是召回层的事。两个结论各自成立,不互相担保。
知识库真正难的不是把答案找出来,是知道哪一段算证据、哪一段只是背景,以及两者都找不到的时候肯不肯说不知道。
判定头什么时候值得有,取决于换一个语料之后它会不会有增益,这个问题还没做完。

【声明】内容源于网络
0
0
AI驱动数字化转型
专注AI,促进智造行业数据衍生,服务智能制造企业的数字化、智能化,聚焦大模型私域部署、大模型微调、数据清洗、AI模型训练、私域知识库及agent技术延展等。行业智能,落地为先。
内容 1127
粉丝 1
AI驱动数字化转型 专注AI,促进智造行业数据衍生,服务智能制造企业的数字化、智能化,聚焦大模型私域部署、大模型微调、数据清洗、AI模型训练、私域知识库及agent技术延展等。行业智能,落地为先。
总阅读17.2k
粉丝1
内容1.1k