10 个关键问题 Q&A
-
Q:本文要解决智能体 RAG 的什么痛点? A:普通检索只能拿到零散文本块,跨文档推理时智能体每次都要重新梳理知识依赖,容易出错、成本高、证据引用不稳定。 -
Q:什么是 OpenWiki? A:LangChain 开源的知识库编译工具,把一批原始文档整合为带原文引用的 Wiki 页面,作为智能体的持久记忆层。 -
Q:OpenWiki 里 “断言(claim)+ 哈希” 机制有什么用? A:每条断言绑定原文行和哈希,原文变更时无需调用大模型就能识别失效断言,降低 token 开销,自动检测知识过时。 -
Q:证据图谱和常规知识图谱有什么差别? A:它是轻量证据导航图,复用 Wiki 已有引用生成关系边,不需要额外大模型抽取实体,不尝试建模企业全部知识。 -
Q:证据图谱里有哪些典型关系边? A:cite(引用原文)、supersedes(替代旧文档)、refers_to(指向其他文档)、amends(修订)等带方向的类型化关系。 -
Q:locate 和 expand 两个工具分别负责什么? A:locate 根据问题匹配标题、断言定位起始节点;expand 沿着图谱边展开关联证据,单路径自动遍历,分支交由智能体决策。 -
Q:在简单查询任务上,OpenWiki 有优势吗? A:没有。准确率和纯检索接近,响应延迟更高,没必要部署记忆层。 -
Q:跨源推理场景下,OpenWiki + 证据图谱带来哪些量化收益? A:相比只用 Wiki,准确率提升 27%,证据引用一致性翻倍,每道正确答案成本下降 58%,中位回答耗时降低 40%。 -
Q:什么时候投入这套记忆方案才划算? A:多个智能体需要反复处理同一批相互关联、存在修订覆盖关系的文档;依靠高频复用摊薄知识库编译与维护成本。 -
Q:作者后续的研究方向是什么? A:实现动态按需编译知识库;把断言和类型关系边作为底座,统一支撑语义记忆、情景记忆、过程式操作记忆。
作者:尤金・刘(Eugene Liu)2026 年 10 月 28 日
要点
-
编译式知识库(wiki)能够为智能体提供领域上下文,而单纯检索方式需要每次重新拼凑这些信息。在需要跨多份文档作答的问题上,搭载 OpenWiki 作为记忆层的智能体,准确率是仅使用文本检索工具智能体的5 倍。 -
新增证据图谱可以帮助智能体从知识库回溯到原始支撑证据。我们把引用标注和文档引用关系转化为智能体可遍历的显式图谱边。相比单独使用知识库,这套方案让智能体引用同一证据的稳定性提升一倍,准确率提升 27%,每得到一个正确答案的成本降低 58%。 -
编译式记忆适合高频跨源推理场景。知识库沉淀领域知识与复杂关联关系,证据图谱进一步提升检索一致性与回答准确率。但对于简单单条查询类问题,不带记忆的智能体准确率相当,响应速度还更快。
企业智能体需要处理散落在不同系统、不同团队里的制度文档、操作手册、内部知识库、工单以及代码,在这类场景下,仅仅检索到相关段落只是第一步。智能体还需要判断适用规则、识别内容变更、理清不同文档之间的相互影响关系。
持久化记忆层可以保存知识以及知识间的关联关系,供智能体在多个任务间复用。如果缺少这一层,智能体每次回答问题都要重新梳理、推导关联逻辑,成本高昂且容易出错。在银行、保险这类行业痛点尤其突出:各类政策、规范经常修订、替代旧条款。
本次实验中,我们使用开源知识库编译工具 OpenWiki 作为记忆层。针对需要串联多源信息的问题,相比纯检索方案,知识库让智能体准确率提升约 5 倍;在此基础上增加证据图谱(把知识库陈述关联到原始段落、打通文档之间引用链路),准确率再提升 27%,证据引用稳定性翻倍。
为什么要用编译式知识库?
常规 RAG 流程大多依靠语义检索或者混合检索,拿到的是相互孤立的文本块,需要智能体自行梳理块与块之间的关系。我们此前已经探索过智能体 RAG、基于图谱元数据过滤优化向量检索等方案,但检索到相关片段只是工作的一部分。跨文档问题需要追踪引用、解决规则冲突、识别依赖关系。记忆层把这些梳理好的关联沉淀下来,避免智能体每次提问都重新推导一遍。
编译式知识库承担这个记忆层的作用:把原始材料整合生成带链接的页面,清晰阐述核心概念以及彼此关系。原始文档更新时,知识库同步更新,给智能体提供可复用的上下文。
OpenWiki 是基于 DeepAgents 构建的开源命令行工具,编译生成的知识库自带指向原始文档的引用标注。开发这个工具最初的目的,是让代码智能体不用每次处理任务都重新梳理项目架构和代码逻辑。
OpenWiki 里每一条陈述都基于一条断言(claim):这条断言绑定对应的原始文本行以及文本哈希值。当原文内容改动,哈希值随之变化,OpenWiki 可以不调用大模型,直接识别受影响的断言,大幅节省 token 开销,并且让过期内容检测逻辑更加确定。只有被标记为受影响的断言,才会交给模型去核验、修改或者作废,实现记忆层跟随数据源自动修正,相关内容在《自修正记忆:OpenWiki》一文中有详细介绍。
搭建测试文档库
我们构建了一份模拟保险行业文档库,一共包含 111 篇长文档。选择保险场景的原因:保单、批单之间大量互相引用、修订、覆盖,这种跨文档依赖关系,正是传统检索最难处理的场景。
为了搭建评测基准,我们整理了包含 972 条事实的清单,预先规定每条事实的位置、文档间引用关系、不同版本之间的变更点。使用大模型生成配套正文,并通过自动化校验保证所有预设事实都存在于文档中。
我们刻意把这份语料库做成贴近真实企业文档的混乱形态:混入过期版本、互相矛盾的条款、多层间接引用链、措辞风格不一、超长文档,还原智能体在企业内部文档库中会遇到的真实情况。
实验配置说明
我们使用同一套检索智能体,设置两组对照:
-
检索组:在原始文档上做关键词检索 -
知识库组:同一个智能体,额外可以访问 OpenWiki 编译完成、附带原始引用的知识库
底层大模型、提示词、原始文档、测试题目全部保持一致,唯一变量就是智能体是否可以使用这份编译好的记忆。
测试题目分为两类:80 道简单查询题,以及50 道关联推理题(需要顺着文档依赖关系推导,例如识别某一条款会影响哪些内容、条款变更带来哪些连锁影响)。每道题目重复测试 3 轮,用来衡量多次运行结果的波动。
评测指标:
-
准确率(0~1):人工评审对照 972 条事实清单核验答案和证据,命中必要事实得分,出现矛盾则扣分 -
一致性(0~1):三轮回答引用证据的重合度,采用引用集合的平均杰卡德相似度。衡量智能体是否稳定地基于同一批来源作答,不代表答案本身正确 -
成本与延迟:单题模型调用费用(美元)、端到端耗时
知识库的优势与局限
OpenWiki 把 111 篇文档编译成知识库,总成本 4.15 美元,编译后体积大约是原文的十分之一;后续新增 17 篇文档,单篇增量成本约 0.09 美元。下文统计不包含编译和更新成本,只统计检索与答题阶段开销。
简单查询题作为对照组:这类题目只需要单段原文信息,几乎不需要跨文档保险领域逻辑,预期知识库不会带来明显提升。
-
检索组:准确率 0.84,引用重合度 0.72,每正确回答一题成本 0.020 美元 -
知识库组:准确率 0.83,引用重合度 0.74,每正确回答一题成本 0.021 美元
知识库方案延迟从 9 秒上升到 12 秒,性能略差。
关联推理题需要基于领域关系跨文档推导:
-
检索组:准确率仅 0.10,每正确回答一题成本约 0.55 美元 -
知识库组:准确率提升至 0.52(约 5 倍提升),更少的工具调用即可利用沉淀好的领域关联,单正确答案成本降至 0.19 美元
尽管准确率和成本有明显改善,知识库版本智能体的证据检索依然不稳定。关联推理场景下,引用重合度从简单查询的 0.74 下跌到 0.25。引用稳定性不等于答案正确性,但证据来源来回变动很容易导致答案变化,尤其文档存在冲突的时候。对于核心业务场景,团队不仅需要更高的平均准确率,还要求答案可复现、可审计。
知识库解决了智能体跨文档复用领域知识的问题,但还缺少一条稳定、可复现的证据溯源路径。
增加证据图谱
为提升检索稳定性,我们新增轻量证据图谱:把知识库中的引用标注转化为断言、知识库页面、原文段落、主题之间带类型的显式边。OpenWiki 原本的引用只是 Markdown 内的文本标记;图谱把这些引用固化成结构化关系边,给智能体一条稳定的遍历路径,而不是每次都靠检索重新发现关联。
图谱构建分为两步:
-
将每一个段落作为基础原子单元。确定性流程拆分文档段落并分配唯一 ID,断言不再绑定整篇文档,而是精准关联到支撑它的原文段落。 -
使用带类型的边连接信息单元。段落、断言、知识库页面之间定义关系类型:断言**引用(cite)段落、新文档替代(supersede)旧文档、章节指向(refers_to)**其他文档。
部分关系可以直接从文档引用里确定性提取;知识库断言自带文本引用,因此 refers_to、supersedes 这类关系边不需要额外调用模型生成。
整套图谱构建耗时不到 1 秒,测试集里所有显式跨引用关系都被识别,智能体可以顺着链路跳转,而不是每次重新推导关联。
证据图谱的定位是证据导航工具,不是承载企业全部知识的大知识图谱。知识库依然承担信息整合工作。和重抽取类知识图谱方案不同:它复用已经存在的引用关系,不需要模型抽取、对齐实体;构建过程不需要额外调用模型,当然,图谱边的质量上限取决于 OpenWiki 生成引用本身是否准确。
智能体通过两个工具遍历图谱:
-
locate:定位起点,把问题关键词匹配文档标题、章节标题、知识库页面、断言文本 -
expand:从节点出发,沿着关联边展开,调取支撑段落和相关文档。单一路径时自动顺延;出现分支时交由智能体自主选择下一步遍历方向。这种「定位节点 — 扩展关联上下文」的思路,和微软 GraphRAG 的设计思路相近。
”””查找起点:将问题关键词匹配文档标题、章节标题、知识库页面、断言陈述”””...”””打开节点,列出带类型的关联边(cite、refers_to、supersedes、amends、attaches_to及其反向关系)。当跳数>1且指定单一边类型时,无分支时自动沿边遍历,遇到分支停止。”””...
更高准确率、更低成本、更快响应
在知识库基础上叠加显式证据链路之后,所有指标都优于单独知识库方案:准确率提升 27%,证据引用稳定性翻倍,中位回答耗时下降 40%,每一个正确答案的成本下降 58%。证据图谱和知识库形成互补:定向检索增强溯源能力,提升准确率与稳定性,同时不会让智能体变成完全确定性的固定流程。
什么时候值得投入搭建这套记忆层?
编译式知识库最适合:需要反复执行跨文档推理的场景。实验证明,知识库让智能体直接复用沉淀好的领域关系,而不是每次靠检索重新拼凑。但只靠知识库本身,证据检索依然不稳定;增加显式图谱边之后,引用一致性、准确率同步提升,检索开销下降。
这套轻量证据图谱依托知识库自带的引用与文档引用关系确定性生成,不需要额外模型调用,也不需要对企业全量知识做完整建模。
是否值得投入知识库,核心看复用频次。文中统计的答题成本不含编译开销,新增文档单篇编译成本约 0.09 美元。对于简单查询场景,检索方案速度更快、准确率持平,此时文档接入和持续维护成本可能高于检索节省下来的开销,企业大规模落地要权衡。
当多个智能体持续围绕同一批分散文档反复提问时,收益就会显现:共享知识库沉淀文档之间的关联,图谱边引导智能体溯源证据。在我们的测试里,这套组合方案以更低的单正确答案成本拿到更高准确率。只要复用量足够,反复重构上下文省下的费用,就可以覆盖记忆层的搭建与维护成本。
后续规划
下一步方向:动态化构建知识库,只编译、保留跨源推理真正需要的上下文,而不是对整个文档仓库全量编译。同时探索以断言和类型关系边作为通用智能体记忆底座:把知识绑定证据、监测变更的能力,用来支撑语义记忆(事实)、情景记忆(历史事件)、过程记忆(操作步骤)。
如果你想在自己的智能体里接入 OpenWiki:
-
Notion 资料页:https://app.notion.com/p/3c6808527b1781b6af4bf79485ae3d3a?pvs=21 -
GitHub:https://github.com/langchain-ai/openwiki
致谢
感谢 Colin Francis 与 Nick Hollon 为 OpenWiki 和评测方案提供思路!

