大数跨境

在智能体RAG中,建立信任始于证据的可追溯性

在智能体RAG中,建立信任始于证据的可追溯性 云云众生s
2026-09-12
0
导读:文章探讨了智能体RAG系统如何通过建立明确的证据路径、实施严格的检索策略以及强化数据元数据控制来构建用户信任,强调了在复杂的决策流程中,可追溯的证据链和对检索内容的严格管控是系统安全与可信的关键。

 



文章探讨了智能体RAG系统如何通过建立明确的证据路径、实施严格的检索策略以及强化数据元数据控制来构建用户信任,强调了在复杂的决策流程中,可追溯的证据链和对检索内容的严格管控是系统安全与可信的关键。

译自:Building trust in agentic RAG starts with evidence[1]

作者:Jeremy Daly

基本的检索增强生成 (RAG) 遵循一种直截了当的模式。用户提出一个问题,系统在知识库中找到相关内容,模型利用这些内容来支撑其答案。这对于简单的查找很有效,但许多实际的检索系统[2]需要对搜索的方式和位置进行更强的控制。

智能体RAG允许智能体重写问题,并选择搜索的位置和方式。它可能会查询知识库或账户系统,结合词法、语义和图搜索,融合结果分数,对候选结果进行重新排序,丢弃薄弱结果,然后再次尝试。这可以找到单一语义搜索可能遗漏的证据。它还增加了更多的决策点,这些决策点应该由证据来支持,而一个自信的答案可能无法揭示导致该答案的检索路径。

“机遇伴随着责任:更多的决策需要清晰的证据追踪。”

机遇伴随着责任:更多的决策需要清晰的证据追踪。更多的控制可以提高覆盖率,但仅靠控制无法建立信任。系统通过展示它搜索了什么以及为什么接受某个来源来赢得这种信任。它还必须披露它无法验证的内容。如果没有这种记录,即使是好的答案,也很难理解其依据。

检索是一系列决策的集合

一个检索轮次在应用程序中看起来可能只是一个单一的操作,但智能体实际上正在做出一连串的选择。它解读用户的意图并创建一个查询。然后,它选择数据源,应用所需的过滤器,并检查结果。只有在那之后,它才能决定证据是否充分,并将主张与引文联系起来。

每一个选择都值得审慎对待。智能体可能会在账单问题的支持索引中搜索,在重写查询时删除产品名称,或者在错误的客户账户中找到正确的政策。最终的答案听起来可能令人信服,但却是不完整的、超出预期范围的,或者是不适合分享的。



工作流图表比较了基本 RAG 与智能体 RAG。

一次性检索器只进行单次检索。智能体检索器可能会进行多次检索,且每一次检索都可能失败,而最终答案却没有任何明显变化。

最终的 top-k 块列表无法重构这个过程。到那时,智能体可能已经发出了多次查询并拒绝了多个来源。它可能已经切换了工具或重写了查询。每一步都必须在发生时记录结构化数据。这成为你检索的飞行记录器:


request      "Can I cancel this contract early?"
query        "early termination enterprise agreement"
source       approved_contracts (tenant=acme, region=US)
accepted     contract_884 §12, effective=2026-01-01, score=0.81
rejected     policy_119, reason="expired 2025-12-31"
decision     evidence sufficient for contract terms; fee amount unverified

保留查询及其过滤器。添加源 ID、排名数据、时间戳以及每个分支的原因。对于每个请求,没有一种万能的检索方法。词法关键字搜索对于精确的合同编号可能是最好的。向量搜索对于释义的政策问题可能是最好的,而简单的 SQL 查询可以提取账户余额。图遍历可用于连接相关的文档或实体。记录应该说明智能体选择了哪种方法以及原因。

为用户和操作员提供可见的证据

用户和操作员需要从同一证据中获得不同的视角。用户需要能够识别来源和相关段落或记录的引文。每条引文都应显示来源的生效日期或最后更新日期,以及检索日期。当证据有限时,用户需要通俗易懂的语言:“我找到了取消条款,但我无法验证你账户的当前费用。”

操作员需要足够的细节来生成和改进答案。保留重写的查询和搜索尝试,同时通过适当的访问控制、编辑和保留规则来保护这些痕迹。保留被拒绝的结果、工具调用、应用的过滤器以及任何影响源选择的指令。仅凭引文并不能确立对主张的支持。智能体可以引用包含相关语言但并不支持其所写主张的合法文档。它还可以在答案生成后附加引文,导致不清楚来源是否真正为答案提供了依据。

在生成过程中保留引文溯源,然后在发布答案之前验证每个主张是否得到支持。存储传递给模型的源 ID,并将每个得到支持的主张映射回提供它的摘录或记录。如果一个主张没有来源,应用程序可以删除或限定它。对于高风险主张,它可以在答案到达用户手中之前暂停并进行审查。

使用实用的重放测试。给工程师提供请求和追踪记录,然后问:“为什么选这个来源?”它在当时为什么有效?为什么系统拒绝了替代方案?如果追踪记录无法回答这些问题,说明它还不够详细。

将时效性和权威性纳入检索

语义相似度衡量的是相似性,而不是权威性。一年前的政策可能与问题完全匹配,但在索引中仍然不是合适的结果。只有智能体应该使用具有不同措辞的当前政策。

“相似度分数是一种观点;范围过滤器是系统可以强制执行的规则。”

将源元数据视为检索的一部分。从生效日期和所有者开始,然后记录访问范围和文档类型。审批状态和司法管辖区对于受控材料很重要。租户身份是一条硬性边界。相似度分数是一种观点;范围过滤器是系统可以强制执行的规则。所有这些字段都应影响过滤和排序。监管问题可能需要经批准的原始来源。产品问题可能更喜欢最新发布的手册。客户问题必须保持在客户的范围内。



工作流图表显示了最接近的匹配项并非最合适来源的示例。

最接近的匹配项并不总是最合适的来源。元数据规则决定了相似度分数无法决定的内容:候选来源是否为最新的、经批准的,以及是否在调用者的范围内。

这些规则可以在相似度排序之前或之后运行,也可以在两个阶段都运行。具体位置取决于数据和风险,但无论哪种方式,即使措辞看起来更接近,未经授权或过期的记录也应该被排除。当正确实施租户和范围边界时,未经授权的记录可以在成为候选对象之前就被排除。

冲突的来源需要自己的处理路径。如果两个批准的政策重叠,智能体不应默认选择最方便的段落。它应该报告冲突,并将答案缩小到两个来源都支持的内容。如果无法做到这一点,它应该将请求发送进行审查。在来源的整个活跃生命周期内,必须有人负责,并在到期时将其撤销。如果文档库不再维护,检索就无法建立时效性。

为智能体定义检索策略

“要准确”是一个重要的目标,但太模糊了,无法作为检索策略。应用程序需要可强制执行的规则,规定智能体何时搜索[3]以及可以使用哪些类型的来源。应有单独的规则来规定何时可以扩大查询范围,以及何时必须承认证据是不完整的。

在模型写入之前应用这些规则。客户数据保留在经过验证的客户范围内。监管答案使用适用于正确司法管辖区和生效日期的经批准来源。缺失原始来源会导致限定性的答案或审查请求。这些约束应该在工具权限、查询过滤器和应用程序代码中实现,而不是依赖模型去记住指令中的一句话。

“智能体决定问什么;检索层决定可以返回什么。”

工具访问也需要同样的对待。搜索公共知识库与搜索合同、案例记录或公司范围内的文件存储库相比,风险不同。只给智能体访问任务所需的系统,并将经过验证的身份和范围传递给每个搜索工具。不要依赖模型将其作为查询参数来提供。智能体决定问什么;检索层决定可以返回什么。

在异常到达用户之前,将这些控制措施构建到检索路径中。

将检索到的内容视为数据,而非策略

智能体检索器读取的每一份文档都应被视为不受信任的模型输入[4],即使应用程序控制该来源也是如此。其中一些文档会包含指令。维基页面可能包含要求智能体忽略其来源限制的语言。注入的 PDF 可能带有一行文字,告诉模型将其置于较新材料之上。在基础 RAG 中,植入的指令可能会破坏答案。在智能体RAG中,它还可以引导随后的搜索,一直到智能体作为证据呈现的引文。



工作流图表显示了嵌入式指令如何影响基本 RAG 答案。

嵌入式指令可以影响基本 RAG 答案。在智能体RAG中,它可以重定向后续搜索,记忆可以将这种影响带入未来的请求中。

治理规则是:检索到的内容是数据,绝不是策略。范围和权限来自应用程序,文档正文中的任何内容都不应被允许改变授权或策略。身份和范围过滤器属于工具代码,且在可能的情况下,属于数据库本身。

“治理规则是:检索到的内容是数据,绝不是策略。”

仅靠提示词不足以作为强制执行层。查询重写和工具调用仍然需要根据检索策略进行验证。追踪记录可以揭示文档如何影响了下一次搜索,使其成为检测和调查的有用工具。然而,当它告诉你任何信息时,搜索已经运行完毕了。如果检索到的材料可以被提升到记忆中,那么该指令可能会在引入它的检索之外存活,并影响未来无关的请求。

在有助于数据时,让检索靠近数据

许多 RAG 系统将文档复制到一个服务中,将嵌入向量复制到另一个服务中,将元数据复制到第三个服务中,并将权限复制到应用程序代码中。每个副本的更新时间表可能不同。这使得答案的新鲜度更难诊断,访问决策更难证明。

让更多工作靠近操作数据可以缩短路径。Oracle AI Vector Search[5] 将向量嵌入与业务数据存储在一起,其 SQL 查询可以将相似性搜索与关系过滤器[6]和词法搜索[7]结合起来。使用 Oracle AI Database 的团队可以将操作记录、向量和访问规则保存在其已经控制的数据平台中。数据库强制执行的访问控制可以在数据库内部应用行级和列级策略[8],从而允许在独立于检索服务的情况下强制执行访问限制。

这种安排可以减少数据副本,并使谱系更容易检查。它并不能决定哪种策略具有权威性、检测冲突或证明引文支持主张。检索策略和评估仍然必须完成这些工作。额外的产品无法解决未定义的证据路径问题。

测试决策和答案

只给最终正文评分的评估并不能评估智能体RAG[9]中的大部分决策。构建一小套练习这些决策的请求。包括一个当前政策问题和一个有两个租户持有相似记录的案例。添加冲突文档、一个不寻常但有效的来源,以及一个向模型携带嵌入式指令的文档。该集合还应包括一个正确结果为“我无法验证这一点”的请求。

使用语料库选择准确性、k 处的召回率、租户隔离违规率、引文覆盖率和主张支持准确性等指标,将检索与生成分开评分。检查智能体是否选择了正确的语料库并应用了所有必需的过滤器。检查所选来源及其引文到主张的链接。确认智能体在缺乏证据时适当地拒绝或升级。答案听起来可能很尴尬,但仍然可以正确检索。它听起来也可能令人信服,但却使用了过期的政策。

在更改嵌入模型、分块方法、索引、提示词、排名规则或搜索工具后,运行这些案例。如果新索引开始偏好较旧文档或跨越租户边界,那么更高的相关性分数意义不大。将生产问题保存为新的评估案例,这样同样的问题就不太可能再次发生。

每个答案都需要一条证据路径

智能体RAG增加了决策,当系统能够解释这些决策时,信任感就会增强。使证据路径和检索策略成为可见的输出,而不是埋在日志中的细节。当答案需要审查时,该记录就是让人类决定它是否值得信赖的依据。

正在尝试实现智能体RAG?这些模式的工作示例,例如带有混合搜索的智能体RAG,可在 Oracle’s AI Developer Hub[10]中找到。

引用链接

[1] Building trust in agentic RAG starts with evidence: https://thenewstack.io/building-trust-agentic-rag/
[2] 检索系统: https://thenewstack.io/ai-agents-retrieval-engineering/
[3] 可强制执行的规则,规定智能体何时搜索: https://thenewstack.io/why-ai-agents-need-their-own-identity-not-yours/
[4] 不受信任的模型输入: https://genai.owasp.org/llmrisk/llm01-prompt-injection/
[5] Oracle AI Vector Search: https://docs.oracle.com/en/database/oracle/oracle-database/26/vecse/overview-ai-vector-search.html?source=:ex:pw:::::TNS_AgenticRAG_A&SC=:ex:pw:::::TNS_AgenticRAG_A&pcode=
[6] 关系过滤器: https://docs.oracle.com/en/database/oracle/oracle-database/26/nfcoa/vector-data-type.html?source=:ex:pw:::::TNS_AgenticRAG_B&SC=:ex:pw:::::TNS_AgenticRAG_B&pcode=
[7] 词法搜索: https://docs.oracle.com/en/database/oracle/oracle-database/26/sqlrf/create-hybrid-vector-index.html?source=:ex:pw:::::TNS_AgenticRAG_C&SC=:ex:pw:::::TNS_AgenticRAG_C&pcode=
[8] 行级和列级策略: https://docs.oracle.com/en/database/oracle/oracle-database/26/arpls/DBMS_RLS.html?source=:ex:pw:::::TNS_AgenticRAG_D&SC=:ex:pw:::::TNS_AgenticRAG_D&pcode=
[9] 智能体RAG: https://thenewstack.io/the-precision-engine-why-agentic-rag-is-genais-next-leap/
[10] ***Oracle’s AI Developer Hub***: https://github.com/oracle-devrel/oracle-ai-developer-hub

 

【声明】内容源于网络
0
0
云云众生s
1234
内容 1363
粉丝 0
云云众生s 1234
总阅读0
粉丝0
内容1.4k