“兰台知音”是怎样炼成的？ ——Agent+LLM+RAG架构之优秀实践- 大数跨境

首页

“兰台知音”是怎样炼成的？ ——Agent+LLM+RAG架构之优秀实践

数字罗塞塔计划

2025-01-02

导读：一个看似界面简单实则功能强大的档案知识问答系统是怎么炼成的呢？今天我们就从技术层面来揭开“兰台知音”的神秘面纱。

点

击

蓝

字

关

注

我

们

前言

数字罗塞塔计划公众号已于今年元旦重磅推出“兰台知音”档案知识问答系统，相关介绍参见本号文章《罗塞塔®档案知识问答系统“兰台知音”耀世登场！》。

是不是看上去很简单的样子？赶紧问一个档案行业的业务或者技术问题测试一下，相信结果应该能让您满意。

那这么一个看似界面简单实则功能强大的档案知识问答系统是怎么炼成的呢？今天我们就从技术层面来揭开“兰台知音”的神秘面纱。

一、“兰台知音”的技术架构

从技术架构上来看，除了最上面的用户界面层和最下面的档案知识库之外，“兰台知音”最核心的部分就是被称为知识问答系统三件套的AI智能体（AI Agent，简称“Agent”）、检索增强生成（Retrieval-Augmented Generation，RAG）和大语言模型（Large Language Model，LLM）。以下自顶向下逐层进行介绍：

1、用户界面层

这是用户直接交互的部分，用于接收用户输入的诸如档案业务相关问题，并展示Agent给出的回答结果。

2、智能体（Agent）层

任务分解模块

与用户界面层相连，接收用户的问题，将复杂问题拆解成多个简单的子任务，例如把“档案借阅违反规定后的处理措施以及相关法规溯源”这样的问题拆分为“查找档案借阅违规处理措施”和“确定对应处理措施的法规出处”等子任务。

决策模块

根据问题类型以及RAG、LLM 等情况，决定调用RAG、LLM 或者二者结合等不同的策略来获取答案。例如对于简单明确的法规条款查询，优先调用RAG。

学习更新模块

一方面通过档案知识库语料的不断更新，定期获取最新档案业务知识；另一方面通过记录用户的提问情况、反馈信息等，不断优化自身任务分解、决策等处理逻辑。

对话管理模块

负责处理多轮对话，保存与用户对话的上下文信息，比如用户先问了某个档案业务适用范围问题，后续追问在具体场景下如何操作，该模块能让Agent基于前面的问答内容准确回复后续追问。

3、大语言模型（LLM）层

语言模型接口

上下分别与Agent层、RAG层相连，按照Agent的调用请求或RAG检索到的文本，将问题或者相关文本输入到LLM中，获取其生成的回答或者推理结果。

大语言模型

语言模型接口后面的LLM已经比较成熟，类似“兰台知音”这样的互联网应用直接调用常见的LLM即可，比如文心、通义、豆包等；当然也可以选择档案行业垂直大模型，比如八九数码的语言模型89-LLM。

4、检索增强生成（RAG）层

向量数据库

存储经过向量化处理后的档案业务知识内容，例如将法规条文、标准条款、文件要求、案例解释等文本内容转化为向量形式存储，方便后续快速检索相似内容。

检索模块

接收Agent传过来的子任务或者问题相关信息，在向量数据库中进行检索，找到与之匹配度高的档案知识相关文本片段，然后将检索结果传递给LLM或者反馈给Agent，以便进一步处理。

5、档案知识库层

档案业务知识库

存放各类档案业务知识相关的原始资料文本内容（语料库），是整个系统知识的基础来源，为RAG层的向量数据库构建以及问题回答提供核心依据。首批入库的是大约2000份高质量的法律法规、标准规范、公众号文章、论文书籍等由罗塞塔团队优中选优的参考资料。后续我们还将实时订阅/爬取国内权威网站数据和文章，跟踪档案领域情报信息，不间断维护、更新本地知识库，为“兰台知音”的“出生”、“成长”、“成熟”提供源源不断的“养分”。

二、三件套之智能体（Agent）

Agent是一个能够感知环境、进行决策并采取行动的实体。它可以是软件程序、机器人或者其他具有自主性的系统。

Agent的工作流程是：

它就像一个聪明的“助手”，通过对指令的分析，明白每一步要做什么，然后逐个完成这些子任务。就如同员工在接到任务后，会根据任务的要求，有条不紊地完成各项工作。

下面结合“兰台知音”知识问答系统的常规服务领域——档案法规标准问答来解释Agent的功能。

三、三件套之大语言模型（LLM）

在“兰台知音”知识问答系统“三件套”架构中，LLM无疑占据着核心地位，它宛如一位知识渊博、能言善辩的档案专家，为整个系统注入强大的智慧力量。

当然，由于目前市场上绝大多数LLM都是通用大模型，在回答类似于档案行业这样的专业领域问题时容易出现“幻觉”（表现为“一本正经地胡说八道”），因此在实际应用中往往需要与Agent、RAG结合使用，以发挥本地知识库的价值和作用。

特别地，在“兰台知音”1.0版本构建过程中，为了更加精准地回答档案业务问题，我们指定所有的答案来源全部来自于本地知识库，相当于对LLM进行了“阉割”，只让其发挥在问题答案语言组织方面的能力。未来，随着LLM能力的进一步提升以及行业垂直大模型的出现，我们也会让LLM在“兰台知音”的后续版本中真正发挥核心作用。