“ 知识库系统是大模型应用中的重要组成部分,其独立于大模型而存在。”
在之前的文章中,作者也有写过知识库的建设问题,而且很多人评论说没什么干货,RAG知识库——怎么构建一个高质量的知识库。
事实上构建知识库除了是一个技术问题,同时还是一个哲学问题;技术问题解决的知识库的落地,而知识库的设计哲学是保证你的知识库高可用,易于管理,能够嵌入到各种系统中。
在AI时代知识库是一项很重要的组建,其并不是只适应于RAG检索增强;从理论上来说,任何需要知识的地方都有知识库的身影,不论是智能体,还是AIGC,无外如是。
知识库的作用
我们抛开各种技术框架和应用理论,从最根本的模型基座开始,来探讨一下知识库存在的必要性。
人工智能的目标其实是创建一个能够像人一样,能够解决各种复杂问题的人造智能体;但是不论是人还是机器,其能力都是有限的,很多时候需要借助外力来完成任务;比如说我们接触一个新领域,需要通过书籍,师傅指导等方式来学习和使用。
而这些对我们来说都属于外部知识,而对这些知识进行管理,就需要用到知识库系统,类似于图书馆和档案室。
而模型也是如此,不管模型的参数爆发到什么程度,它的容量总是有限的,总有一部分内容它无法存储;而且从成本的角度考虑,只需要让模型保持其核心能力,然后在需要的时候可以使用外部知识和工具解决问题即可;不需要回答1+1=2的问题,还要先学完高等数学。
所以,围绕这一点来看,模型本身不可能绕开知识库的存在,不管是什么类型的模型。
因此,明白了这一点,我们就知道不管是做RAG也好,做智能体也好,做AIGC亦或者其它功能也好,知识库都是必须的。
而从技术的角度来说,我们把需求和参考知识传入模型,然后模型就根据自己的能力和对需求的理解,来解决我们的问题;而这个参考知识怎么来?
总不能每次都临时找,临时查吧?所以有一个知识库管理系统,把这些知识管理起来,那么下次再遇到类似的问题就可以直接使用这些知识解决。这样既提升了模型的能力边界,也提升了效率。
所以针对大模型应用的任何场景,我们都需要一个知识库管理系统;但这个系统可以根据具体的需求进行建设和调整,没必要也没那个能力,把它建设的又大又全。
所以,模型和知识库的辩证关系就是,模型是一个能力很强的人,知识库就是它的后勤保障,能够提供任何它需要的东西,这样两者相结合,就能构建出一个能力远超模型本身的智能系统。

