基于DeepSeek的RAG技术应用开发实践
一、为什么需要该课程
大型语言模型（LLM）已经取得了显著的成功，尽管它们仍然面临重大的限制，特别是在特定领域或知识密集型任务中，尤其是在处理超出其训练数据或需要当前信息的查询时，常会产生“幻觉”现象。为了克服这些挑战，检索增强生成（RAG）通过从外部知识库检索相关文档chunk并进行语义相似度计算，增强了LLM的功能。通过引用外部知识，RAG有效地减少了生成事实不正确内容的问题。RAG目前是基于LLM系统中最受欢迎的架构，有许多产品基于RAG构建，使RAG成为推动聊天机器人发展和增强LLM在现实世界应用适用性的关键技术。
二、你可以参加吗?
各类软件企业和研发中心的程序员、软件设计师、架构师, 项目经理，业务架构师，公司管理者。
本课程面向零基础LLM应用开发者，不需要了解复杂数学算法，机器学习原理。建议具备基础的Python知识，但即使你对 Python 不太熟悉，也完全没有关系。课程主要阅读讲解部分案例代码。
三、讲师介绍
讲师最近几年带队完成了数十个AI项目，内容不仅包括深度学习、机器学习、数据挖掘等具体技术要点，也包括AI的整体发展、现状、应用、商业价值、未来方向等，涵盖内容非常丰富。完成多个深度学习实践项目，广泛应用于医疗、交通、银行、电信等多个领域。从2020年推出的多门课程《AI大模型赋能行业应用与解决方案》《AI 大模型辅助软件研发管理与效能提升》和《AI大模型技术及开发应用实践》更是广受欢迎，已经为几十家企业培训，作为一名AI技术专家，对人工智能的理解深入透彻。他不仅精通AI的编程技术，还熟悉各种AI工具的使用，尤其在AI行业应用更是有着独特的见解和实践经验；自从2023年以来帮助多家研发中心做AI辅助开发效能提升咨询服务。同时也是微软人工智能认证工程师，阿里云AI人工智能训练师。在人工智能领域的深耕和创新，也得到了出版社的青睐，计划出版自己的著作。也在多家技术大会做AI技术讲座。
四、课程内容安排(课程基于多种大模型实验对比效果)
第一部分: RAG技术概述
1.RAG技术概述
2.加载器和分割器
3.文本嵌入和 向量存储
4.如何生成和存储Embedding
5.检索器和多文档联合检索
6.RAG技术的关键挑战
7.检索增强生成实践
8.RAG技术文档预处理过程
9.RAG技术文档检索过程
第二部分: RAG的工作流程
1.RAG的工作流程
2.数据准备
3.数据召回
4.答案生成
5.RAG的优缺点
6.RAG的优点
7.RAG的缺点
8.RAG的使用场景
9.RAG面临的挑战
第三部分: 文本召回模型
1.文本召回模型
2.文本召回模型基础
3.稠密向量检索模型 （SimCSE SBERT等）
4.稀疏向量检索模型
5.朴素词袋模型
6.重排序模型
7.召回环节优化
8. 短文本全局信息增强
9.召回内容上下文扩充
10.召回文本重排序
11.效果评估
12.召回环节评估
第四部分: RAG核心技术-文本切块
1.RAG场景下的提示词和文本切片
2.文本切块
3.固定大小文本切块
4.基于NLTK的文本切块
5.特殊格式文本切块
6.基于深度学习模型的文本
第五部分: 向量数据库基础
1.什么是向量
2.万物皆可向量
3.向量间的相似度
4.相似度应用案例
5.为什么需要向量数据库
6.向量数据和传统数据的差异
7.向量数据库应运而生
8.大模型时代的智能存储平台
9.向量数据库极简史
10.向量数据库的核心能力
11.数据库核心原理
12.搭建图片查询系统
13.向量数据库
14.Faiss
15.Milvus
16.Weaviate
第六部分: RAG和Prompt技术
1.Prompt 提示词工程
2.RAG与Prompt 提示词优化
3.使用Prompt模板
4.更改默认的Prompt模板
5.更改Prompt模板的变量
6.提示词 RAG 大模型交互的效果
第七部分: 基于LangChain构建RAG文档问答系统
1.构建复杂LangChain RAG 应⽤
2.LangChain模型(Models)：从不同的 LLM 和嵌入模型中进行选择
3. LangChain提示(Prompts)：管理 LLM 输入
4. LangChain链(Chains)：将 LLM 与其他组件相结合
5. LangChain索引(Indexs)：访问外部数据
6. LangChain记忆(Memory)：记住以前的对话
7. LangChain代理(Agents)：访问其他工具
8.使⽤大模型构建RAG文档问答系统
第八部分: 评估RAG应用
1.为什么RAG应用需要评估
2.RAG应用的评估依据与指标
3.RAG应用的评估流程与方法
4.评估检索质量
5.生成检索评估数据集
6.运行评估检索过程的程序
7.评估响应质量
8.生成响应评估数据集
9.单次响应评估
10.批量响应评估
11.基于自定义标准的评估
12.RAG评估案例
第九部分: 基于国内大模型平台构建智能体和RAG技术
1.基于字节构建RAG和Agent
2.基于智谱构建RAG和Agent
3.基于百度构建RAG和Agent
4.基于千问构建RAG和Agent
第十部分: RAG其他框架
1.RAG技术框架概述
2.Llamalndex
3.QAnything
4.RAGFlow
5.Dify
第十一部分: 企业建设知识库的最佳实践
1.企业级RAG应用的常见优化策略
2.选择合适的知识块大小
3.评估知识块大小
4.分离检索阶段的知识块与生成阶段的知识块
5.常见的分离策略及实现
6.优化对大文档集知识库的检索
7.元数据过滤 + 向量检索
8.摘要检索+ 内容检索
9.多文档Agentic RAG
10.使用高级检索方法
11.构建端到端的企业级RAG应用
12.对生产型RAG应用的主要考量
13.端到端的企业级RAG应用架构
14.数据存储层
15.AI模型层
16.RAG工作流与API模块
17.端到端的全栈RAG应用案例
18.简单的全栈RAG查询应用
19.基于多文档Agent的端到端对话应用
第十二部分: RAG 的未来演进
1.多模态RAG的技术进展和发展路线
2.未来的RAG和Agent如何发展
3.如何构建企业级的RAG和Agent集群架构