大数跨境

企业私有化大模型落地应用实战(最新)

企业私有化大模型落地应用实战(最新) 慧测
2024-01-23
0
导读:企业私有化大模型落地应用实战V3.0


- - - - - :本期课程重点更新内容

第一部分:提示词工程综合应用实战

第二部分:LangChain应用开发实战

第三部分:但问企业级知识库技术解析

第四部分:企业私有大模型接入及微调实战

第五部分:RAG企业级落地应用实战

第六部分:学习收获


腾讯文档版课程链接:

https://docs.qq.com/doc/DVFNvU1lRQ3lVS1Zs



本期课程重点更新内容


 LangChain0.11核心技术应用实战









 但问企业级知识库系统核心技术解析





 RAG企业级落地应用实战



第一部分 

提示词工程综合应用实战


大模型内容输出的质量占比40%取决于提示词的质量。该部分课程将为您提供多维度的实战技能,首先,我们将深入研究有效沟通和提问,采用角色扮演和技巧的方法,提高您的沟通技巧。然后,您将学会创建自己的专属智库,包括数据分析、专业写作、软件编程、团队管理、生活求助和高效学习等多领域的知识库系统。此外,我们将教授长篇文章创作的技巧,以及资料整理、翻译、思维导图、PPT制作和营销文案撰写等关键技能。

另一方面,我们还将探索AI工具和插件的实战应用,包括机器学习辅助编程、代码自动生成、代码检查和优化,以及自动化、性能和测试开发核心技能。这些课程将使您具备适应现代工作环境所需的技能,提高您的核心竞争力。无论您是希望在沟通、知识管理还是编程领域取得突破,本课程将为您提供所需的实际技能和知识。


一、文案创作实战

1. 有效沟通与提问

 角色扮演法:学会模拟不同场景下的对话,提高大模型沟通技巧。

 限定作答风格及格式:掌握有效提问和回答的技巧,确保信息传递的准确性。

2. 打造自己的专属智库

 数据分析智库:掌握数据分析技能,以数据为支持进行有力的信息传递。

 专业写作智库:提升写作技能,让你的文字更具吸引力和说服力。

 软件编程智库:轻松学会编程技能,为技术领域的沟通提供有力支持。

 团队管理智库:学习领导和协调团队的方法,提高团队协作效率。

 生活求助智库:获得解决问题和寻求帮助的技能,提高生活质量。

 高效学习智库:掌握学习方法,提高知识获取和应用的效率。

3. 长篇文章创作

 角色扮演+架构建立:通过模拟不同角色的思维,构建有深度的文章结构。

 询问有吸引力的标题:学习如何选择引人入胜的标题,吸引读者。

 选定合适的标题,生成大纲:构建清晰的大纲,有序展开文章内容。

 选定合适的大纲,开始详细创作:以大纲为基础,高效地创作长篇文章。

4. 其他关键技能

 资料归纳整理:有效整理信息,提高信息处理能力。

 翻译及知识学习:学会多语言翻译和知识获取的方法。

 生成思维导图:用图形方式展现思维,提高信息传递的效率。

 高效生成PPT:制作引人入胜的演示文稿,提高演示效果。

 高效生成营销文案:撰写令人信服的营销文案,促进产品或服务的成功推广。


二、大模型助力编程实战 


1. AI工具实战

 机器学习辅助编程:了解并掌握如何利用机器学习模型来加速编程,减少错误。

 代码自动生成工具:掌握自动生成代码的工具,提高编写效率。

 代码检查和优化:掌握如何使用AI工具来检查和优化代码,以提高性能和可维护性。

2.  AI插件助力自动化、性能及测试开发核心技能

 集成式开发环境:介绍AI驱动的IDE插件,如智能代码建议和自动完成功能,以提高编码速度和质量。

 自动化测试和调试:了解如何利用AI插件来简化测试和调试过程,减少错误。

 自定义工作流程:讨论如何使用AI插件来创建定制化的工作流程,满足您的特定需求。

 测试开发技能提升:学会基于AI插件及大模型助力系统设计及代码实现,轻松应对测试开发相关工作。

 代码性能自动化测试:借助AI插件完成任意代码的性能检测及优化建议。


第二部分 

LangChain应用开发实战

大模型应用开发框架实战: 深入了解LangChain项目,包括其起源、价值、基础概念和架构设计。参与LangChain 0.10开发,学习如何创建和管理大模型抽象、输入抽象、输出结果规范等关键模块。

Flowise拖放界面构建定制化LLM流程实战: 了解如何使用Flowise工具轻松可视化和构建LLM应用程序。实战演示Flowise环境部署和应用场景,包括PDF/Doc文件聊天项目、翻译助手和私有知识库。

一、LangChain 应用框架入门

 LangChain 项目起源、发展与现状
 LangChain 的独特价值
 LangChain 基础概念
 LangChain 架构设计
 LangChain 图形化界面:LangFlow
 LangChain核心组件


二、LangChain 开发全程实战

 LangChain 开发环境

 基于 Miniconda 搭建虚拟环境

 使用 Jupyter Lab 进行交互式开发

 基于google cola环境开发

 LangChain 核心模块

 标准化的大模型抽象:Models

 文本 I/O 的大语言模型:LLMs

 更加结构化的聊天模型:Chat Models

 更具想象力的嵌入模型:Text Embedding Models

 大模型的输入抽象:Prompts

 灵活构造提示词:Prompt Templates

 巧妙植入最佳实践:Example Selectors

 规范化大模型输出结果:Output Parsers

 大模型应用的最佳实践:Chains

 上手你的第一个链:LLM Chain

 动态调用的路由链:Router Chains

 处理超长文本的转换链:Transformation Chain

 面向数据库的问答链:SQL Chain

 实现复杂应用的代理系统:Agents

 动态决策链的执行:Action Agents

 复杂规划的执行链:Plan-and-Execute Agents

 检索非结构化数据的利器:Indexes

 文档加载器:Document Loaders

 文本分割器:Text Splitters

 向量持久化:VectorStores

 向量检索器:Retrievers

 赋予应用记忆的能力:Memory

 大模型原生的回调系统:Callbacks

 LangChain 典型应用剖析

 支持复杂任务处理的自主代理

 基于文档知识的问答助理

 基于⻓短期记忆的聊天机器人

 基于第三方接口的链式调用

三、Flowise 拖放界面构建定制化LLM流程实战

 轻松可视化和构建LLM应用程序

 Flowise环境部署实战

 Flowise大模型PDF/Doc文件聊天项目实战

 Flowise 大模型翻译助手实战

 Flowise 私有知识库项目实战



第三部分 但问企业级知识库技术解析

基于已经落地企业应用的但问企业级知识库系统完成相应知识库的构建,并全方位解析相关的技术实现。由生成式AI模型支持的直接问答+聊天,答案由引用和源链接支持。使用最新的NLP模型进行智能文档检索(混合搜索+重新排名)。从自然语言中自动提取时间来源过滤器,以及定制模型来识别用户意图。

一、 但问企业级知识库系统技术分享

二、智能客服问答系统知识库构建

● 智能客服问答系统:实战LangChain如何构建自动响应客户问题的智能系统。

● 数据准备和清洗:准备和清理用于训练知识库的数据。

● 模型训练和优化:使用OpenAI技术来训练和优化智能客服问答系统。

● 集成和部署:将系统集成到您的企业环境中,以提供即时支持。

三、软件测试需求知识库系统构建

● 软件测试需求:构建用于管理和共享项目需求的知识库系统。

● 搜索和导航功能:实现高效的搜索和导航功能,以便快速找到所需信息。

● 整合OpenAI:整合OpenAI技术以提升知识库的智能化程度。

● 实战结合大模型及知识库自动化生成测试用例。

四、软件测试用例知识库系统构建

● 软件测试用例:构建用于管理和执行软件测试用例的知识库系统。

● 用例编写和维护:借助知识库自动化维护测试用例。

● 自动化测试集成:集成自动化测试工具以提高测试效率。

● 报告和分析功能:实战如何自动化生成测试报告和分析测试结果。

● 实战如何结合大模型和知识库生成自动化测试脚本。

五、企业软件缺陷知识库系统构建

● 软件缺陷管理:构建用于跟踪和解决软件缺陷的知识库系统。

● 缺陷报告和分类:有效地报告和分类软件缺陷。

● 缺陷分析和解决:借助大模型分析缺陷并采取措施解决它们。

● 历史追踪和学习:追踪缺陷历史并从中学习,以减少未来的缺陷。



第四部分 企业私有大模型接入及微调实战

探索硬件选型、NVIDIA概念、显卡选型和企业级大模型环境部署。了解如何配置硬件和软件环境,以支持大模型应用的开发和部署。

我们将深入学习ChatGLM3-6B开源大模型的微调实践。首先,我们会进行概念科普,解释预训练、微调以及关键技术背后的原理。你将了解到ChatGLM3-6B和Lora微调的基本概念。接着,我们将介绍如何部署ChatGLM3-6B,包括依赖安装、模型下载、参数调整,以及在Web、API和命令行模式下启动的步骤。然后,我们将深入研究基于LLamaFactory微调ChatGLM3-6B的实践,包括数据准备、参数调整、训练过程和推理结果等。该部分将为你提供全面的实战经验,帮助你掌握在企业领域中利用大模型进行微调的技能,从而应对多样化的业务需求。

一、开源大模型环境部署实战

 ⼤模型核⼼硬件选型指南 

 NVIDIA 概念解惑 

 GPU vs 显卡 

 架构(安培 Amper)vs 产品(数据中⼼) 

 专业级(A100)vs 消费级(4090) 

 CUDA Core vs Tensor Core 

 显卡选型推荐指南 

 显卡性能天梯榜 

 专业级显卡怎么选 

 消费级显卡怎么选 

 AMD 是⼀个选择么? 

 企业级真实大模型环境部署 

● 硬件资源

○ 显卡+内存

 软件环境

 Ubuntu+Cuda+Python+conda+torch+tf

二、ChatGLM3-6B开源大模型微调实战

 概念科普

 什么是预训练?

 ChatGPT背后的关键技术-预训练

 微调和RAG的区别?

 ChatGLM3-6B 是什么?

 Lora 微调是什么?

 ChatGLM3-6B 部署 

○ 安装依赖

○ 下载模型

○ 参数调整

○ Web模式启动

○ API模式启动

○ 命令行模式启动

 基于LLaMA Factory 微调 ChatGLM3-6B

 安装依赖

 准备数据集

 参数调整

 训练

 训练结果推理

 部署微调后模型 

三、Yi-34B开源大模型接入实战

号称能力最强的开源大模型



第五部分 RAG企业级落地应用实战

本部分结合但问企业级私有知识库平台涉及的核心技术进行讲解,涉及大语言模型选择、嵌入模型核心知识、选择及优化、向量数据库选择。RAG关键技术讲解。为企业落地RAG应用提供技术选型及参考。深入理解构建私有知识库的核心技术,实战讲解影响私有知识库输出质量的关键因素,例如嵌入模型、向量数据库、大模型选择等。

一、FastAPI核心应用实战讲解

1.  性能比肩Go和NodeJs

2.  简单高效易学习

3.  交互式文档自动生成

4.  开发速度提高200%至300%

5.  代码重复最小化

6.  减少约 40% 的人为错误

7.  高性能,易于学习,高效编码,生产可用

二、向量数据库应用及选型

1.  VESPA

2.  Chroma

3.  QDrant

4.  PineCone

5.  Weaviate

6.  Milvus

7.  LanceDB

三、嵌入大模型选项及微调

1.  bge-large-zh-v1.5

2.  m3e-large

3.  text2vec-bge-large-chinese

4.  text-embedding-ada-002

四、Celery任务队列讲解

五、连接器应用开发讲解

1.  让现有系统数据接入大模型,实现一站式搜索。

2.  不同数据源连接器实现思路分享

 

第六部分 学习收获

学完本课程,您将成为走在大模型应用前沿的企业紧缺型人才,您将成为大型模型驱动的技术专家。您将掌握利用大型模型的方法,提高测试用例生成效率,增强性能测试能力,实现自动化测试,以及提高测试开发工程师的编程水平和工作效率。大型模型将成为您工作的强力助手,帮助您提高质量、效率和创新水平,为未来的职业发展带来前所未有的可能性。


特别提醒(不限次数听课,永久服务):


不限次数听课,永久服务

  • 报名成功,以下内容全部免费赠送:

    • 赠送ChatGPT官方账号

    • 赠送1000分钟python课

    • NVIDIAV100 8vCPU 32G内存 24G显存资源免费使用

    • 上课期间免费使用https://huice.chat平台及OpenAI接口

    • 限时送10小时4090 GPU算力



别人都在观望时,就是我们持续学习、使用、优化,并超越更多人的最佳时间!

课程咨询及合作意向,请联系万能的助教小姐姐微信:huice666



【声明】内容源于网络
0
0
慧测
专注人工智能前沿技术落地企业实战应用
内容 0
粉丝 0
慧测 专注人工智能前沿技术落地企业实战应用
总阅读0
粉丝0
内容0