大数跨境

企业私有化大模型落地应用实战

企业私有化大模型落地应用实战 慧测
2023-09-22
0
导读:企业私有化大模型落地应用实战2.0

第一部分:ChatGPT&开源大模型综合应用实战

第二部分:大模型应用开发及企业级私有知识库构建

第三部分:企业垂直领域大模型微调实战

第四部分:大模型落地测试用例/性能/自动化/测试开发实战应用

第五部分:大模型开源生态

第六部分:新时代、新场景和新机遇


腾讯文档版课程链接:

https://docs.qq.com/doc/DVGREV2lEWlBoZ1FW

第一部分 

ChatGPT&开源大模型综合应用实战

一、内容介绍

该部分课程将为您提供多维度的实战技能,帮助您在现代职场中脱颖而出。首先,我们将深入研究有效沟通和提问,采用角色扮演和技巧的方法,提高您的沟通技巧。然后,您将学会创建自己的专属智库,包括数据分析、专业写作、软件编程、团队管理、生活求助和高效学习等多领域的知识库系统。此外,我们将教授长篇文章创作的技巧,以及资料整理、翻译、思维导图、PPT制作和营销文案撰写等关键技能。

另一方面,我们还将探索AI工具和插件的实战应用,包括机器学习辅助编程、代码自动生成、代码检查和优化,以及自动化、性能和测试开发核心技能。这些课程将使您具备适应现代工作环境所需的技能,提高您的核心竞争力。无论您是希望在沟通、知识管理还是编程领域取得突破,本课程将为您提供所需的实际技能和知识。


二、文案创作实战

1. 有效沟通与提问

 角色扮演法:学会模拟不同场景下的对话,提高大模型沟通技巧。

 限定作答风格及格式:掌握有效提问和回答的技巧,确保信息传递的准确性。

2. 打造自己的专属智库

 数据分析智库:掌握数据分析技能,以数据为支持进行有力的信息传递。

 专业写作智库:提升写作技能,让你的文字更具吸引力和说服力。

 软件编程智库:轻松学会编程技能,为技术领域的沟通提供有力支持。

 团队管理智库:学习领导和协调团队的方法,提高团队协作效率。

 生活求助智库:获得解决问题和寻求帮助的技能,提高生活质量

 高效学习智库:掌握学习方法,提高知识获取和应用的效率。

3. 长篇文章创作

 角色扮演+架构建立:通过模拟不同角色的思维,构建有深度的文章结构。

 询问有吸引力的标题:学习如何选择引人入胜的标题,吸引读者。

 选定合适的标题,生成大纲:构建清晰的大纲,有序展开文章内容。

 选定合适的大纲,开始详细创作:以大纲为基础,高效地创作长篇文章。

4. 其他关键技能

 资料归纳整理:有效整理信息,提高信息处理能力。

 翻译及知识学习:学会多语言翻译和知识获取的方法。

 生成思维导图:用图形方式展现思维,提高信息传递的效率。

 高效生成PPT:制作引人入胜的演示文稿,提高演示效果。

 高效生成营销文案:撰写令人信服的营销文案,促进产品或服务的成功推广。

三、大模型助力编程实战

1.  AI工具实战

 机器学习辅助编程:了解并掌握如何利用机器学习模型来加速编程,减少错误。

 代码自动生成工具:掌握自动生成代码的工具,提高编写效率。

 代码检查和优化:掌握如何使用AI工具来检查和优化代码,以提高性能和可维护性。

2. AI插件助力自动化、性能及测试开发核心技能

 集成式开发环境:介绍AI驱动的IDE插件,如智能代码建议和自动完成功能,以提高编码速度和质量。

 自动化测试和调试:了解如何利用AI插件来简化测试和调试过程,减少错误。

 自定义工作流程:讨论如何使用AI插件来创建定制化的工作流程,满足您的特定需求。

 测试开发技能提升:学会基于AI插件及大模型助力系统设计及代码实现,轻松应对测试开发相关工作。

 代码性能自动化测试:借助AI插件完成任意代码的性能检测及优化建议。

第二部分 

大模型应用开发及企业级私有知识库构建

一、内容介绍

大模型理论基础: 我们将首先探讨大模型的起源、发展,以及重要的理论基础,包括解码注意力机制和Transformer的崛起。您还将了解到GPT模型家族的演进,从GPT-1到GPT-3.5,以及未来的展望。

大模型应用实战环境部署: 探索硬件选型、NVIDIA概念、显卡选型和企业级大模型环境部署。了解如何配置硬件和软件环境,以支持大模型应用的开发和部署。

大模型应用开发框架实战: 深入了解LangChain项目,包括其起源、价值、基础概念和架构设计。实际参与LangChain开发,学习如何创建和管理大模型抽象、输入抽象、输出结果规范等关键模块。

Flowise拖放界面构建定制化LLM流程实战: 了解如何使用Flowise工具轻松可视化和构建LLM应用程序。实战演示Flowise环境部署和应用场景,包括PDF/Doc文件聊天项目、翻译助手和私有知识库。

大模型应用构建实战: 最重要的是,我们将结合大模型和私有知识库系统,自动化生成测试需求、测试用例以及缺陷分析报告。您将学习构建企业智能客服问答系统、软件测试需求知识库、测试用例知识库和软件缺陷知识库的关键步骤,从而真实提升企业效益和个人工作效率。无论您是开发人员、测试人员还是知识管理专家,本课程将为您提供实用的技能和见解,助您在现代企业环境中脱颖而出。


二、⼤模型理论基础 

 初探大模型:起源与发展 

 预热篇:解码注意力机制(Attention ) 

 变革里程碑:Transformer 的崛起 

 走向不同:ChatGPT 与 Claude 的选择


 GPT 模型家族:从始至今 

 从 GPT-1 到 GPT-3.5:一路的⻛云变幻 

 ChatGPT:神一般的存在

 GPT-4:一个新的开始 


 大模型的未来:开源力量与生态繁荣 

 OpenAI 的宏图:追求无止境 

 开源战场:OpenAI 的挑战者们 

 LangChain:为开发者提供的舞台


 提示词学习(Prompt Learning)

○ 思维链(Chain-of-Thought, CoT):开山之作

○ 思维树(Tree-of-Thoughts, ToT):续写佳话 

○ 提示工程(Prompt Engineering):全新的工作方式 


三、大模型应用实战环境部署

 ⼤模型核⼼硬件选型指南 

 NVIDIA 概念解惑 

○ GPU vs 显卡 

○ 架构(安培 Amper)vs 产品(数据中⼼) 

○ 专业级(A100)vs 消费级(4090) 

○ CUDA Core vs Tensor Core 

● 显卡选型推荐指南 

○ 显卡性能天梯榜 

○ 专业级显卡怎么选 

○ 消费级显卡怎么选 

○ AMD 是⼀个选择么? 


 企业级真实大模型环境部署 

● 硬件资源

○ NVIDIA V100  8vCPU 32G 内存资源免费使用

 软件环境

○ Ubuntu+Cuda+Python+conda+torch+tf


四、⼤模型应⽤开发框架实战 

 LangChain

○ LangChain 项目起源、发展与现状

○ LangChain 的独特价值

○ LangChain 基础概念

○ LangChain 架构设计

○ LangChain 图形化界面:LangFlow

 LangChain 开发全程实战

 LangChain 开发环境

 基于 Miniconda 搭建虚拟环境

 使用 Jupyter Lab 进行交互式开发

 基于google cola环境开发

 LangChain 核心模块

 标准化的大模型抽象:Models

 文本 I/O 的大语言模型:LLMs

 更加结构化的聊天模型:Chat Models

 更具想象力的嵌入模型:Text Embedding Models

 大模型的输入抽象:Prompts

 灵活构造提示词:Prompt Templates

 巧妙植入最佳实践:Example Selectors

 规范化大模型输出结果:Output Parsers

 大模型应用的最佳实践:Chains

 上手你的第一个链:LLM Chain

 动态调用的路由链:Router Chains

 处理超长文本的转换链:Transformation Chain

 面向数据库的问答链:SQL Chain

 实现复杂应用的代理系统:Agents

 动态决策链的执行:Action Agents

 复杂规划的执行链:Plan-and-Execute Agents

 检索非结构化数据的利器:Indexes

 文档加载器:Document Loaders

 文本分割器:Text Splitters

 向量持久化:VectorStores

 向量检索器:Retrievers

 赋予应用记忆的能力:Memory

 大模型原生的回调系统:Callbacks

 LangChain 典型应用剖析

 支持复杂任务处理的自主代理

 基于文档知识的问答助理

 基于⻓短期记忆的聊天机器人

 基于指定 GitHub Repo 的代码解析


 Flowise 拖放界面构建定制化LLM流程实战

 轻松可视化和构建LLM应用程序

 Flowise环境部署实战

 Flowise大模型PDF/Doc文件聊天项目实战

 Flowise 大模型翻译助手实战

 Flowise 私有知识库项目实战


五、基于OpenAI&开源大模型构建企业级私有知识库

    结合大模型及私有知识库系统,自动化快速生成测试需求、测试用例及缺陷分析报告。真实提升企业效益及个人工作效率。


 企业智能客服问答系统知识库构建

 智能客服问答系统:了解如何构建自动响应客户问题的智能系统。

 数据准备和清洗:探讨如何准备和清理用于训练知识库的数据。

 模型训练和优化:介绍如何使用OpenAI技术来训练和优化智能客服问答系统。

 集成和部署:了解如何将系统集成到您的企业环境中,以提供即时支持。


 软件测试需求知识库系统构建

 软件测试需求:讨论如何构建用于管理和共享项目需求的知识库系统。

 搜索和导航功能:探讨如何实现高效的搜索和导航功能,以便快速找到所需信息。

 安全和权限控制:了解如何保护敏感信息,并管理用户权限。

 整合OpenAI:介绍如何整合OpenAI技术以提升知识库的智能化程度。

 实战结合大模型及知识库自动化生成测试用例。


 软件测试用例知识库系统构建

 软件测试用例:了解如何构建用于管理和执行软件测试用例的知识库系统。

 用例编写和维护:介绍如何借助知识库自动化维护测试用例。

 自动化测试集成:探讨如何集成自动化测试工具以提高测试效率。

 报告和分析功能:实战如何自动化生成测试报告和分析测试结果。

 实战如何结合大模型和知识库生成自动化测试脚本。


 企业软件缺陷知识库系统构建

 软件缺陷管理:介绍如何构建用于跟踪和解决软件缺陷的知识库系统。

 缺陷报告和分类:探讨如何有效地报告和分类软件缺陷。

 缺陷分析和解决:了解如何分析缺陷并采取措施解决它们。

 历史追踪和学习:讨论如何追踪缺陷历史并从中学习,以减少未来的缺陷。


第三部分 

企业垂直领域大模型微调实战


一、内容介绍

这一部分,我们将深入探讨ChatGLM2-6B和Baichuan2-13B两个开源大模型的微调实践。首先,我们会进行概念科普,解释预训练、微调以及关键技术背后的原理。你将了解到ChatGLM2-6B和Lora微调的基本概念。接着,我们将介绍如何部署ChatGLM2-6B,包括依赖安装、模型下载、参数调整,以及在Web、API和命令行模式下启动的步骤。然后,我们将深入研究基于PEFT微调ChatGLM2-6B的实践,包括数据准备、参数调整、训练过程和推理结果等。同样,我们也会涵盖Baichuan2-13B的微调,包括运行环境部署和LLaMA Efficient Tuning的步骤。这个课程将为你提供全面的实战经验,帮助你掌握在企业领域中利用大模型进行微调的技能,从而应对多样化的业务需求。

二、ChatGLM2-6B开源大模型微调实战

 概念科普

 什么是预训练?

 ChatGPT背后的关键技术-预训练

 什么是微调?

 ChatGLM2-6B 是什么?

 Lora 微调是什么?

 ChatGLM2-6B 部署 

 安装依赖

 下载模型

 参数调整

 Web模式启动

 API模式启动

 命令行模式启动

 基于PEFT 微调 ChatGLM2-6B

 安装依赖

 准备数据集

 参数调整

 训练

 训练结果推理

 部署微调后模型 

三、Baichuan2-13B开源大模型微调实战

 Baichuan2运行环境部署 

 安装依赖

 下载模型

 参数调整

 Web模式启动

 API模式启动

 命令行模式启动

 基于LLaMA Efficient Tuning 微调 Baichuan2

 安装依赖

 准备数据集

 参数调整

 训练

 训练结果推理

 微调后模型导出


第四部分 

大模型落地测试用例/性能/自动化/测试开发实战应用


一、内容介绍

本部分将深入探讨如何利用大型模型的威力,以提升现代软件测试的质量、效率和创新力。我们将详细研究大型模型如何自动生成测试用例、助力性能测试、支持自动化测试,并协助测试开发工程师提高编程水平和工作效率。无论您是测试工程师、开发人员还是测试开发专家,本课程都将为您提供丰富的实用技能和策略,以应对当今复杂的软件测试挑战。

二、大模型自动生成测试用例

1.  测试用例生成的复杂性:探讨传统测试用例编写的繁琐性和大模型如何应对。

2.  自动测试用例生成原理:深入了解大型模型如何利用预训练模型、自然语言处理技术以及测试用例设计原则来自动生成高质量测试用例。

3.  实战案例:展示大型模型如何生成多种类型的测试用例,包括功能测试、性能测试、边界测试和异常测试,并演示测试用例的有效性验证。


三、大模型在性能测试中的应用

1.  性能测试的价值:介绍性能测试在软件开发生命周期中的关键作用,包括发现性能瓶颈和优化机会。

2.  大模型协助性能测试:详解大型模型如何协助模拟大规模用户负载、执行负载测试以及分析性能数据。

3.  实战案例:演示大型模型在性能测试中的应用,包括负载模拟、性能指标监控、性能问题排查和优化建议。


四、大模型与自动化测试

1.  自动化测试的优势:探讨自动化测试对于持续集成和交付的重要性,以及如何减少人工测试的工作量。

2.  大模型辅助自动化测试:介绍大型模型如何协助自动化测试脚本的编写、维护和执行,包括UI自动化、API自动化和性能测试脚本。

3.  实战案例:展示大型模型与自动化测试工具的集成,提高测试覆盖率、测试自动化程度,减少回归测试的工作量。


五、 大模型在测试开发中的应用

1.  测试开发工程师的角色:深入了解测试开发工程师在测试流程中的关键职责,

包括测试框架开发、测试脚本编写、CI/CD集成等。

2.  大模型支持测试开发:详细介绍大型模型如何协助测试开发工程师加速测试用例设计、自动化脚本编写、性能测试工具开发以及持续集成集成。

3.  实际案例:分享测试开发工程师如何利用大型模型提高工作效率、测试脚本复用性,以及提升编程水平的经验和实际项目应用。


六、成功案例与项目实践

1.  成功案例分享:探索大型模型在实际项目中的成功应用,包括测试用例生成、性能测试、自动化测试以及测试开发领域的项目案例。

2.  项目实践与演练:参与实际项目演练,将课程中所学应用到实际情景中,加深理解并获取实际操作经验。


七、项目总结

通过本课程,您将成为走在大模型应用前沿的企业紧缺型人才,您将成为大型模型驱动的软件测试领域的专家。您将掌握利用大型模型的方法,提高测试用例生成效率,增强性能测试能力,实现自动化测试,以及加强测试开发工程师的编程水平和工作效率。大型模型将成为您测试工作的强力助手,帮助您提高质量、效率和创新水平,为未来的软件测试带来前所未有的可能性。


第五部分 

大模型开源生态

一、  ⼤模型排⾏榜与基准测试 

二、 ⼤模型横向对⽐
1、  ChatGPT3.5
2、  OpenAI GPT-4 
3、  Facebook LLaMA 
4、  Stanford Alpaca 
5、  Tsinghua ChatGLM 
6、  MOSS
7、  悟道
8、  百川
9、  ......

三、  ⼤模型时代的 GitHub:Hugging Face

四、  使用Hugging Face托管你的LLMs应用

第六部分 

新时代、新场景和新机遇

一、  新时代

 范式的缔造者:Sam Altman 和 OpenAI
 新时代:宏观发展格局
 新时代:中国机会 & 你的机会
 新时代:OpenAI生态快速形成
 新时代:开发堆栈雏形高速发展
 新时代:新产业发展不断加速(海外)
 新时代:新产业发展不断加速(国内)

二、  AIGC发展趋势

    充满想象的 AIGC 时代,企业如何抓住机遇实现双效提升?要说2023年科技圈顶流话题,非 AIGC(AI-generated Content,人工智能生成内容)莫属。当前,以 GPT 模型为代表的 AIGC 正在持续渗透各行各业,持续激发着人们的想象力与创造力,推动数字内容领域的全新变革。相信你可以抓得住。

特别提醒(不限次数听课,永久服务):

  • 不限次数听课,永久服务
  • 报名 成功,以 下内 容全 送:
    • 赠送ChatGPT官方账号
    • 赠送1000分钟python课
    • NVIDIAV100 8vCPU 32G内存 24G显存资源免费使用
    • 上课期间免费使用https://huice.chat平台及OpenAI接口
    • 赠送全网首创价值2199的[LangChain大模型应用测试开发]视频课程

别人都在观望时,就是我们持续学习、使用、优化,并超越更多人的最佳时间
课程咨询及合作意向,请联系万能的助教小姐姐微信:huice666



【声明】内容源于网络
0
0
慧测
专注人工智能前沿技术落地企业实战应用
内容 404
粉丝 0
慧测 专注人工智能前沿技术落地企业实战应用
总阅读104
粉丝0
内容404