大数跨境

重磅更新:一键本地化部署 DeepSeek-R1-671b大模型+企业级智能体平台

重磅更新:一键本地化部署 DeepSeek-R1-671b大模型+企业级智能体平台 LinkAI平台
2025-02-14
2
导读:基于 LinkAI 平台私有化版本轻松部署 DeepSeek 等开源模型,并搭配企业本地知识库、数据库使用

💡 关注我们,第一时间获取产品更新和相关资讯。

DeepSeek 以其卓越的性能和开放性受到越来越多关注的同时,广大企业客户也希望能够用一款低门槛、极易用的大模型 Agent 平台,充分发挥 DeepSeek大语言模型的能力来搭建强大且服务稳定的智能体,并融入企业场景发挥价值。

现在,你可以基于LinkAI企业级智能体平台私有化服务一键本地部署DeepSeek各尺寸模型,并直接用于搭建智能体,无需任何中间件和脚手架,构建企业专属的、本地的一体化AI应用平台。

通过本文,你可以轻松实现:产品化界面下载和部署模型、精细化的企业级  LLMOps 能力、不联网本地运行的 DeepSeek 大模型+智能体搭建平台。


一、环境准备

本文以部署 deepseek-r1-671b 完整参数模型为例,所用环境如下:

1. 硬件环境

  • GPU:8 * A800

  • 显存:8 * 80G

  • CPU:112核

  • 内存:224G


显卡信息-nvidia-smi


我们使用了8张A800显卡进行部署作为演示, 实际线上使用时可根据用户访问量进行相应扩展。

* 以上环境不包含运行 LinkAI 私有化版本的服务器资源

2. 软件环境

  • 软件版本:PyTorch 2.6.0    CUDA: 12.4

  • LinkAI 私有化版(含模型DeepSeek-r1-671b下载能力)


二、模型部署

运行部署在企业本地服务器的 LinkAI 私有化版本,进入模型管理功能菜单,支持在最新的主流开源大模型中选择需要部署的模型。

除 DeepSeek-R1 的 671B 模型外,还支持 1.5B~70B 的蒸馏版本,同时支持 Qwen、Llama 等各种不同参数大小的开源模型,企业也可根据自己实际需求和机器资源条件选择其他不同参数的模型。

选择模型,连接 GPU 服务器地址,点击部署后将从模型仓库自动下载,下载完成后会自动运行模型。


选择开源模型一键部署


可在产品页面直接监控模型的运行状态,并支持对其进行下线、上线和删除等操作。

无需专业的运维人员,也能轻松构建起企业内人人可用的本地化开源模型管理能力。


模型自动下载运行


通过 LinkAI 私有化版本部署模型,仅下载模型时需联网。下载完成后,开源模型将运行在企业本地的 GPU 服务器,通过运行在在企业本地 CPU 服务器的 LinkAI 可直接管理部署了大模型的服务器。

至此,全尺寸的 DeepSeek R1 大模型本地部署完成,毫无难度,轻松丝滑有没有?🥳


三、开始使用

1. 搭建 AI 应用或工作流

LinkAI 是一站式智能体搭建与接入平台,支持构建具备知识库、数据库、个性化插件工具的 AI Bot 或 AI WokFlow 智能体。

部署完成后,你可以在应用配置中选择 DeepSeek 模型,根据需求编写 Prompt ,开启知识库检索、联网搜索或图像识别等能力,完成后即可开始对话。


应用配置-模型配置


工作流的「大模型」节点中选择 DeepSeek 模型,结合工作流强大的编排能力(联网搜索、知识库检索、图像识别、文件处理、消息推送、http请求等),构建企业级专属智能体


工作流编排-大模型节点配置


2. 知识库对话 & 自然语言数据BI

配置完成后,可在本地环境的网页端直接对话。网页端使用时,原生支持展示 R1 模型的深度思考过程,如有需要,还可结合联网搜索能力进行问答。


智能体对话-联网搜索 & DeepSeek深度思考


基于 LinkAI 私有化版本,你还可以使用完全存储在本地的知识库,让 DeepSeek 模型具备 RAG 问答的能力


智能体对话-基于DeepSeek和本地企业知识库问答


此外,还可通过 LinkAI 的数据库连接能力,实现对话式数据分析,AI能够智能地分析用户提问的意图,识别和选取正确的数据库,自动生成数据查询 SQL 语句并执行,对查询结果进行分析统计并生成图表和结论。


智能体对话-基于DeepSeek和企业数据库进行数据分析



也可将智能体接入企业微信、钉钉、飞书、公众号、公司网站等渠道端进行使用,或通过 API 调用智能体的对话能力(详情可参考:接口文档)。


智能体对话-将智能体接入渠道端使用


3. 企业级平台管理能力

LinkAI 平台具备完善的企业级管理能力,除模型管理外,还支持对企业内部成员进行角色配置、权限管理,可满足精细化的企业管控需求。


企业空间-角色权限管理



四、性能测试

模型运行时,可在运行大模型的本地服务器上通过命令查看当前 GPU 使用情况。


模型调用时的GPU使用情况


未进行性能调优的情况下,测试不同并发下的文本生成速率。经过测试,搭载了8*A800显卡的服务器在运行 DeepSeek-r1-671b 的速度性能情况如下表:

并发请求数 平均每个请求的token生成速率(tokens/s/req)
1 18.83
4 8.81
8 5.14
16 2.89
32 1.24
64 0.79
* 实际投产使用时,可通过性能优化进一步提升 GPU 使用效率,提升并发能力
写在最后

基于私有化版本的 LinkAI 产品,企业可以轻松构建起一套由本地化 DeepSeek 模型驱动的智能体平台,其丰富完善的一体化应用能力,可将卓越模型能力发挥至极致。

重要的是,企业可在全内网环境下不联网离线运行平台和模型能力,充分保障了企业的数据安全。
企业客户可联系 LinkAI 产品顾问咨询:👉 添加客服咨询

在线体验 LinkAI平台 SaaS版 DeepSeek-671b 模型对话:👉 体验入口





LinkAI —— 更适合企业的领先AI智能体平台


点个“在看”吧!▼

【声明】内容源于网络
0
0
LinkAI平台
领先的一站式AI Agent平台,可零代码快速构建企业级AI智能体,轻松嵌入多种渠道,落地丰富业务场景。官网:link-ai.tech
内容 43
粉丝 0
LinkAI平台 领先的一站式AI Agent平台,可零代码快速构建企业级AI智能体,轻松嵌入多种渠道,落地丰富业务场景。官网:link-ai.tech
总阅读0
粉丝0
内容43