大数跨境
0
0

DeepSeek一直在崩?轻松教你实现本地部署

DeepSeek一直在崩?轻松教你实现本地部署 汇智智能体
2025-02-18
0
在回答问题和实际应用上, DeepSeek 确实做到了同类型推理模型的表现最佳。
然而,在其出圈之后, Deepseek 就一直在经历拥堵,联网搜索功能间歇性瘫痪,深度思考模式则高频率提示「服务器繁忙,请稍后再试」。

而本地部署能够杜绝这样的情况,通过在本地设备上安装 AI 模型,而不用依赖云端 API 或在线服务,这样就能从根本上解决「服务器繁忙」这种情况。

下面主要介绍两种本地部署方式,一是使用 LM Studio 实现零代码部署,二是基于 Ollama 实现本地部署。

LM Studio:零代码部署

官网:https://lmstudio.ai
1、根据电脑操作系统(Windows、macOS 或 Linux)下载适合的版本,接下来我主要以Windows做演示;

2、下载完成安装后,来到LM Studio登陆界面,点击登陆;

3、登陆后发现为纯英文界面,点击右下角的齿轮图标把语言改成简体中文;

4、点击左侧菜单栏第三个图标,进入根目录;

5、现在已经有一个文件夹了,还需要再套娃两个文件夹,并且两个文件夹名字不能是中文和特殊字符;

具体如下所示,至此,模型框架基本已经部署完成;

6、下载模型导入,分享一个模型下载地址:

魔搭:https://www.modelscope.cn/home;

7、搜索模型的时候,需要选择「GGUF」格式的模型才能识别,神经元参数量越高,模型认知也就越强,得出的答案质量也就越高,但对于电脑配置的要求自然也就越高;

8、文件点击与电脑适配的参数量后,发现还有不同版本,家可以根据显存大小进行判断,但最好选择 Q4 及以上的精度;

9、下载完毕之后把模型放进第5步建立好的模型文件夹的最里层(002);

10、返回 LM Studio 对话页面,点击选择加载模型,就可以使用了!

基于 ollama 实现本地部署

官网:https://ollama.com/
1、根据电脑操作系统(Windows、macOS 或 Linux)下载适合的版本,依旧以Windows做演示;

2、配置AI模型前,进入 Ollama 官网查看支持的模型及相应的版本,并根据电脑硬件设置,选择合适的模型版本,并复制模型版本后的代码;

3、下载完成安装后,键盘快捷键Win+R打开运行;

4、输入cmd,打开命令提示符,输入第2步中复制的代码,并回车,自动开始下载模型;

5、下载完成后,便可以在这个终端中开始对话了;

6、目前的对话方式不直观,所以需要配置一个好用的前端,前端的选择非常多,我这边选择的是在 Google Chrome 安装一个叫 Page Assist 的插件;

7、这个时候想要本地部署,还需要修改Windows环境变量,找到高级系统设置里的高级选项,选择环境变量;

8、新建用户变量& 系统变量,变量名:set OLLAMA_HOST ,变量值 0.0.0.0 ,并最终确定;

9、回到 Page Assist 首页,把英文界面改成简体中文,同时选择已经配置好的模型;

10、这个时候就已经可以使用了,如果想要体验联网功能,则还需要来点魔法。

以上两种方式都能实现本地部署,不过到底是选择在线模型,还是本地部署,还是要根据用户自己的实际情况做出选择。

同时,欢迎大家进群

交流更多有关DeepSeek本地部署经验

【声明】内容源于网络
0
0
汇智智能体
让AI力量成为每个人的天赋!
内容 179
粉丝 0
汇智智能体 让AI力量成为每个人的天赋!
总阅读176
粉丝0
内容179