
而本地部署能够杜绝这样的情况,通过在本地设备上安装 AI 模型,而不用依赖云端 API 或在线服务,这样就能从根本上解决「服务器繁忙」这种情况。
下面主要介绍两种本地部署方式,一是使用 LM Studio 实现零代码部署,二是基于 Ollama 实现本地部署。
LM Studio:零代码部署




5、现在已经有一个文件夹了,还需要再套娃两个文件夹,并且两个文件夹名字不能是中文和特殊字符;


6、下载模型导入,分享一个模型下载地址:
魔搭:https://www.modelscope.cn/home;

7、搜索模型的时候,需要选择「GGUF」格式的模型才能识别,神经元参数量越高,模型认知也就越强,得出的答案质量也就越高,但对于电脑配置的要求自然也就越高;

8、文件点击与电脑适配的参数量后,发现还有不同版本,家可以根据显存大小进行判断,但最好选择 Q4 及以上的精度;

9、下载完毕之后把模型放进第5步建立好的模型文件夹的最里层(002);




基于 ollama 实现本地部署

2、配置AI模型前,进入 Ollama 官网查看支持的模型及相应的版本,并根据电脑硬件设置,选择合适的模型版本,并复制模型版本后的代码;

3、下载完成安装后,键盘快捷键Win+R打开运行;

4、输入cmd,打开命令提示符,输入第2步中复制的代码,并回车,自动开始下载模型;

5、下载完成后,便可以在这个终端中开始对话了;

6、目前的对话方式不直观,所以需要配置一个好用的前端,前端的选择非常多,我这边选择的是在 Google Chrome 安装一个叫 Page Assist 的插件;

7、这个时候想要本地部署,还需要修改Windows环境变量,找到高级系统设置里的高级选项,选择环境变量;



9、回到 Page Assist 首页,把英文界面改成简体中文,同时选择已经配置好的模型;

10、这个时候就已经可以使用了,如果想要体验联网功能,则还需要来点魔法。

以上两种方式都能实现本地部署,不过到底是选择在线模型,还是本地部署,还是要根据用户自己的实际情况做出选择。

同时,欢迎大家进群
交流更多有关DeepSeek本地部署经验



