大数跨境
0
0

DeepSeek本地部署怎么做,别再被割韭菜了,踩坑点、免费教程通通上!

DeepSeek本地部署怎么做,别再被割韭菜了,踩坑点、免费教程通通上! 中广数科集团
2025-02-20
0

前几天小编已经给大家写了关于DeepSeek官网服务器繁忙可以使用第三方平台解决的相关文章,今天给大家再提供一个解决方案——本地部署,这样就算是电脑没联网也可以放心使用!


在做本地部署时有哪些踩坑点,后文会提到,跟上步伐,仔细阅读哦~


废话不多说,直接上教程

1

第一步:下载安装Ollama

图片
图片

Ollama: 

在本地运行 Mistral、Llama 3.3、DeepSeek R1 等大语言模型的开源工具。


主要优势:

一行命令搞定大模型部署;

完全本地运行,保护隐私;

支持 Mac、Windows、Linux 系统,快速上手;

响应速度快,支持GPU加速(GPU英文全称Graphic Processing Unit,中文翻译为“图形处理器”。我们通常就叫它显卡)。

 

官方网址:https://ollama.com/

图片
图片



登录Ollama官方网站,点击“Download”,进入下载页,有3个版本:Mac,Linux,Windows版本。为普及使用,小编选择下载Windows版本,后文教程均为Windows版本本地化安装和部署。

注意:Ollama的仅支持Windows10或更高的版本。


如果出现官网下载速度巨慢或者页面打不开等问题,可以使用加速器


海豚加速器


加速器里搜索DeepSeek,点击一键加速,加速DeepSeek以后点击右边的Ollama一键下载,你会发现下载速度超快。


下载完成之后,安装,默认安装C盘。


验证是否安装成功


快捷键“ Windows+R ”, 打开“cmd”命令窗口,“确定

跳出上图窗口,在终端输入“ollama -v

出现版本号“ollama version is 0.5.7”,即为安装成功


2

第二步:下载DeepSeek模型

图片


再次进入Ollama的官网主页,点击“Models”,选择“deepseek-r1


进入到deepseek模型的下载主页,deepseek-r1目前主要有1.5b、7b、8b、14b、32b、70b、671b,这几种不同量级的开源模型。开源模型参数量越大意味着你得到的回答的质量也就越高,所需要的GPU资源也就越高。


这里给大家一个相关配置表供参考:


只要 GPU 等于或超过 VRAM 要求,模型仍然可以在规格较低的 GPU 上运行。


在此小编建议安装7b以上的版本,后文会给大家展示1.5b与14b两种不同参数,对话效果有何区别。

踩坑提示:在此先建议大家可不必安装1.5b版本,后文会提到原因图片


帮大家踩坑,小编先选了1.5b版本,确认模型之后,把对应命令“ollama run deepseek-r1:1.5b”复制粘贴到cmd终端,回车,等待模型下载完成,自动运行。


当看到出现“success”的提示时,恭喜你,已经完成deepseek本地版部署啦。


再用同样的操作安装14b版本,安装14b版本很明显时间要久一些,请耐心等待~


我们用1.5b版本来试下与AI的对话效果,在终端输入你的对话内容,如:“你是美食博主,请写一个夏日清爽食谱的公众号文章用,轻松愉快快的语言风格进行书写”,来看看效果:


这个方法对性能要求很低,但需要熟悉命令行操作,模型的兼容性也有限,更适合进阶开发者实现高级操作。


对初级者来说,在终端使用这种命令行式的方式进行对话,体验不太好。所以在这里小编要推荐第三方工具,使得我们与AI的对话页面能实现DeepSeek官网中的对话样式。


     这个时候我们还没感觉到1.5b版本坑在哪,接下来安装第三方工具再进行测试就清楚啦~

3

第三步:下载安装第三方工具Cherry Studio

图片


图片
图片

Cherry Studio: 

是一款开源的多模型桌面客户端,支持 Windows、macOS 和 Linux 系统,可集成 OpenAI、DeepSeek、Gemini 等主流 AI 云服务及本地模型。通过 Ollama API,Cherry Studio 能高效调用本地模型,实现数据隐私保护和快速响应。用户可以方便地切换不同模型,进行多模型对话,适合写作、编程、设计等多领域,并实现窗口式的大模型对话效果

 

官方网址:https://cherry-ai.com/

图片
图片



下载客户端,进行安装,安装完成后,点击左下角“设置”,“模型服务”选择“Ollama”。


右上角开关打开,再点击“管理


弹出如下界面:

再添加前面下载的deepseek模型,然后回到首页的对话界面,这时就可以和deepseek进行对话了


4

第四步:模型测试

图片

我们来测试两个模型对话效果有什么区别,给AI一个小题目测试一下回答的效果。举一个简单的题目:一个挂钟敲六下要30秒,敲12下要几秒?正确答案是66秒


首先选择1.5b这个模型进行对话。可以看出回答速度非常快,但输出的答案很啰嗦,答案也不准确,很容易误导人。这就是小编前文为何建议大家可不必安装1.5b的原因图片


后面还有一大串的回答,我有点无语图片,这里小编就不截图出来了~


接下来再看一下14b模型的结果,回答得很简洁,而且结果正确。


5

总结

图片

由此我们也可以得出,参数量越多的模型,回答的质量也就越高、越准确。不过,即使你使用了70b参数的版本,它也不是官网使用的deepseek r1,因为官网使用的是671b的纯血版deepseek。


在本地运行该模型,至少需要4块80G显存的A100显卡这个对于个人来说成本太高。所以,我们在本地运行选择缩小版模型。


对于个人使用来说,8b、14b、32b的版本其实已经完全够用了,特别是在断网的情况下,它依然可以正常工作,而且不会出现服务器繁忙的情况。这一点是在线版本无法比拟的哦。


今天的干货输出到这~

希望以上提到的踩坑点与部署教程对你有帮助哦~


如果你对AI应用感兴趣,可以扫描添加文章开头的二维码,添加老师微信沟通哦



END


码联系
庆中广数科科技集团有限公司
全国服务热线:400-033-6996
客服电话:18983989659




人工智能应用平台系统服务商
以技术赋予能力  用创新超越界限
 

【声明】内容源于网络
0
0
中广数科集团
中广数科集团,专注于人工智能应用平台领域。深耕 AI 技术创新研发与场景落地,打造全栈式 AI 赋能体系。面向政务、教育、企业等关键领域,提供数字化转型全周期智能方案,用科技赋能,驱动行业创新发展。
内容 287
粉丝 0
中广数科集团 中广数科集团,专注于人工智能应用平台领域。深耕 AI 技术创新研发与场景落地,打造全栈式 AI 赋能体系。面向政务、教育、企业等关键领域,提供数字化转型全周期智能方案,用科技赋能,驱动行业创新发展。
总阅读47
粉丝0
内容287