大数跨境

Deepseek 解放思想,私有化本地部署….

Deepseek 解放思想,私有化本地部署…. 云驰纳联
2025-02-14
1
导读:Deepseek 解放思想,私有化本地部署….DeepSeek开源其技术R1模型,旨在促进知识共享和技术进步,通过开放协作推动人工智能领域的创新和发展。开源还可以增强透明度,让社区共同改进和优化技术,

迎点击公众号并关注,了解更多混合办公生态及Microsoft基础架构相关知识。

        中国的深度求索(DeepSeek)公司开发的智能助手DeepSeek-V3。DeepSeek开源其技术,如R1模型,旨在促进知识共享和技术进步,通过开放协作推动人工智能领域的创新和发展。开源还可以增强透明度,让社区共同改进和优化技术,同时为开发者提供学习和实验的平台。

私有化版本的DeepSeek R1现已托管在Hugging face上,支持8B、14B、32B

链接:https://huggingface.co/huihui-ai

https://huggingface.co/huihui-ai

        

可能有人会觉得私有化本地部署版没有官方版聪明,这是一个比较大的误解,官方版可是671B的,普通人是跑不起来的,大多数人能本地运行的都是7b、8b、14b、32b这几大类型的模型,是被蒸馏压缩过的,无法直接和671B相比,但是自己本地使用已足够。

当然如果你有高级的硬件配置,你可以直接上70B的, 在Ollama 

https://ollama.com/huihui_ai/deepseek-r1-abliterated:70b

本地部署版步骤

   

  1. 下载并安装Ollama 【ollama.com/download


  2. 在CMD终端下通过命令下载DeepSeek 本地部署

    (主机配置可以根据性能自己配置需要部署的模型版本,目前最高阶的是70b)

    7b
    ollama run huihui_ai/deepseek-r1-abliterated:7b
    8b
    ollama run huihui_ai/deepseek-r1-abliterated:8b
    14b
    ollama run huihui_ai/deepseek-r1-abliterated:14b
    32b
    ollama run huihui_ai/deepseek-r1-abliterated:32b
    70b
    ollama run huihui_ai/deepseek-r1-abliterated:70b

    下图为32b模型体积

    下图为70b版本私有化部署

  3. 如果需要安装 Web UI就可以本地调用 deepseek r1 私有版 AI 大模型

https://chromewebstore.google.com/detail/page-assist-a-web-ui-for/jfgfiigpkhlkbnfnbobbkinehhfdhndo

如需卸载:

ollama rm <模型名称>

【声明】内容源于网络
0
0
云驰纳联
北京云驰纳联官方
内容 23
粉丝 0
云驰纳联 北京云驰纳联官方
总阅读17
粉丝0
内容23