前言

为什么要离线部署，好处有: 1.数据安全，可以部署自己私有大模型，避免数据泄露。2.可以进行功能定制，实现更多自定义的功能。3.随时随地可用，无需联网。

之前给大家分享利用python代码来部署DeepSeek-R1模型: 【好强！在数学领域 1.5B参数超过GPT-4o!】Deepseek-R1开源啦！本文实战部署推理代码，效果着实惊艳！由不少小伙伴反馈说python代码需要配置各种库环境比较麻烦，有没有傻瓜式的部署方式，有！

今天我将手把手带大家部署大模型(以DeepSeek R1大模型为例子)，分别实操部署在linux端、windows端 、手机安卓端；下面进入今天的主题~

本文目录

• linux端部署: DeepSeek-R1离线部署到电脑linux系统

• ollama支持的显卡型号介绍

• 第1步: 下载ollama

• 第2步: 下载DeepSeek-R1大模型

• 第3步: 运行DeepSeek-R1大模型进行推理聊天

• windows系统部署: DeepSeek-R1离线部署到电脑windows系统

• 第1步: 下载ollama.exe软件到本地进行安装

• 第2步：修改ollama的路径和模型路径

• 第3步：下载DeepSeek-R1模型

• 第4步：运行DeepSeek-R1 蒸馏1.5B模型进行推理聊天

• 安卓手机离线部署: DeepSeek-R1离线部署到安卓手机上

• 第1步: 下载termux软件

• 第2步: 配置ollama软件运行环境

• 第3步:下载deepseek-R1模型

• 第4步:运行DeepSeek-R1 蒸馏1.5B模型进行推理聊天

• 参考链接

linux端部署: DeepSeek-R1离线部署到电脑linux系统

本文主要是使用ollama在linux端、windows端、安卓端分别实现离线部署大模型，以DeepSeek-R1大模型为例;也可以是其他大模型。如果你有显卡资源当然是最好的，可以对模型进行加速！

ollama支持的显卡型号介绍

A卡支持的型号汇总

目前ollama关于AMD显卡支持的型号如下:

N卡支持的型号汇总

cuda支持的显卡:Ollama 支持计算能力 5.0 及以上的 Nvidia GPU;如何查看自己的显卡对应的计算能力，可以查看nvidia的官网:https://developer.nvidia.com/cuda-gpus

第1步: 下载ollama

!sudo apt install pciutils  lshw -y
!curl -fsSL https://ollama.com/install.sh | sh # 执行该命令会自动安装ollama，会自动检查是否存在GPU资源。
!ollama -v

安装完成后，输出对应的版本信息如下:

第2步: 下载DeepSeek-R1大模型

你可以下载其他任何大模型，这里以deepseek-ai/DeepSeek-R1-Distill-Qwen-7B模型为例子,详情见:https://hf-mirror.com/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.

!ollama serve & #开启ollama服务默认后台运行

!ollama pull deepseek-r1:7b #如何查找对应ollama模型名称, 查看网址:https://ollama.com/library/deepseek-r1:1.5b
!ollama list

安装完成后，输出的效果如下:

查看 deepseek-r1:7b模型的信息:

第3步: 运行DeepSeek-R1大模型进行推理聊天

方式1: 在命令行中直接进行对话聊天

# 直接在命令行中输入
ollama run deepseek-r1:7b

就可以直接进行对话聊天啦

方式2: 通过openai库来进行调用DeepSeek-R1大模型进行推理聊天

!pip install openai
"""
首先确保ollama serve命令已经启动，可以通过下面的命令验证
# 方式1:
!lsof -i -P -n | grep ollama
# 输出的结果如下:
ollama    452 root    3u  IPv4  49029      0t0  TCP 127.0.0.1:11434 (LISTEN)
ollama    452 root   17u  IPv4  54015      0t0  TCP 127.0.0.1:11434->127.0.0.1:56014 (ESTABLISHED)

# 方式2
!curl http://127.0.0.1:11434/
# Ollama is running
"""
from openai import OpenAI 
def ollama_deepseek_r1_infer(query):
    client = OpenAI(
        base_url = 'http://127.0.0.1:11434/v1', # 注意这块ollama serve 启动默认的地址和端口
        api_key='ollama', # required, but unused
    )
    response = client.chat.completions.create(
      model="deepseek-r1:7b",
      messages=[
         {"role": "user", "content": query}
      ],
      temperature=0.7,
        top_p=0.8,
        max_tokens=4096,
        extra_body={
            "repetition_penalty": 1.05,
        },
        stream=True# 启用流式响应
    )
    # 逐块打印响应
    for chunk in response:
        if chunk.choices[0].delta.content:  # 检查是否有内容
            print(chunk.choices[0].delta.content, end="", flush=True)

执行的效果如下:

就可以尽情的玩耍啦！如果你有更多的内存和显卡资源，可以下载8B,32B等更大版本的模型~

windows系统部署: DeepSeek-R1离线部署到电脑windows系统

这里给大家介绍如何快速将 DeepSeek-R1大模型部署在windows系统中。

第1步: 下载ollama.exe软件到本地进行安装

进入https://ollama.com/download/windows页面，点击download进行下载，注意需要windows10及以上的系统；下载完成后，点击安装。注意这块软件默认安装是在C盘。下载的模型权重也在C盘。

第2步：修改ollama的路径和模型路径

为了长久使用ollama,需要将ollama路径移动到其他盘路径下; 步骤如下；

将默认安装C盘的ollama路径移动到其他盘中

1. 找到已安装好ollama软件对应的路径，将其整体剪切复制到F:\ollama下面(你可以切换到其他盘)

添加环境变量 ：

• 右键点击“此电脑”或“我的电脑”，选择“属性”。
• 进入“高级系统设置” -> “环境变量”。
• 在“系统变量”部分，找到 Path，点击“编辑”。
• 添加一个新的路径，指向 Ollama 的解压目录（例如 D:\Ollama）。
• 点击“确定”保存更改。

修改ollama模型下载的路径

Ollama 默认会将模型文件存储在系统的用户目录下（例如 C:\Users<用户名>.ollama）。如果你希望修改模型存储路径，可以按照以下步骤操作：

• 创建新的存储目录 ：在目标磁盘上创建一个新的文件夹，例如 D:\Ollama\Models。
• 设置环境变量 ：

1. 按照上述方法进入“环境变量”设置。
2. 新建一个系统变量，名称为 OLLAMA_MODELS，值为你希望的模型存储路径（例如 D:\Ollama\Models）。
3. 点击“确定”保存。
4. 验证配置 ：启动 Ollama 并加载模型时，检查新路径是否生效。这是我修改的位置:

第3步：下载DeepSeek-R1模型

你可以下载其他任何大模型，这里以deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B模型为例子,详情见:https://hf-mirror.com/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B. 打开windows系统的cmd命令窗口;

拉取deepseek-r1:1.5b模型:

!ollama pull deepseek-r1:1.5b
!ollama list

执行的效果如下:

第4步：运行DeepSeek-R1 蒸馏1.5B模型进行推理聊天

!ollama run deepseek-r1:1.5b --verbose

在windows下执行的效果，可以看出1.5B的模型在我windows电脑上，每秒平均37个token.

到此就可以愉快的玩耍啦~

安卓手机离线部署: DeepSeek-R1离线部署到安卓手机上

这里我将给大家介绍如何将DeepSeek-R1大模型部署到安卓手机上，这里主要是利用termux+ollama来实现部署到安卓手机中。

第1步: 下载termux软件

访问https://github.com/termux/termux-app/releases/tag/v0.118.1页面，下载termux-app_v0.118.1+github-debug_arm64-v8a.apk;我这边是之前的旧手机Redmi Note 7pro;

第2步: 配置ollama软件运行环境

访问手机目录

# 在termux中访问手机的目录文件
termux-setup-storage
ls storage/downloads/

在termux中执行的效果，这是我手机的Download下对应的文件

安装对应的运行环境

# 先来安装proot-distro
pkg install proot-distro

# 使用proot-distro安装一个ubuntu
proot-distro install ubuntu
# 安装成功后通过login命令就直接进入ubuntu，为发行版启动一个root shell
#proot-distro login ubuntu
proot-distro login ubuntu --bind "${HOME}/storage:/mnt/storage"

执行完成后，可以看出其已经成功进入ubuntu虚拟环境中并具备root全智贤

安装ollama软件

curl -fsSL https://ollama.com/install.sh | sh

ollama  serve & #让ollama服务在后台运行
# 安装完毕可以查看ollama版本进行验证，出现版本号之后就可以使用ollama
ollama -v

最后输出的效果:

第3步:下载deepseek-R1模型

你可以下载其他任何大模型，这里以deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B模型为例子,详情见:https://hf-mirror.com/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B.拉取deepseek-r1:1.5b模型:

!ollama pull deepseek-r1:1.5b
!ollama list

最后执行的效果如下:

第4步:运行DeepSeek-R1 蒸馏1.5B模型进行推理聊天

ollama run deepseek-r1:1.5b

我的小米redmi note7pro手机的执行效果如下:

DeepSeek-R1大模型爆火，由于性能出众而倍受好评。但是也迎来一个不争的事实，当DeepSeek-R1有板有眼回答你的问题(例如通过列举错误的文献、数据、表格来佐证你的问题时)，你是否能够一眼发现它是错误的呢？23年大模型刚出来的时候，大模型性能差，一顿乱说，你可以轻松知道模型幻觉严重。那现在呢？以后如何准确评估模型回答是否正确将是一件非常难、并且耗时的事情。

参考链接

1. https://ollama.com/blog/amd-preview
2. https://github.com/termux/termux-app/releases/tag/v0.118.1
3. https://ollama.com/