本地部署安装 DeepSeek 模型的详细步骤:
1. 环境准备
操作系统:推荐 Linux (Ubuntu 20.04+) 或 Windows 10/11 (WSL2)
硬件要求:
GPU: NVIDIA 显卡 (RTX 3090 或更高,建议 24GB+ 显存)
RAM: 32GB+ 内存
存储: 100GB+ 可用空间 (模型文件较大)
必要组件:
NVIDIA 驱动 ≥ 515.0
CUDA Toolkit 11.7/11.8
cuDNN ≥ 8.6.0
2. 安装依赖(Python)
3. 模型获取
方法一:Hugging Face Hub (需申请权限)
方法二:手动下载 (需授权)
访问官方模型仓库申请权限
下载模型文件到本地目录,例如:
4. 推理代码示例
创建 inference.py:
5. 启动服务 (可选)
使用 FastAPI 创建 API 服务:
6. 常见问题解决
显存不足错误
启用量化加载:
减少
max_new_tokens参数
3. 模型加载缓慢
设置本地缓存:
7. 性能优化建议
启用 Flash Attention:
使用 vLLM 加速推理:
注意事项
模型文件可能包含多个 GB 的大文件,确保存储空间充足
首次运行会自动下载分词器文件
建议使用 SSD 存储以获得更快加载速度
生产环境部署建议使用 Docker 容器化

