笔记内网离线部署deepseek
时间: 2025-03-02 09:18:23 浏览: 73
### 内网环境下离线部署 DeepSeek
#### 准备工作
为了在内网环境中顺利离线部署 DeepSeek,需提前准备好所需的软件包和依赖项。确保所有必要的组件都已下载并存储于可访问的位置。
#### 安装 Docker 和 Ollama
由于 DeepSeek 支持基于 Docker 的部署方式,在目标服务器上安装 Docker 是必不可少的第一步。对于 Windows Server 2019 平台而言,按照官方文档指导完成 Docker EE 或 CE 版本的安装配置[^1]。之后,还需安装 Ollama 工具来辅助管理容器化应用环境[^2]。
```bash
docker --version
ollama --version
```
上述命令用于确认 Docker 及 Ollama 是否正确安装以及查看其版本信息。
#### 下载预训练模型及相关资源
考虑到内网可能无法直接连接互联网获取最新数据的情况,建议预先在外网机器上准备所需的一切资料,包括但不限于:
- DeepSeek 模型文件(如 `DeepSeek-R1-Distill-Qwen-1.5B-GGUF` 文件夹)
- 所有依赖库及其特定版本
- LM Studio 客户端程序及其他配套脚本
将这些材料打包成压缩包形式并通过安全途径传输至内部网络内的指定位置[^4]。
#### 构建自定义镜像
利用事先准备好的素材创建适用于当前项目的定制版 Docker 镜像。编写合适的 Dockerfile 来描述构建过程中的各项指令,并执行如下操作以生成最终可用的映像文件:
```Dockerfile
FROM nvidia/cuda:11.7.1-base-ubuntu20.04
COPY ./pretrained_models /app/pretrained_models/
RUN apt-get update && \
apt-get install -y python3-pip && \
pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cpu
WORKDIR /app
CMD ["python", "./main.py"]
```
此示例展示了如何基于 NVIDIA CUDA 基础镜像添加 PyTorch 库的支持,同时复制之前收集到的预训练模型至应用程序目录下。
#### 启动服务实例
当一切就绪后,可以通过下面这条简单的 docker run 命令启动一个新的容器实例,从而让 DeepSeek 开始提供预测服务功能:
```bash
docker run -d --name deepseek_service -p 8080:80 my_custom_deepseek_image
```
这里假设已经有一个名为 `my_custom_deepseek_image` 的本地镜像存在,并将其暴露给外部世界通过主机上的 8080 端口进行通信。
#### 使用 LM Studio 进行交互测试
最后一步就是借助图形界面工具——LM Studio 对刚刚搭建起来的服务做进一步的功能验证与参数调整等工作了。根据具体需求加载相应的模型权重文件,设置好输入输出格式等选项即可开始体验强大的自然语言处理能力了[^3]。
阅读全文
相关推荐













