deepseek调用GPU ubantu

### 配置 DeepSeek 使用 GPU 的方法 为了使 DeepSeek 能够利用 GPU 加速，在 Ubuntu 系统上的配置过程主要分为几个部分：安装 NVIDIA 显卡驱动程序、CUDA 工具包以及 cuDNN 库，最后通过 Docker 容器化环境来部署和支持 GPU 计算。 #### 安装NVIDIA驱动和CUDA工具包 对于拥有 RTX 2060 这类支持 CUDA 技术的显卡来说，首先需要确保已经正确安装了最新的 NVIDIA 显卡驱动程序。这一步骤可以通过官方文档指导完成[^1]。接着，下载并安装适合版本的 CUDA Toolkit 和 cuDNN SDK 来提供必要的库文件给应用程序调用硬件资源。 #### 设置Docker以启用GPU加速功能 由于选择了基于 Docker 的方式来进行 DeepSeek 的部署，则还需要进一步设置 Docker 服务端使其能够识别到本地存在的 GPU 设备。具体操作包括但不限于更新 `docker-ce` 到最新稳定版 (如提到的 25.0.2)，并且按照 NVIDIA 提供的方法集成 nvidia-container-toolkit 插件至现有容器环境中[^2]。 ```bash distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update && sudo apt-get install -y nvidia-docker2 sudo systemctl restart docker ``` 以上命令序列用于添加 NVIDIA-Docker APT 源，并重新启动 Docker 服务以便应用更改后的配置选项。 #### 构建或拉取带有GPU支持的DeepSeek镜像 当上述准备工作完成后，就可以构建或者直接从远程仓库获取预先制作好的包含所需依赖项（比如 TensorFlow 或 PyTorch）且已适配好 GPU 支持的 DeepSeek Docker 镜像。如果选择自行创建自定义镜像的话，请参照相关框架的手册说明进行调整优化。 ```dockerfile FROM nvcr.io/nvidia/pytorch:21.09-py3 RUN pip install deepseek==<version> # Add your application code here... CMD ["python", "./app.py"] ``` 此示例展示了如何基于 NVIDIA 提供的基础 PyTorch 镜像扩展出一个新的含有特定版本 DeepSeek Python 包的应用镜像。 #### 启动具有GPU访问权限的容器实例 最终要做的就是执行类似于下面这样的指令来启动新的容器： ```bash docker run --gpus all -itd --name my_deepseek_container <image_name>:latest ``` 这条命令中的 `--gpus all` 参数告诉 Docker 将主机所有的可用 GPU 分配给新创建出来的容器使用；而 `-itd` 表示交互模式下后台运行该进程。