八、大模型本地部署文档(docker部署GPU环境)

参考:安装 NVIDIA Container Toolkit — NVIDIA Container Toolkit 1.17.0 文档

先决条件

物理机安装nvidia驱动。参考:一、大模型本地部署文档(安装 NVIDIA 显卡驱动、CUDA、CUDNN)_大模型 nvdia驱动-CSDN博客

docker部署NVIDIA Container Toolkit

  1. 配置生产存储库:

逐行输入以下命令

$ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkeycurl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list |\
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g'|\
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

(可选)将存储库配置为使用实验性软件包:

sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list
  1. 从存储库更新软件包列表:
sudo apt-get update
  1. 安装 NVIDIA Container Toolkit 软件包:
sudo apt-get install -y nvidia-container-toolkit
  1. 配置docker

使用以下命令配置容器运行时:nvidia-ctk

sudo nvidia-ctk runtime configure --runtime=docker

重新启动 Docker 守护程序:

sudo systemctl restart docker

docker部署CUDA

访问nvidia/cuda Tags | Docker Hub获取cuda的版本以及系统

输入下载命令。

docker pull nvidia/cuda:11.8.0-devel-ubuntu20.04

查看镜像后,使用gpu模式启动镜像。

docker images
docker run -it --gpus all (镜像id)

显示CUDA版本为cu118,docker的GPU环境配置完成。

注意:其他docker服务想要使用GPU环境必须保证服务部署在与GPU环境所处的网络环境一致。

### 如何在GPU部署Ollama Docker容器 #### 使用Docker命令启动带有GPU支持的Ollama容器 为了使Ollama能够在配备NVIDIA GPU环境中运行,需利用特定参数来配置Docker容器。这涉及到指定`--gpus all`选项以允许访问所有的可用GPU资源[^1]。 ```bash docker run --gpus all -d \ -v /data/ai/ollama:/root/.ollama \ -p 11434:11434 \ --name ollama \ ollama/ollama ``` 上述命令通过挂载主机上的目录至容器内路径`/root/.ollama`实现数据持久化存储,并开放端口用于外部通信。同时赋予该实例名称为`ollama`以便管理和识别。 #### 利用Docker Compose简化多服务编排流程 对于更复杂的场景或是希望采用声明式方式定义应用栈的情况下,则可以借助于Docker Compose工具。创建一个名为`docker-compose.yml`文件,在其中描述所需的服务及其依赖关系: ```yaml version: '3' services: ollama: image: ollama/ollama deploy: resources: reservations: devices: - capabilities: [gpu] volumes: - /data/ai/ollama:/root/.ollama ports: - "11434:11434" ``` 之后仅需一条简单的指令即可完成整个环境搭建工作[^2]: ```bash docker-compose up -d ollama ``` 此方法不仅能够有效减少重复劳动量,还便于团队协作开发过程中保持一致性。 #### 进入正在运行中的容器执行交互操作 当需要对已启动的服务进行调试或维护时,可以通过如下所示的方式获取shell权限并进一步加载大型预训练模型等任务: ```bash docker-compose exec -it ollama sh ``` 这样就可以直接在目标进程中开展后续的工作了。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值