首页docker 部署 ollama GPU

docker 部署 ollama GPU

时间: 2025-01-11 18:41:29 浏览: 391

### 如何在GPU上通过Docker部署Ollama #### 安装英伟达容器工具包为了使 Docker 能够利用 GPU，在 Ubuntu 22.04 上需先安装 NVIDIA 容器工具包。这一步骤确保了后续可以顺利调用 GPU 进行计算[^1]。 ```bash distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker ``` #### 验证NVIDIA容器工具包安装成功完成上述操作后，应验证 NVIDIA 容器工具包是否已正确安装并能正常工作： ```bash docker run --rm --gpus all nvidia/cuda:12.0.1-runtime-ubuntu22.04 nvidia-smi ``` 如果命令返回有关 GPU 的信息，则说明安装无误[^2]。 #### 启动带有GPU支持的Ollama容器当确认环境准备就绪之后，可以通过如下指令启动 Ollama 容器，并指定其使用主机上的 GPU 设备: ```bash docker run -d \ -v /opt/ai/ollama:/root/.ollama \ -p 11434:11434 \ --name ollama \ --gpus all \ ollama/ollama ``` 此命令会创建一个新的名为 `ollama` 的后台进程，绑定端口 11434 并挂载数据卷 `/opt/ai/ollama` 到容器内的相应路径下，同时允许该容器访问所有的 GPU 资源。

阅读全文