首页ollama docker run --rm --gpus

ollama docker run --rm --gpus

时间: 2025-03-27 15:09:55 浏览: 139

### 使用 Ollama 和 GPU 运行 Docker 容器为了利用 NVIDIA GPU 来增强性能，在启动带有 `ollama` 的 Docker 容器之前，需先确认已正确安装了 Nvidia 容器工具包。这一步骤对于确保 GPU 能够被容器识别至关重要[^3]。一旦环境准备就绪，可以通过下面这条命令来创建并运行具有 GPU 支持的 `ollama` 容器： ```bash docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama ``` 上述命令中的选项解释如下： - `-d`: 后台运行容器； - `--gpus=all`: 分配所有可用的 GPU 给该容器； - `-v ollama:/root/.ollama`: 将主机上的卷挂载到容器内部路径 `/root/.ollama` 下； - `-p 11434:11434`: 映射端口以便外部访问； - `--name ollama`: 指定容器名称为 `ollama`；如果遇到任何关于未能成功启用 GPU 功能的问题，则建议按照官方文档指导排查可能存在的配置错误，并通过执行测试命令验证问题是否得到解决[^4]。例如，可以尝试使用以下命令检测 GPU 是否已被正确分配给新启动的容器实例： ```bash docker run --rm --gpus all nvidia/cuda:12.0.1-runtime-ubuntu22.04 nvidia-smi ``` 此命令会临时启动一个新的基于 CUDA 的 Ubuntu 镜像，并调用 `nvidia-smi` 工具显示当前系统的 GPU 状态信息。

阅读全文