ollama配置gpu
时间: 2025-02-06 08:12:47 浏览: 332
### 如何配置 Ollama 使用 GPU 设置教程
#### 安装 NVIDIA 容器工具
为了使 Docker 能够识别和使用 N 卡 GPU,在 Ubuntu 上需先安装 NVIDIA 容器工具。此步骤确保容器环境能访问主机上的 GPU 设备[^1]。
```bash
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker
```
#### 启动带有 GPU 的 Ollama 服务
完成上述准备工作之后,可通过指定 `--gpus` 参数来启动包含 GPU 加速功能的 Ollama 服务实例。这里 `-v ollama:/root/.ollama` 表示挂载卷用于持久化存储模型文件;`-p 11434:11434` 则映射端口以便外部访问该服务[^2]。
```bash
docker run -d --gpus=all \
-v ollama:/root/.ollama \
-p 11434:11434 \
--name ollama \
ollama/ollama
```
#### 执行带 GPU 支持的模型推理命令
当 Ollama 服务成功部署后,可进一步执行特定于某个预训练模型的任务指令。例如,要运行名为 `llama2` 的大语言模型,则可以在已创建的服务容器内调用相应的 API 接口。
```bash
docker exec -it ollama ollama run llama2
```
通过以上操作流程,即完成了基于 Docker Compose 和 NVIDIA GPU 驱动程序的支持下,在 Linux 平台上快速搭建起具备高性能计算能力的大规模自然语言处理应用平台——Ollama。
阅读全文
相关推荐


















