linux ollama配置GPU
时间: 2025-01-30 16:06:12 浏览: 1058
### 配置Ollama以支持GPU
为了使 Ollama 在 Linux 系统上能够充分利用 GPU 资源,需先确认 NVIDIA 显卡驱动程序已经正确安装并处于工作状态。这可以通过执行 `nvidia-smi` 命令来进行验证[^1]。
一旦确认了显卡驱动正常运作之后,下一步就是确保 Docker 可以识别到 GPU 设备。为此,需要安装 NVIDIA 容器工具包:
```bash
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
```
完成上述软件包的安装后,重启 Docker 服务以便应用更改:
```bash
sudo systemctl restart docker
```
现在可以启动带有 GPU 支持的 Ollama 容器实例。下面是一个典型的命令示例用于创建一个具有 GPU 加速功能的服务容器,并映射端口以及挂载必要的卷文件夹:
```bash
docker run --gpus all -d \
-v /opt/ai/ollama:/root/.ollama \
-p 11434:11434 \
--name ollama \
ollama/ollama
```
此命令中的参数解释如下:
- `--gpus all`: 表明要分配所有的可用 GPU 给该容器;
- `-v /opt/ai/ollama:/root/.ollama`: 将主机上的 `/opt/ai/ollama` 文件夹作为数据存储位置绑定至容器内的相应路径;
- `-p 11434:11434`: 把宿主机的 11434 端口转发给容器内部同样的端口号,方便外部访问;
- `--name ollama`: 设置容器名称为 "ollama";
最后一步是从 Ollama 下载所需的模型。这里展示了一个获取名为 “qwen:7b” 的具体版本的方法:
```bash
docker exec -it ollama ollama run qwen:7b
```
以上步骤完成后,应该能够在 Linux 平台上成功设置好具备 GPU 加速特性的 Ollama 环境[^3]。
阅读全文
相关推荐


















