ollama使用gpu运行
时间: 2025-02-08 16:06:27 浏览: 348
### 配置 Ollama 使用 GPU 加速
为了使 Ollama 能够利用 GPU 进行加速,需按照特定步骤来设置环境。这涉及到了解如何通过 Docker 和 NVIDIA 工具包集成 GPU 支持。
#### 修改 `docker-compose` 文件以支持 GPU
当在 1Panel 应用市场上完成 Ollama 的默认安装之后,要编辑其对应的 `docker-compose.yml` 文件,在服务定义部分加入必要的参数以便激活 GPU 功能[^1]:
```yaml
version: '3'
services:
ollama:
image: ollama/ollama
deploy:
resources:
reservations:
devices:
- capabilities: [gpu]
volumes:
- /opt/ai/ollama:/root/.ollama
ports:
- "11434:11434"
```
此配置确保容器启动时会请求分配可用的 GPU 设备给该进程使用。
#### 安装 NVIDIA Container Toolkit
对于基于 Linux 的系统来说,为了让 Docker 可识别并管理主机上的 GPU 资源,需要先安装 NVIDIA 提供的一套名为 NVIDIA Container Toolkit 的工具集。命令如下所示[^2]:
```bash
sudo apt-get update && \
sudo apt-get install -y nvidia-container-toolkit && \
sudo systemctl restart docker
```
上述指令更新了软件包列表,并安装了所需的 NVIDIA 组件用于容器化环境中调用 GPU;最后重启 Docker 服务使得更改生效。
#### 启动带有 GPU 支持的 Ollama 实例
一旦完成了前面提到的所有准备工作,则可以通过指定 `--gpus all` 参数来创建一个新的带 GPU 访问权限的 Ollama 容器实例:
```bash
docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
```
这条命令指定了所有的 GPU 将被当前运行中的容器所占用,并映射端口以及挂载数据卷到宿主机相应位置上。
#### 下载预训练模型
有了已经正确设置了 GPU 加速选项后的 Ollama 环境后,可以进一步加载想要使用的 AI 模型。例如下载 Qwen-7B 模型可执行下面这段 shell 命令:
```bash
docker exec -it ollama ollama run qwen:7b
```
这样就能够在拥有强大图形处理能力的支持下高效地测试和部署各种大型语言模型了。
阅读全文
相关推荐


















