ollama使用gpu
时间: 2025-02-02 09:08:08 浏览: 214
### 如何在 Ollama 中配置和使用 GPU
#### 使用 Docker 容器部署并启用 GPU 支持
为了使 Ollama 能够利用 GPU 进行加速,在 Linux 环境下可以通过 Docker 部署带有 NVIDIA GPU 的容器来实现这一目标。具体来说,通过修改 `docker-compose.yml` 文件中的服务定义部分,加入对 GPU 设备的支持设置[^3]。
```yaml
services:
ollama:
...
deploy:
resources:
limits:
cpus: "${CPUS}"
memory: "${MEMORY_LIMIT}"
reservations:
devices:
- capabilities: ["gpu"]
count: 1
driver: "nvidia"
...
```
这段 YAML 片段展示了如何指定容器可以访问单个 GPU 并应用相应的驱动程序。这里的关键在于 `devices` 字段下的参数配置,它指定了要保留的设备类型及其数量以及所使用的驱动名称。
#### 启动带 GPU 加速的 Ollama 实例
当完成了上述配置之后,就可以按照常规方式启动包含这些更改的服务实例了。对于基于 1Panel 的环境而言,则可以直接执行如下命令完成操作:
```bash
docker run --gpus all \
-d \
-v /opt/1panel/apps/ollama:/root/.ollama \
-p 11434:11434 \
--name ollama \
ollama/ollama
```
此命令会创建一个新的名为 `ollama` 的容器,并将其挂载到主机上的特定目录以便保存数据;同时开放端口映射使得可以从外部网络访问该应用程序接口[^4]。
#### 关键点总结
- **Docker Compose**: 如果采用 compose 方式管理多容器应用的话,记得更新对应的 `.yml` 文件以反映新的硬件需求。
- **NVIDIA Driver & CUDA Toolkit**: 确认宿主机已经正确安装了适用于当前系统的显卡驱动版本及配套开发工具包。
- **权限控制**: 可能还需要调整某些安全策略或 SELinux 设置,确保容器能够顺利获取所需的计算资源。
阅读全文
相关推荐


















