Ollama指定gpu
时间: 2025-04-20 17:16:44 浏览: 64
### 配置 Ollama 使用指定 GPU
为了使 Ollama 特定于某个 GPU 进行运算,可以通过设置环境变量来实现这一目标。具体来说,在系统的环境变量中添加 `OLLAMA_GPU_LAYER` 和 `CUDA_VISIBLE_DEVICES` 是必要的操作。
对于 `OLLAMA_GPU_LAYER` 的设定,其值应设为 `cuda` 以便指示使用 CUDA 技术的 GPU 层次[^2]:
#### 设置环境变量
- **变量名**: `OLLAMA_GPU_LAYER`
- **变量值**: `cuda`
当需要精确到某一块具体的 GPU 设备时,则需进一步定义 `CUDA_VISIBLE_DEVICES` 来限定可见设备范围。这一步骤允许用户通过提供 GPU 的 UUID 或者编号来挑选希望使用的硬件资源。获取 GPU 的 UUID 方法是在命令提示符下执行 `nvidia-smi -L` 命令。
#### 获取 GPU UUID 并配置
```bash
nvidia-smi -L
```
上述命令会列出所有可用的 NVIDIA GPUs 及它们各自的属性信息,其中包括唯一的 UUID 字段。之后,依据实际需求选取合适的 GPU,并将其 UUID 赋予给 `CUDA_VISIBLE_DEVICES` 环境变量作为值。
#### 修改 Docker Compose 文件 (适用于 Panel 用户)
另外一种方法涉及到了修改用于部署服务的应用容器编排文件——即 docker-compose.yml 文件中的相关内容。此过程可能涉及到编辑该文件内的服务定义部分,加入有关 nvidia runtime 支持以及指明所要利用的具体 GPU ID 或名称的信息[^3]。
```yaml
services:
ollama_service:
image: your_ollama_image
deploy:
resources:
reservations:
devices:
- capabilities: [gpu]
driver: nvidia
count: 1
constraints: "uuid==<your_gpu_uuid>"
```
完成以上任意一种方式后,重启相关联的服务或应用程序实例就可以让更改生效,从而确保 Ollama 正确识别并仅限于使用被指定的那个 GPU 执行任务了。
阅读全文
相关推荐


















