怎么让ollama使用gpu运行
时间: 2025-02-14 13:16:38 浏览: 644
### 配置 Ollama 使用 GPU 加速
为了使 Ollama 能够利用 GPU 提升性能,可以通过多种方式进行设置。一种方法是在配置文件中指定 `use_gpu: true` 来启用 GPU 支持[^1]。
另一种方式涉及通过环境变量来指示 Ollama 应该使用哪个设备来进行计算。具体来说,在系统的环境变量里添加名为 `OLLAMA_GPU_LAYER` 的新条目,并将其值设为 `cuda`;这会告诉应用程序应该调用 CUDA 平台上的 GPU 功能[^3]。对于那些拥有多个 GPU 设备的情况,则可通过定义另一个称为 `CUDA_VISIBLE_DEVICES` 的环境变量并赋给它相应的 UUID 值来选定具体的显卡实例。
此外,在基于 Docker 容器化环境中部署时,还可以借助于命令行参数直接向容器传递有关 GPU 访问权限的信息。例如:
```bash
docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
```
这条指令中的 `--gpus all` 参数允许容器内的进程访问主机所有的可用 GPU 资源[^4]。
最后,验证是否成功启用了 GPU 是非常重要的一步。可以启动一个长时间的任务让 Ollama 处理,比如请求生成一段较长的文字内容,与此同时开启新的终端窗口执行 `ollama ps` 查看当前作业的状态,确认其确实处于活跃状态并且正在消耗 GPU 时间片[^2]。另外也可以借助 Windows 任务管理器或其他类似的系统监视工具观察实际的 GPU 占用情况以进一步证实这一点。
阅读全文
相关推荐


















