windows ollama 启用gpu
时间: 2025-02-20 15:00:51 浏览: 123
### 在 Windows 上为 Ollama 启用 GPU 支持
要在 Windows 平台上为 Ollama 启用 GPU 加速,需遵循特定配置流程。由于 Docker Desktop 是在 Windows 上部署容器化应用的主要方式之一,在此环境中设置 NVIDIA 容器工具包成为必要条件。
#### 配置Docker Desktop以支持NVIDIA GPU
为了使 Docker 能够识别并利用主机上的 GPU 设备,必须先安装适用于 Windows 的 NVIDIA Container Toolkit 和 WSL 2 (Windows Subsystem for Linux) 版本的支持组件。这一步骤确保了后续操作可以在基于 Linux 的容器内顺利调用 GPU 功能[^1]。
```powershell
wsl --install -d Ubuntu
```
接着通过 PowerShell 或者命令提示符执行上述指令来安装带有默认发行版(Ubuntu)的WSL环境。完成之后重启计算机以便更改生效。
对于 NVIDIA 显卡驱动程序以及 CUDA 工具链,则建议按照官方文档指引进行更新至最新版本,并确认已成功激活 DirectML 插件服务。
#### 设置Docker镜像与卷映射
当准备工作完成后,可以参照如下命令创建一个新的 Docker 容器实例:
```bash
docker pull nvcr.io/nvidia/cuda:11.8.0-base-ubuntu20.04
docker tag nvcr.io/nvidia/cuda:11.8.0-base-ubuntu20.04 cuda:latest
docker run --gpus all -d -v C:\path\to\your\model:C:\model -p 11434:11434 --name ollama ollama/ollama
```
这里假设 `C:\path\to\your\model` 表示本地存储模型文件的位置;而 `-v` 参数用于指定宿主目录同容器内部之间的挂载关系,使得后者能够读取前者的数据资源。
值得注意的是,如果采用第三方管理平台如 1Panel 来简化运维工作流的话,则应调整路径参数匹配实际应用场景下的布局结构,例如 `/opt/1panel/apps/ollama` 可能对应于 Windows 文件系统的某个共享位置[^2]。
最后一步涉及向新建立好的容器发送请求从而加载所需 AI 模型:
```bash
docker exec -it ollama ollama run qwen:7b
```
这条语句会触发名为 "qwen:7b" 的预训练大语言模型被下载到目标节点之上,并准备就绪等待进一步的任务调度安排。
阅读全文
相关推荐
















