windows ollama设置 gpu运行
时间: 2025-01-31 16:08:36 浏览: 1133
### 配置Ollama在Windows上使用GPU
为了使Ollama能够在Windows环境中利用GPU资源,需先确认计算机已配备兼容NVIDIA GPU,并安装了相应的驱动程序。接着,通过Docker Desktop来设置支持GPU加速的容器化环境。
#### 安装必要的软件组件
确保已经安装最新版本的[NVIDIA显卡驱动](https://www.nvidia.com/Download/index.aspx),这一步骤对于启用CUDA功能至关重要[^1]。
随后,下载并安装[Docker Desktop for Windows](https://docs.docker.com/desktop/install/windows-install/)。值得注意的是,在安装过程中要勾选“Use WSL 2 based engine”,因为WSL 2提供了更好的性能和支持更多的Linux特性,这对于后续操作非常重要[^2]。
完成上述准备工作之后,还需开启对NVIDIA GPU的支持:
- 打开PowerShell作为管理员执行命令`wsl --install -d Ubuntu`以安装Ubuntu发行版;
- 启动新安装好的Ubuntu子系统,按照提示完成初始配置;
- 更新包列表并通过apt-get安装nvidia-container-toolkit工具集:
```bash
sudo apt-get update && sudo apt-get upgrade -y
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
wget https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/cuda-keyring_1.0-1_all.deb
sudo dpkg -i cuda-keyring_1.0-1_all.deb
sudo apt-get update
sudo apt-get -y install nvidia-docker2
```
此时应该重启一次电脑让更改生效。
#### 设置Ollama Docker镜像
创建一个专用目录用于存储Ollama的数据文件夹,比如可以放在C:\Users\YourUsername\.ollama下。然后根据官方文档指导拉取最新的Ollama镜像并启动带有GPU参数的服务实例:
```powershell
docker pull ollama/ollama
docker run --gpus all -d -v C:\Users\YourUsername\.ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
```
以上命令中的`--gpus all`选项指定了所有可用的GPU都将被分配给该容器;而`-v`后面跟的就是主机上的绝对路径映射到容器内部的位置,这样做的目的是为了让外部能够持久保存训练成果或其他重要数据。
最后可以通过浏览器访问http://localhost:11434地址查看Web界面,或者直接用CLI方式加载预训练模型来进行测试[^3]。
阅读全文
相关推荐


















