ubuntu安装部署gpu ollama
时间: 2025-04-25 21:22:58 浏览: 31
### 安装和配置支持GPU的Ollama
#### 准备工作
为了确保顺利安装和支持GPU功能,建议准备一个纯净的Ubuntu系统或双系统环境而非虚拟机。这能有效减少潜在兼容性问题的发生[^3]。
#### 安装必要的软件包
在开始之前,需要确认已正确安装了适用于NVIDIA GPU的支持组件以及Docker Compose。对于NVIDIA容器工具套件而言,这是必不可少的一部分,它允许容器化应用程序访问主机上的GPU资源[^1]。
#### 配置显卡驱动程序与CUDA
考虑到Ollama会调用到GPU执行任务,因此推荐提前完成显卡驱动及相关库(CUDA/CuDNN)的设置。需要注意的是不同版本之间可能存在依赖关系,所以应当仔细核对官方文档来挑选合适的组合方式。
#### 使用Docker Compose部署Ollama服务
创建一个新的`docker-compose.yml`文件用于定义所需的服务实例:
```yaml
version: '3'
services:
ollama:
image: nvidia/ollama:latest
deploy:
resources:
reservations:
devices:
- capabilities: [gpu]
ports:
- "8080:80"
```
此配置指定了要拉取最新的带有GPU支持标签(`nvidia/ollama:latest`)镜像,并分配至少一块可用的GPU给该容器使用;同时映射端口使得可以从外部网络访问Web界面。
#### 初始化并启动应用
保存好YAML描述之后,在同一目录下运行如下指令以初始化项目结构并启动所有关联的服务:
```bash
sudo docker-compose up --build -d
```
参数解释:`--build`强制重新构建最新版本的应用镜像;而`-d`选项则让进程以后台守护模式运作[^4]。
#### 设置为开机自启项
为了让Ollama能够在重启后自动恢复上线状态,可以通过Systemd管理单元的方式实现持久化的后台作业调度:
```bash
sudo systemctl enable ollama
```
#### 校验当前状况
最后一步就是验证整个流程是否顺利完成——借助于命令行工具查询指定名称的服务健康度报告:
```bash
sudo systemctl status ollama
```
如果一切正常的话,则应该能看到类似于“active (running)”的状态提示信息。
阅读全文
相关推荐


















