centos系统docker部署ollama
时间: 2025-01-23 13:07:11 浏览: 149
### 在 CentOS 系统中通过 Docker 部署 Ollama 教程
#### 安装并配置 Docker
为了确保 Docker 的高效运行,在 CentOS 上安装 Docker 后应配置加速源来提高镜像下载速度。创建或编辑 `/etc/docker/daemon.json` 文件,添加如下内容:
```json
{
"registry-mirrors": ["https://your-accelerator-url"]
}
```
保存文件后,重启 Docker 服务以应用更改[^1]。
```bash
sudo systemctl restart docker
```
#### 安装 NVIDIA Docker 工具包
对于 GPU 支持的需求,需先安装 NVIDIA Container Toolkit。这一步骤至关重要,因为 Ollama 模型通常依赖于 GPU 加速来进行高效的推理运算[^4]。
执行以下命令完成工具包的安装:
```bash
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo yum install -y nvidia-container-toolkit
sudo systemctl restart docker
```
注意:上述脚本适用于基于 Red Hat/CentOS 的系统环境,请根据实际操作系统版本调整相应指令。
#### 运行 Ollama 模型容器
确认所有前置条件均已满足之后,可以启动包含 Ollama 模型的 Docker 容器。假设已有一个名为 `myollama` 的容器实例,则可以通过下列命令进入该容器并启动 Llama2 模型:
```bash
[root@docker3 ~]# docker exec -it myollama ollama run llama2
```
此操作将在指定的 Docker 容器内执行 Ollama 模型的相关命令,从而实现模型的服务化部署[^2]。
#### 验证 GPU 功能正常工作
最后,验证 GPU 是否能够被正确识别和支持非常重要。为此可利用官方提供的测试镜像进行简单检测:
```bash
docker run --rm --gpus all nvidia/cuda:12.0.1-runtime-ubuntu22.04 nvidia-smi
```
如果一切顺利,应该可以看到有关 GPU 设备的信息输出,表明当前环境中已经成功启用了 GPU 访问支持[^3]。
阅读全文
相关推荐

















