centos 部署 ollama
时间: 2025-02-20 21:32:02 浏览: 88
### 安装和配置Ollama
#### 准备环境
为了确保系统的软件包是最新的版本,在开始之前应该更新现有的yum包:
```bash
sudo yum update -y
```
接着安装必要的Python组件,这有助于后续操作顺利进行:
```bash
sudo yum install epel-y
sudo yum install python3 python3-devel python3-pip -y
python3 --version
```
以上命令会安装`epel-release`来扩展可用的软件库,并且安装Python 3及其开发工具链[^1]。
#### 配置镜像源
对于提高下载速度以及解决可能存在的网络问题,可以切换至更稳定的国内镜像源。例如阿里云提供的CentOS镜像源:
```bash
cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
```
此过程备份了原始的repo文件并替换成来自阿里云的新repo文件[^2]。
#### 安装Ollama
执行官方给出的一键脚本来简化安装流程:
```bash
curl -fsSL https://ollama.com/install.sh | sh
```
需要注意的是这个步骤可能会花费较长时间,具体取决于硬件性能与互联网连接状况。
#### 使用Docker优化部署体验
考虑到直接部署可能导致超时等问题,推荐采用Docker容器化的方式来进行部署。首先设置好Docker加速器以加快拉取镜像的速度:
```bash
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://your.docker.mirror"]
}
EOF
```
请替换上述代码中的`https://your.docker.mirror`为你所选的Docker镜像站地址[^4]。
#### 后续配置
如果是在完全隔离环境下工作,则需手动处理离线安装事宜。此时可以在服务器上指定目录保存所需资源,并编辑位于`/etc/systemd/system/`下的服务定义文件`ollama.service`以便适配特定需求[^3]。
通过遵循这些指导方针,能够在CentOS平台上成功搭建起支持大型语言模型运行的服务端环境。
阅读全文
相关推荐
















