Ubuntu安装配置Ollama

于是直接访问github地址https://github.com/ollama/ollama/releases下载对应芯片架构的 release 包后进行手动安装,最新版本为0.9.0:

可以使用以下命令进行解压缩并拷贝到系统目录中:

sudo tar -C /usr -zxvf ollama-linux-amd64.tgz
AI写代码
这样就直接部署完成了,可以使用ollama -v命令查看安装版本进行验证。

2、创建 Ollama 用户及系统服务
出于安全性、隔离性和系统管理的考虑,需要创建 ollama 用户,执行以下命令:

# 新增用户
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
# 修改用户信息
sudo usermod -a -G ollama $(whoami)
AI写代码
创建系统服务 service 文件:

# 编辑文件
sudo gedit /etc/systemd/system/ollama.service
AI写代码
文件内容如下:

# 文件内容
[Unit]
Description=Ollama Service
After=network-online.target
 
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_PORT=11434"
Environment="OLLAMA_ORIGINS=*"
 
[Install]
WantedBy=default.target
AI写代码

使用下列命令启动或配置Ollama:

# 重载配置
sudo systemctl daemon-reload
# 启动服务
sudo systemctl start ollama.service
# 查看服务状态
sudo systemctl status ollama.service
# 设置服务开机自启动
sudo systemctl enable ollama.service
AI写代码

————————————————


                        
原文链接:https://blog.csdn.net/willhu2008/article/details/148425719

### 在Ubuntu安装配置Docker Ollama #### 安装Docker Engine 为了在Ubuntu上运行Ollama,首先需要确保已经正确安装配置好了Docker环境。可以通过官方推荐的方法来安装或更新系统的Docker版本[^1]。 ```bash sudo apt-get update sudo apt-get install \ ca-certificates \ curl \ gnupg \ lsb-release curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io ``` 完成上述命令后,建议验证Docker是否成功安装: ```bash sudo docker run hello-world ``` 如果一切正常,则说明Docker已准备好用于后续操作。 #### 启用GPU支持 对于希望利用GPU加速的应用场景来说,在安装完基本的Docker之后还需要额外设置以使容器能够访问到主机上的NVIDIA GPU资源。这一步骤涉及到安装特定软件包以及可能要调整一些系统级参数。 ```bash distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker ``` 此时应该测试一下新配置是否生效: ```bash docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi ``` 当看到有关CUDA和GPU的信息输出时即表示GPU已经被正确识别和支持。 #### 获取并启动Ollama镜像 最后就是拉取所需的Ollama镜像,并根据具体需求对其进行定制化部署。这里假设已经有了具体的镜像名称`ollama_image_name`可供使用。如果没有现成的名字,可以从Docker Hub或其他可信源获取合适的镜像文件。 ```bash docker pull ollama_image_name docker run -it --name my_ollama_container --gpus all ollama_image_name bash ``` 进入容器内部后可以根据实际情况进一步修改配置或是直接执行应用所需的操作指令。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值