【ollama】离线安装ollama,国内镜像源,可下载通义千问、Deepseek等大模型,本地部署大模型

国内镜像下载

https://www.newbe.pro/Mirrors/Mirrors-ollama
x86平台下载ollama-linux-amd64.tgz
arm平台下载ollama-linux-arm64.tgz
假设下载的文件路径为/opt/pkg/ollama-linux-amd64.tgz

安装脚本

可手动下载,浏览器打开直接打开 https://ollama.com/install.sh下载脚本,或者复制粘贴。

  • 修改脚本下载部分代码:
    1.注释了两行
    2.修改了tar解压的文件的路径为上一步下载的文件路径
  • 修改后为:
    status "Downloading Linux ${ARCH} bundle"
    #curl --fail --show-error --location --progress-bar \
        #"https://ollama.com/download/ollama-linux-${ARCH}.tgz${VER_PARAM}" | \
        $SUDO tar -xzf /opt/pkg/ollama-linux-amd64.tgz -C "$OLLAMA_INSTALL_DIR"
    

启动文件

注意:安装后会自动生成启动服务文件,可以自行修改参数如OLLAMA_MODELS的路径和用户和用户组、上下文长度等OLLAMA_CONTEXT_LENGTH=8192

vim /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin" "OLLAMA_HOST=0.0.0.0:11434" "OLLAMA_MODELS=/mnt/data/ollama/models"
Environment="HF_ENDPOINT=https://hf-mirror.com"

[Install]
WantedBy=default.target

常用命令

ollama服务相关

# 启动服务
systemctl start ollama
# 关闭服务
systemctl stop ollama
# 重启服务(如果模型下载失败可重启服务,ollama会自动清理垃圾数据,否则一直下载失败)
systemctl restart ollama
# 开机启动
systemctl enable ollama
# 禁止开机启动
systemctl disable ollama

模型相关

# 查看版本
ollama -v
# 拉取模型
ollama run qwen3:8b
# 从魔搭(modelscope)拉取GGUF框架的模型
ollama run modelscope.cn/Qwen/Qwen3-8B-GGUF
# 已安装的模型列表
ollama list
# 删除模型
ollama rm qwen3:8b
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值