Ubuntu部署deepseek(离线版)

由于实验室的服务器无法连外网,只能离线手动安装了!!!

离线下载ollama-linux-amd64.tgz

网址:https://ollama.com/download/ollama-linux-amd64.tgz

第一步:解压安装包

  1. 切换到目标文件夹

    cd /home/zhangh/Ollama
  2. 解压安装包

    tar -xzf ollama-linux-amd64.tgz -C /usr/local

    这里将 Ollama 解压到 /usr/local 目录下,这是一个常见的安装目录。

第二步:创建专用用户和组

  1. 创建专用用户和组

    sudo useradd -r -s /bin/false -U -m -d /usr/local/share/ollama ollama

    这里创建了一个名为 ollama 的专用用户和组,用户的家目录设置为 /usr/local/share/ollama

  2. 将你的用户添加到 ollama

    sudo usermod -a -G ollama zhangh

    这样,你(zhangh 用户)就可以访问 Ollama 的资源了。

第三步:创建 systemd 服务文件

  1. 创建 systemd 服务文件 创建一个 systemd 服务文件 /etc/systemd/system/ollama.service

  2. sudo vim /etc/systemd/system/ollama.service

    [Unit]
    Description=Ollama Service
    After=network-online.target
    
    [Service]
    ExecStart=/usr/local/bin/ollama serve
    User=ollama
    Group=ollama
    Restart=always
    RestartSec=3
    Environment="PATH=$PATH"
    
    [Install]
    WantedBy=default.target

    注意:这里假设 Ollama 的可执行文件路径为 /usr/local/bin/ollama,这是解压后的默认路径。

  3. 启动服务

    sudo systemctl daemon-reload
    sudo systemctl enable ollama
    sudo systemctl start ollama
  4. 验证服务状态

    sudo systemctl status ollama

第四步:验证 Ollama 是否仅对你可用

  1. 验证 Ollama 版本 作为 zhangh 用户,运行以下命令验证 Ollama 是否正常启动:

    ollama -v
  2. 设置模型目录权限 确保 Ollama 的模型目录(通常是 /usr/local/share/ollama/models)的权限仅对 ollama 用户和组可访问:

    sudo mkdir /usr/local/share/ollama/models
    sudo chown -R ollama:ollama /usr/local/share/ollama/models
    sudo chmod -R 700 /usr/local/share/ollama/models

第五步:下载模型相关文件并且利用ollama部署模型

5.1 下载deepseek模型

下载模型链接:https://huggingface.co/deepseek-ai/DeepSeek-R1,把

到文件夹(随便创建)

5.2 配置Modelfile

在创建的模型文件夹创建一个Modelfile,添加以下内容即可

FROM .

 5.3 本地导入模型

终端运行:
ollama create deepseek-r1-1.5b -f /home/zhangh/Ollama/models/1.5b/Modelfile

输出:

5.4 运行模型

ollama run deepseek-r1-1.5b

第六步:卸载ollama

  • 删除 Ollama 服务:

sudo systemctl stop ollama

sudo systemctl disable ollama

sudo rm /etc/systemd/system/ollama.service

  • 从 bin 目录中删除 Ollama 二进制文件:

sudo rm $(which ollama)

  • 删除下载的模型和 Ollama 服务用户和组:

sudo rm -r /usr/share/ollama

sudo userdel ollama

sudo groupdel ollama

参考博客:
详细!离线部署大模型:ollama+deepseek+open-webui安装使用方法及常见问题解决 - 志文工作室

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

张飞飞飞飞飞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值