浅谈人工智能之Linux：基于ollama进行本地化大模型部署

浅谈人工智能之Linux：基于ollama进行本地化大模型部署

在之前的文档中，我们已经介绍如何在Windows环境中进行大模型的搭建，具体参考文档如下：
浅谈人工智能之Windows：基于ollama进行本地化大模型部署
今天我们就介绍在离线的环境中如何在Linux操作系统上搭建基于基于ollama进行本地化大模型部署。

准备工作

我的操作系统是：

[root@localhost LLM]# cat /etc/redhat-release
CentOS Linux release 7.4.1708 (Core)

ollama下载和上传服务器

第一步：进入GitHub网站：https://github.com/ollama/ollama/releases，下载对应Linux程序包：ollama-linux-amd64.tgz，我们复制链接地址

第二步：使用之前的加速网址对程序包进行下载。
第三步：我们将下载的程序包进行放到对应的Linux上，比如路径：/ftp/LLM/Ollama（根据自己定义）

[root@localhost Ollama]# pwd
/ftp/LLM/Ollama

Qwen2模型下载和上传服务器

第一步：我们进入对应的模型下载地址：https://modelscope.cn/models/qwen/Qwen2-7B-Instruct-GGUF/files，因为服务器配置好一点，所以我们这次使用了qwen2-7b-instruct-q8_0.gguf
这个模型。
第二步：我们将下载的模型上传到服务器，比如路径：/ftp/LLM（根据自己定义）

[root@localhost LLM]# pwd
/ftp/LLM

至此，我们已经准备好对应的大模型搭建所涉及的程序。

模型部署

ollama程序安装

第一步：我们首先对下载的模型进行解压，使用命令如下：

[root@localhost Ollama]# tar -zxvf ollama-linux-amd64.tgz
./
./lib/
./lib/ollama/
./lib/ollama/libcublas.s