Mac M1Pro下使用Langchain-Chatchat与Ollama搭建本地离线知识库

Mac M1Pro 使用Langchain-Chatchat与Ollama搭建本地离线知识库
Ollama

Ollama是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，降低使用大语言模型的门槛，使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型，包括如Llama 3、Phi 3、Mistral、Gemma等开源的大型语言模型。

Ollama目前支持以下大语言模型：https://ollama.com/library

进入官网下载并安装，当前安装版本为v0.3.14。

环境配置：

OLLAMA_MODELS：模型文件存放目录，默认目录为当前用户目录（mac
目录：/Users/lisi/Documents/AI_model）。
OLLAMA_HOST：Ollama服务地址，默认为127.0.0.1，如果允许其他电脑访问
Ollama（如：局域网中的其他电脑），建议设置成0.0.0.0。
OLLAMA_PORT：Ollama
服务端口，默认为11434，如果端口有冲突，可以修改设置成其他端口（如：8080等），不修改端口就不用设置了。
OLLAMA_ORIGINS：HTTP
客户端请求来源，半角逗号分隔列表，若本地使用无严格要求，可以设置成星号*，代表不受限制。
大模型使用qwen2.5:3b

ollama pull qwen2.5:3b
Embedding 模型使用bge-large-zh-v1.5

ollama pull quentinz/bge-large-zh-v1.5

LangChain-Chatchat
LangChain-Chatchat (原 Langchain-ChatGLM)
基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的 RAG 与 Agent 应用项目。

pip 安装部署
Python环境：3.8-3.11 环境

1.安装 Langchain-Chatchat
pip install langchain-chatchat -U

当前版本v0.3.1.3。

为避免依赖冲突，请将 Langchain-Chatchat 放在 Python 虚拟环境中, 比如 conda等。

2.初始化项目配置与数据目录
（1）设置 Chatchat 存储配置文件和数据文件的根目录
# on mac
export CHATCHAT_ROOT=/Users/lisi/Documents/chatchat_data