deepseek + embeding模型搭建本地知识库

上一篇文章讲了ollama+deepseek模型的本地化部署，具体能部署哪一款取决于你的土豪程度：

今天的目标是本地安装部署embeding模型，实现LLM+embeding模型的rag知识库的本地化部署，包括：

1. embeding模型的本地化部署
2. anyhingLLM安装配置，使用本地LLM和embeding模型实现知识库
3. api方式调用本地deepseek模型及emeding模型实现本地知识库

emeding模型的本地化部署

ollama官网上embeding排名比较靠前的两个：

1. ollama pull nomic-embed-text
2. bge-m3

安装当然非常简单，通过ollama官网copy命令：

或者直接命令行输入：

ollama pull bge-m3

安装完成之后，验证一下：

说明bge-m3和nomic-eded-text两个embeding模型已经完成了本地安装。

安装anythingLLM并配置LLM模型

直接到官网下载：
https://anythingllm.com/

anything有两个不同的版本，desktop是创建 all-in-one AI application的桌面版本，顾名思义，是个人桌面型工具，只能给你个人提供AI应用的帮助。另外一个可以docker部署的服务器版本，是可以支持团队应用的，部署后支持用户管理、权限管理，可以作为服务端为多个用户提供服务。

今天我们下载安装桌面版。

下载完成后，配置也非常简单。

首先点击左下角这个扳手进行配置：

如果要用本地安装的deepseek模型，在LLM提供商处选择ollama：

modal选择你安装的模型，我本机只有一个deepseek-r1:1.5b(比较穷），下面127.0.0.1:11434，就是本地ollama的服务端口，其他参数保持默认即可。

LLM模型配置之后就可以开始对话了，当然，anythingLLM在对话之前需要创建workplace，很简单，给个名字就完成了创建。

需要注意，对话之前本地的模型需要先启动起来。如果不启动模型直接对话，我猜测是anythingLLM在胡乱回答问题：