DeepSeek本地部署+本地知识库构建

欢迎大家关注 微信公众号|计算生物前沿


一、用Ollama下载模型

首先我们需要安装Ollama,它可以在本地运行和管理大模型,点此可以直接跳转

根据自己对应的系统选择即可

注意:这里可能需要魔法

下载完成后点击安装,完成后安装窗口会自动关闭,你的系统托盘图标会出现一个常驻的Ollama标记

接下来win+R进入命令行界面,输入ollama就会返回相应的信息

可以根据自己的电脑配置来进行判断,自己应该下载哪个模型,我的电脑显存为24G,可以部署32b

输入指令:ollama run deepseek-r1:32b

注意:这里必须使用魔法

下载完成之后即可在命令行中进行对话了:

二、安装Cherry Studio

命令行下进行对话实在是太抽象了,所以需要一个交互界面,事实上交互界面有很多可选,这里使用Cherry Studio: Cherry Studio - 全能的AI助手

根据自己的选择操作系选择对应的版本即可

安装完成之后打开软件进行配置,按照图中的流程即可,由于本人还安装了bge-m3和70b,所以会有一些不一样

这个时候就可以用了,去创建对话即可:

三、下载embedding模型

为了构建本地知识库,那么必须得下载embedding模型,前面提到的bge-m3就是免费的embedding模型。

下载方式同deepseek-r1,不再过多描述(同样需要魔法)。

下载完成后同样按照deepseek-r1的方式添加模型即可。

按照下图中的流程即可构建属于你自己的本地库,其中名称可以任填,嵌入模型选择红色框框的(由于你没有配置硅基流动的API,你是不会出现第一个选项的

创建完成之后即可往里添加文件了,等待一会右边出现即表示完成

等到所有的文件都添加完毕之后,创建新的对话助手并进行设置,选择需要的本地知识库后即可使用

四、硅基流动API配置(可选)

如果你觉得自己下载需要网络和电脑本身配置的要求,你也同样可以使用硅基流动的API,使用下面的链接进行注册即可:硅基流动统一登录

注册完成之后按照图片步骤生成API:

打开Cherry Studio进行API配置:

到这里就算是配置完成了,后面就由大家自由探索吧

写在最后:这一套思路构建的本地知识库,表现很差!!!!!会出现机器幻觉,经过我的测试,目前最好的方案是使用RAGflow

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值