欢迎大家关注 微信公众号|计算生物前沿
一、用Ollama下载模型
首先我们需要安装Ollama,它可以在本地运行和管理大模型,点此可以直接跳转。
根据自己对应的系统选择即可
注意:这里可能需要魔法
下载完成后点击安装,完成后安装窗口会自动关闭,你的系统托盘图标会出现一个常驻的Ollama标记
接下来win+R进入命令行界面,输入ollama就会返回相应的信息
可以根据自己的电脑配置来进行判断,自己应该下载哪个模型,我的电脑显存为24G
,可以部署32b
输入指令:ollama run deepseek-r1:32b
注意:这里必须使用魔法
下载完成之后即可在命令行中进行对话了:
二、安装Cherry Studio
命令行下进行对话实在是太抽象了,所以需要一个交互界面,事实上交互界面有很多可选,这里使用Cherry Studio: Cherry Studio - 全能的AI助手
根据自己的选择操作系选择对应的版本即可
安装完成之后打开软件进行配置,按照图中的流程即可,由于本人还安装了bge-m3和70b,所以会有一些不一样:
这个时候就可以用了,去创建对话即可:
三、下载embedding模型
为了构建本地知识库,那么必须得下载embedding模型,前面提到的bge-m3就是免费的embedding模型。
下载方式同deepseek-r1,不再过多描述(同样需要魔法)。
下载完成后同样按照deepseek-r1的方式添加模型即可。
按照下图中的流程即可构建属于你自己的本地库,其中名称可以任填,嵌入模型选择红色框框的(由于你没有配置硅基流动的API,你是不会出现第一个选项的)
创建完成之后即可往里添加文件了,等待一会右边出现√即表示完成
等到所有的文件都添加完毕之后,创建新的对话助手并进行设置,选择需要的本地知识库后即可使用
四、硅基流动API配置(可选)
如果你觉得自己下载需要网络和电脑本身配置的要求,你也同样可以使用硅基流动的API,使用下面的链接进行注册即可:硅基流动统一登录 。
注册完成之后按照图片步骤生成API:
打开Cherry Studio进行API配置:
到这里就算是配置完成了,后面就由大家自由探索吧
写在最后:这一套思路构建的本地知识库,表现很差!!!!!会出现机器幻觉,经过我的测试,目前最好的方案是使用RAGflow!