windows本地AI知识库解决方案( pageassist + nomic + deepseek-r1:1.5b)

想要在windows中配置一个本地AI知识库,要求幻觉少,内存占有少,rag模型和语言模型都用本地的模型生成,下面的操作都是基于windows10进行

第一步 安装ollama

一、下载安装包

首先需要在windows中安装ollama服务,进入ollama官网下载页面,选择windows安装包即可下载
在这里插入图片描述

二、安装

点击安装包默认install即可安装成功(似乎没有选择自定义安装地址的地方,默认C盘)
不过我们可以把模型放到其他盘,这就需要进行环境变量的设置,具体操作步骤如下:

电脑桌面选择“此电脑” —— 右键 —— 选择“属性” —— 点击页面底下的“高级系统设置”
在这里插入图片描述

点击页面右下角的“环境变量”按钮
在这里插入图片描述

点击“环境变量”页面中“系统变量”的新建按钮
在这里插入图片描述

输入如图内容即可,变量名为:OLLAMA_MODELS;变量值为想要模型存储的位置
在这里插入图片描述

第二步 安装相关模型

win+R快捷键弹出运行框,输入cmd点击确定
在这里插入图片描述

在命令行中输入ollama list不报错就说明安装好了,在运行过程中(图中我是已经安装了很多模型,初始化情况下此列表应该为空)
在这里插入图片描述

执行ollama run deepseek-r1:1.5b就能下载对应的模型了,(具体ollama支持那些模型,可以进入链接页面查看)。
下载完会进入下面的页面,则代表可以对话了
在这里插入图片描述

继续执行ollama run nomic-embed-text:latest,会自动下载此RAG模型,最后会出现如图的报错,这个不用管他
在这里插入图片描述

以上,ollama安装模型就完成了,一共安装了两个模型,一个对话模型 deepseek-r1:1.5b,一个RAG模型 nomic-embed-text:latest

第三步 安装插件

先到本链接下载pageassist插件包 插件压缩包

在本地解压后,记住解压后的地址
在这里插入图片描述

进入到Google浏览器插件管理页面
浏览器右上角 —— 点击“管理拓展程序”
在这里插入图片描述

点击左上角“加载已解压的拓展程序”按钮 —— 选择上一步解压的文件夹
在这里插入图片描述

此时,点击拓展程序中对应的插件,就可以进入到页面
在这里插入图片描述

第四步 配置插件

选择右上角的设置按钮
在这里插入图片描述

需要配置红框中的三个模块
RAG Settings配置RAG模型内容
Ollama Settings配置语言模型内容
Manage Knowledge配置知识库内容
在这里插入图片描述

点击RAG Setting,选择 nomic-embed-text:latest 模型
在这里插入图片描述

点击“save”,【注意save的位置,这个不是页面最下面的save按钮】
在这里插入图片描述

选择Ollama Settings,如图配置,点击save按钮
在这里插入图片描述

选择Manage Knowledge —— 点击右边的Add New Knowledge —— 上传文件 —— 点击submit
注意:这里也可以同时选择多个文件,不过似乎文档库只能创建不能修改,所以创建文档库时相关文件就要全部上传
在这里插入图片描述

这样最基本的配置就完成了,知识库中也传入了一个文档

第五步 使用插件

点击首页左上角的New Chat,点击图中②的地方选择知识库内容
在这里插入图片描述
这样就可以和模型对话啦!生成的效率还得要看电脑配置。
大家有遇到什么问题欢迎留言探讨。

### 实现 DeepSeek 模型本地化部署并集成 Cherry Studio 进行知识库导入 #### 准备工作 为了成功完成 DeepSeek 模型的本地化部署以及与 Cherry Studio 的集成,需先确保环境满足最低硬件和软件需求。这通常涉及一台具有足够内存和支持 GPU 加速(如果可能的话)的工作站或服务器。 #### 部署 DeepSeek 模型 对于 DeepSeek R1 模型的本地部署,可以遵循官方提供的详细指南[^1]。此过程主要包括下载必要的依赖项和服务组件,配置网络参数,并启动相应的服务实例。具体来说: - **安装嵌入模型**:通过执行 `ollama pull nomic-embed-text` 命令来获取所需的文本嵌入模型[^3]。 ```bash ollama pull nomic-embed-text ``` 该命令会自动拉取最新版本的预训练模型到本地存储中,以便后续处理阶段可以直接调用这些资源来进行高效的自然语言理解任务。 #### 设置 Cherry Studio 并创建私有知识库 一旦完成了上述准备工作,则可转向 Cherry Studio 的设置环节。访问官方网站 (https://cherry-ai.com/) 下载客户端应用程序并按照提示完成安装流程。之后的操作重点在于构建个性化的知识体系结构——即所谓的“私人知识库”。 尽管在实际操作过程中可能会遇到一些挑战,比如上传文件生成知识库速度较慢的问题[^4],但这并不影响整体架构的有效性和实用性。针对这一情况,建议优化输入文档的质量控制措施或是探索其他更高效的数据源接入方式作为补充手段。 #### 整合两者功能实现交互应用 最后一步是要让这两个独立的部分能够协同工作。这意味着要建立从 Cherry Studio 到已部署好的 DeepSeek 模型之间的通信桥梁,使得前者所管理的知识条目可以通过后者得到智能化解析和利用。这种连接通常是借助 RESTful API 或者 WebSocket 协议等形式达成,在某些情况下也可能涉及到自定义插件开发以增强兼容性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值