Maxkb +Ollama + Xinference打造自己的deepseek知识库 (二)


前言

关于安装可以看第一篇文章:
Maxkb +Ollama + Xinference打造自己的deepseek知识库 (一)

在(二)中将和大家分享模型的部署。


一、Ollama下载模型

1.打开windows的命令窗口,再次检查是否安装成果。

ollama

在这里插入图片描述
2. 拉取deepseek模型
在我的配置下32b是最适合的,所以:

ollama run deepseek-r1:32b

不同的电脑可以去ollama的图书馆看,https://ollama.com/library/deepseek-r1:32b。需要考虑自己的电脑内存和显卡这些。
在这里插入图片描述
3. 查看ollama库是否已经有对应的模型

ollama list

在这里插入图片描述

4.不接入知识库体验deep

<think>好的,我现在要帮助用户了解如何使用MaxKBOllama搭建本地知识库,并集成DeepSeek实现交互式问答。首先,我需要整理用户提到的引用内容,看看里面有没有关键步骤或者需要注意的地方。 根据引用[1],MaxKB支持与Ollama这样的本地私有大模型结合,快速部署本地知识库系统。这说明MaxKBOllama的整合是可行的,用户需要先安装这两个工具。引用[2]提到了一篇详细的部署教程,可能涉及具体的安装和配置步骤,比如环境准备、模型加载等。引用[3]则指出DeepSeek-R1的最大token数为8192,这可能在后续配置模型参数时需要特别注意,避免超出限制。 接下来,我应该分步骤来解答用户的问题。首先需要安装OllamaMaxKB,然后配置模型,接着集成DeepSeek。需要注意的是,Ollama负责本地模型的运行,而MaxKB作为知识库管理系统,需要连接到Ollama提供的模型服务。可能还需要在MaxKB中添加Ollama作为模型供应商,并设置相应的API地址。 用户可能遇到的难点包括环境配置是否正确、模型是否成功加载、以及如何确保MaxKB正确调用DeepSeek模型。需要提醒用户检查服务是否正常启动,端口是否开放,以及模型名称是否正确。此外,测试交互界面是否能够正确生成回答,并引用本地知识库的内容,这也是关键的一步。 最后,要确保回答结构清晰,步骤详细,并且引用相关的资料来支持每个步骤的正确性。同时,生成的相关问题需要围绕部署过程中可能遇到的疑问展开,帮助用户进一步解决潜在的问题。</think>以下是使用MaxKBOllama搭建本地知识库并集成DeepSeek的完整方法指南: ### 一、环境准备 1. 安装Ollama(版本≥0.1.28) ```bash curl -fsSL https://ollama.com/install.sh | sh ollama serve ``` 2. 部署MaxKB(推荐使用Docker方式) ```bash docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb ``` ### 、模型配置 1. 加载DeepSeek模型到Ollama ```bash ollama run deepseek-ai/deepseek-r1 ``` 2. 验证模型加载 ```bash curl http://localhost:11434/api/tags ``` 注意模型最大上下文长度设置为8192 tokens[^3] ### 三、MaxKB集成配置 1. 登录MaxKB管理界面(http://IP:8080) 2. 进入「模型设置」→「添加模型」 3. 选择Ollama提供商: ``` API地址:http://ollama-host:11434 模型名称:deepseek-r1 最大token:8192 ``` ### 四、知识库构建 1. 创建知识库→上传文档(支持PDF/DOCX/TXT) 2. 配置分词策略: ```python # 示例分词函数 def split_text(text, chunk_size=512): return [text[i:i+chunk_size] for i in range(0, len(text), chunk_size)] ``` 3. 启用混合检索模式(语义+关键词) ### 五、交互界面开发 使用MaxKB提供的API实现问答接口: ```python import requests def ask_question(question): headers = {"Authorization": "Bearer API_KEY"} payload = { "question": question, "model": "deepseek-r1", "temperature": 0.7 } response = requests.post("http://maxkb:8080/api/v1/chat/completions", json=payload, headers=headers) return response.json()["choices"][0]["message"]["content"] ``` ### 六、验证流程 1. 检查知识库引用标记 ```json // 响应示例 { "answer": "...[本地知识库内容]...", "references": [ {"doc_id": "001", "segment": "3.2.1"}, {"doc_id": "005", "segment": "1.4"} ] } ``` 2. 执行压力测试(建议使用Locust工具)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xixiya_49346343

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值