RAG实践（一）安装本地OLLAMA

### 基于 Ollama 和 AnythingLLM 的 DeepSeek-R1 本地 RAG 实现 #### 准备工作 为了在本地环境中部署并使用带有RAG功能的DeepSeek-R1模型，需先安装Ollama工具以及设置AnythingLLM环境。Ollama允许以类似于容器镜像的方式管理和下载所需的训练文件[^2]。 ```bash # 安装ollama CLI工具 pip install ollama-cli ``` #### 下载和启动模型 通过指定命令可以轻松获取特定版本的DeepSeek-R1模型，并将其作为服务启动： ```bash # 使用ollama拉取并运行7B参数量的DeepSeek-R1模型实例 ollama pull deepseek-r1:7b ollama run deepseek-r1:7b ``` #### 配置 AnythingLLM 访问前端 完成上述操作后，下一步是在AnythingLLM中配置Web界面以便能够与已加载的模型交互。这通常涉及编辑配置文件来指向正在运行的服务地址。 ```json { "model": { "name": "deepseek-r1", "version": "7b", "url": "http://localhost:8000" } } ``` #### 构建检索增强生成(Retrieval-Augmented Generation, RAG) 对于构建完整的RAG系统而言，在已有基础上还需集成文档索引库（如Elasticsearch、FAISS等），用于存储外部知识源供查询时调用。当接收到用户输入后，应用程序会首先向这些索引发起搜索请求，收集相关信息片段后再传递给DeepSeek-R1进行最终的回答合成处理。 ```python from elasticsearch import Elasticsearch import requests def retrieve_documents(query): es = Elasticsearch() response = es.search(index="knowledge_base", body={"query": {"match": {"content": query}}}) documents = [hit["_source"]["content"] for hit in response["hits"]["hits"]] return "\n".join(documents) def generate_response_with_rag(user_input): context = retrieve_documents(user_input) payload = { 'prompt': f"Context:\n{context}\n\nQuestion:{user_input}", 'max_tokens': 50, 'temperature': 0.9 } api_url = "http://localhost:8000/generate" response = requests.post(api_url, json=payload).json() generated_text = response['choices'][0]['text'] return generated_text.strip() ```