anythingllm 调用知识库

### 使用 AnythingLLM 调用知识库 为了实现通过 AnythingLLM 来调用知识库并进行问答，可以采用 RAG (Retrieval-Augmented Generation) 架构来增强模型的表现。这种方法允许系统不仅依赖预训练的语言模型权重，还能动态检索和利用外部存储的知识。 具体来说，在构建这样的应用程序时，通常会涉及以下几个方面的工作： #### 配置 Ollama 和 AnythingLLM 确保已经安装配置好 Ollama 平台以及集成了 AnythingLLM 模型。这一步骤是为了让后续能够顺利加载模型实例，并为其设置必要的参数以便于查询处理[^1]。 ```bash pip install ollama-api # 安装Ollama API客户端包 ``` #### 创建索引数据库 对于想要纳入到知识库中的文档集合，需要先对其进行向量化表示并通过合适的搜索引擎建立索引。这样当有新的问题输入进来的时候就可以快速找到最相关的片段作为上下文传递给 LLM 进行推理生成回复。 ```python from langchain.embeddings import HuggingFaceEmbeddings from chromadb.api.types import Include import chromadb client = chromadb.Client() collection_name = "knowledge_base" texts_to_add = ["文本数据...] embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/all-MiniLM-L6-v2") # 添加文档至ChromaDB chroma_client.create_collection(name=collection_name, embedding_function=embeddings) chroma_client.add_texts(collection_name=collection_name, texts=texts_to_add) ``` #### 设计对话接口逻辑 最后就是设计具体的API端点或者命令行工具让用户可以通过自然语言提问的方式发起请求。接收到问题之后，程序内部应该执行如下操作流程：解析用户意图 -> 查询相似度最高的几个候选答案所在的段落位置 -> 将这些信息连同原始问句一起送入AnythingLLM中完成最终的回答合成工作。 ```python def get_answer(question: str): results = chroma_client.query( collection_name=collection_name, query_texts=[question], n_results=3 ) context = "\n".join([doc['text'] for doc in results['documents'][0]]) prompt = f"Given the following extracted parts of a document:\n{context}\n\nQuestion:{question}" response = llm.generate(prompt=prompt).choices[0].text.strip() return {"answer":response} ```