LlamaIndex中使用本地LLM和Embedding

### 如何在 Llama Index 中使用 Chroma #### 安装依赖库 为了能够在 Llama Index 项目中集成并使用 Chroma，首先需要确保安装了必要的 Python 库。可以通过 pip 来完成这些包的安装： ```bash pip install chromadb llama-index ``` #### 配置 Chroma Vector Store 当希望自定义 `ChromaVectorStore` 使用特定集合（collection），可以按照如下方式创建并向其中添加文档节点。这允许更灵活地管理不同类型的嵌入数据。 ```python from llama_index import SimpleDirectoryReader, GPTListIndex, LLMPredictor, ServiceContext from langchain.embeddings.huggingface import HuggingFaceEmbeddings from llama_index.vector_stores.chroma import ChromaVectorStore import chromadb # 初始化 ChromaDB 客户端以及指定 collection 名称 client = chromadb.Client() chroma_collection_name = 'my_custom_collection' try: client.create_collection(chroma_collection_name) except ValueError as e: print(f"Collection {chroma_collection_name} already exists.") vector_store = ChromaVectorStore( chroma_client=client, collection_name=chroma_collection_name ) # 加载文件夹中的所有文档作为输入源 documents = SimpleDirectoryReader('data').load_data() # 将加载好的 documents 转换成 nodes 并保存到 vector store 中 for doc in documents: node = ... # 构建 Node 对象逻辑省略 vector_store.add([node]) service_context = ServiceContext.from_defaults(llm_predictor=LLMPredictor(), embed_model="text-davinci-003") index = GPTListIndex(nodes=[], service_context=service_context, vector_store=vector_store) ``` 上述代码片段展示了如何设置一个名为 `my_custom_collection` 的新集合来存储来自本地目录的数据文件转换后的节点对象[^1]。 #### 查询优化与性能提升 考虑到索引操作可能较为耗时，在实际应用过程中建议预先计算好 embedding，并将其持久化至外部向量数据库如 Chroma 中。这样做不仅能够减少重复劳动，还能显著加快检索速度[^2]。 对于已经存在于 Chroma 数据库内的记录，可以直接利用其高效的查询接口获取所需信息而无需再次执行完整的索引流程。例如，如果想要基于某个条件筛选出符合条件的一组条目，则可通过如下命令实现： ```python results = chroma_collection.get(where={"metadata_field": "value"}) ``` 这里假设每篇文档都附带了一些元数据字段用于辅助过滤[^3]。