Chroma 加载文档到缓存中

### 使用 Chroma 加载文档至缓存的方法及实现方式 Chroma 是一种专门设计用于高效存储和检索嵌入向量的数据库工具，它能够很好地支持基于大语言模型的应用场景中的数据管理和查询操作。当涉及到将文档加载到缓存中时，可以通过以下机制来完成： #### 1. 数据预处理阶段 在使用 Chroma 前，通常需要先对原始文档进行分割和转换为适合向量化的格式。LlamaIndex 提供了一种灵活的方式通过 `Transformations` 来构建自定义的数据处理流水线[^1]。这些 Transformation 可以包括但不限于分词、清洗文本、提取关键词等。 ```python from llama_index import SimpleDirectoryReader, GPTVectorStoreIndex, LLMPredictor, ServiceContext from langchain.embeddings.huggingface import HuggingFaceEmbeddings from chromadb.config import Settings import chromadb # 初始化 Chroma 客户端并设置持久化路径 chroma_client = chromadb.Client(Settings( chroma_db_impl="duckdb+parquet", persist_directory="./data/chroma" )) # 创建集合 (Collection)，这是 Chroma 中的一个基本单位 collection_name = "my_documents_collection" try: collection = chroma_client.get_or_create_collection(name=collection_name) except Exception as e: print(f"Error creating or getting collection: {e}") ``` 上述代码展示了如何初始化一个 Chroma 实例，并创建了一个名为 `"my_documents_collection"` 的 Collection。此过程允许我们将后续生成的向量存储在此处以便于快速访问。 #### 2. 向量化与插入 一旦完成了初步的数据准备之后，则需进一步利用诸如 Hugging Face Embedding Model 或者 OpenAI API 对每一段文字内容计算其对应的高维特征表示——即所谓的“embedding”。随后把这些 embedding 结果连同原文本一同写回到之前建立好的 Chroma 集合里去。 ```python def add_texts_to_chroma(collection, texts): embeddings_model = HuggingFaceEmbeddings() ids = [] metadatas = [] documents = [] for idx, text in enumerate(texts): id_ = f"text_{idx}" # 计算当前段落的 embedding 并加入列表 document_embedding = embeddings_model.encode([text]) documents.append(document_embedding.tolist()) # 添加元数据和其他辅助信息 metadata = {"source": "example_source", "length": len(text)} metadatas.append(metadata) ids.append(id_) try: collection.add(documents=documents, metadatas=metadatas, ids=ids) except ValueError as ve: print(f"Value error while adding to collection: {ve}") # 示例调用 sample_texts = ["This is the first sample sentence.", "Another example of a second piece."] add_texts_to_chroma(collection, sample_texts) ``` 这里我们编写了一个函数 `add_texts_to_chroma()` ，用来批量地把多个字符串类型的文本片段转化为它们各自的 embedding 表达形式后再上传给定的目标 Collection 。值得注意的是，在实际应用当中可能还需要额外记录一些关于每个条目本身的附加属性作为 Metadata 存储下来，方便以后做更加精细复杂的过滤条件匹配查找工作。 #### 3. 缓存策略优化 正如前面所提及那样，整个 ingestion pipeline 当中的各个组成部分都具备可被自动记忆下来的特性。这意味着只要输入参数保持一致的话，那么无论何时再次运行相同的 transformation 步骤都不会真正重新执行一遍而是直接读取先前已经产生的中间产物从而极大地提高了效率减少了不必要的资源浪费现象发生几率。对于那些依赖外部服务（像某些大型 AI 模型预测接口之类的）的情况来说尤其重要因为这不仅节约了宝贵的时间成本同时也降低了整体费用支出水平。 另外值得一提的地方在于 score_threshold_process 函数的作用范围虽然主要集中在筛选符合条件的结果集方面但是也可以间接影响最终能否成功命中已存在的 cache entry 上面因此合理调整相关配置参数同样有助于提升系统的性能表现效果[^2]。 最后需要注意的一点就是随着项目规模不断扩大可能会遇到越来越多不同类型的新需求例如针对复杂知识结构或者特殊领域内的专业知识库维护等问题都需要提前规划好相应的解决方案才能确保长期稳定可靠运作下去[^4]。 ---