解锁Databricks Vector Search的潜力：全方位指南-CSDN博客

本文链接：https://blog.csdn.net/cgsayuclv/article/details/144358034

# 解锁Databricks Vector Search的潜力：全方位指南

## 引言
在现代数据驱动的世界中，快速、高效地查找相似的数据项变得至关重要。Databricks Vector Search提供了一种无服务器的解决方案，通过将数据表示为向量存储，使得相似性搜索更加简便和高效。在本文中，我们将深入了解Databricks Vector Search的功能，并演示如何使用SelfQueryRetriever来增强搜索体验。

## 主要内容

### Databricks Vector Search概述
Databricks Vector Search是一个无服务器的相似性搜索引擎，允许用户将数据的向量表示（包括元数据）存储在向量数据库中。它支持与由Unity Catalog管理的Delta表自动更新搜索索引，并通过简单的API查询以返回最相似的向量。

### 创建Databricks向量存储索引
首先，我们需要创建一个Databricks向量存储索引并用一些数据进行初始化。在此演示中，我们将使用一组包含电影摘要的文档集。

### 环境准备
确保安装所需的包：
```bash
%pip install --upgrade --quiet  langchain-core databricks-vectorsearch langchain-openai tiktoken

设置环境变量

使用OpenAI的API嵌入功能，需要获取API密钥，并设置Databricks的host和token：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
databricks_host = getpass.getpass("Databricks host:")
databricks_token = getpass.getpass("Databricks token:")

创建并描述索引

使用以下代码创建索引，并添加文档：

from databricks.vector_search.client import VectorSearchClient
from langchain_openai import OpenAIEmbeddings
from langchain_core.documents import Document
from langchain_community.vectorstores import DatabricksVectorSearch

embeddings = OpenAIEmbeddings()
emb_dim = len(embeddings.embed_query("hello"))

vector_search_endpoint_name = "vector_search_demo_endpoint"
vsc = VectorSearchClient(
    workspace_url=databricks_host, personal_access_token=databricks_token
)
vsc.create_endpoint(name=vector_search_endpoint_name, endpoint_type="STANDARD")

index_name = "udhay_demo.10x.demo_index"

index = vsc.create_direct_access_index(
    endpoint_name=vector_search_endpoint_name,
    index_name=index_name,
    primary_key="id",
    embedding_dimension=emb_dim,
    embedding_vector_column="text_vector",
    schema={
        "id": "string",
        "page_content": "string",
        "year": "int",
        "rating": "float",
        "genre": "string",
        "text_vector": "array<float>",
    },
)

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"id": 1, "year": 1993, "rating": 7.7, "genre": "action"},
    ),
    # 其他文档...
]

vector_store = DatabricksVectorSearch(
    index,
    text_column="page_content",
    embedding=embeddings,
    columns=["year", "rating", "genre"],
)

vector_store.add_documents(docs)

代码示例

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string",
    ),
    # 其他元数据字段
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vector_store, document_content_description, metadata_field_info, verbose=True
)

# 测试检索器
retriever.invoke("What are some movies about dinosaurs")

常见问题和解决方案

API访问问题

由于网络限制，API访问可能会不稳定。开发者可以考虑使用API代理服务来提高访问的可靠性。

向量维度不匹配

确保在创建索引时，向量的维度与嵌入模型输出的维度一致。

总结与进一步学习资源

Databricks Vector Search为相似性搜索提供了强大的工具，适合处理大型数据集。在实际应用中，它能够显著提升数据检索的效率。为了进一步深入了解，建议查看以下资源：

参考资料

Langchain API Documentation
Databricks API Guide

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---