构建查询分析系统：提升检索精度的利器

本文链接：https://blog.csdn.net/cgsayuclv/article/details/144401765

引言

在处理大量文档和信息时，简单的搜索可能很难满足我们的需求。想象一下，我们正在开发一个基于视频的搜索引擎，希望它能精准地找到某段时间内发布的相关视频。如果我们只依赖于将用户输入直接用于相似度搜索，这种方法会有什么局限性？在本文中，我们将探讨如何通过查询分析来提高搜索精度。

主要内容

1. 安装和环境设置

为了简化过程，我们将使用LangChain库和YouTube视频转录插件来加载和处理视频数据。

# %pip install -qU langchain langchain-community langchain-openai youtube-transcript-api pytube langchain-chroma

准备好API密钥以便使用OpenAI进行文本嵌入：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()

2. 文档加载与预处理

我们可以使用YoutubeLoader从YouTube获取视频转录，将其转化为文档对象。

from langchain_community.document_loaders import YoutubeLoader
import datetime

urls = [
    "https://www.youtube.com/watch?v=HAn9vnJy6S4",
    # 其他视频链接
]

docs = []
for url in urls:
    docs.extend(YoutubeLoader.from_youtube_url(url, add_video_info=True).load())

for doc in docs:
    doc.metadata["publish_year"] = int(
        datetime.datetime.strptime(
            doc.metadata["publish_date"], "%Y-%m-%d %H:%M:%S"
        ).strftime("%Y")
    )

3. 索引与检索

我们使用向量存储来索引文档，同时通过文本分割来提高检索效率。

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(chunk_size=2000)
chunked_docs = text_splitter.split_documents(docs)
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore = Chroma.from_documents(
    chunked_docs,
    embeddings,
)

4. 查询分析的重要性

在进行简单的相似度搜索时，我们可能无法获得想要的结果，特别是当我们想按特定年份进行过滤时。这是因为简单搜索无法处理文档属性。为了解决这个问题，我们可以通过查询分析将用户问题转化为结构化查询。

from typing import Optional
from langchain_core.pydantic_v1 import BaseModel, Field

class Search(BaseModel):
    query: str = Field(..., description="Similarity search query applied to video transcripts.")
    publish_year: Optional[int] = Field(None, description="Year video was published")

通过调用OpenAI的工具API，我们将用户输入转化为更优化的结构化查询。

from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
structured_llm = llm.with_structured_output(Search)
query_analyzer = {"question": RunnablePassthrough()} | prompt | structured_llm

5. 带有查询分析的检索

利用生成的查询执行检索，确保结果符合用户需求。

from typing import List
from langchain_core.documents import Document

def retrieval(search: Search) -> List[Document]:
    if search.publish_year is not None:
        _filter = {"publish_year": {"$eq": search.publish_year}}
    else:
        _filter = None
    return vectorstore.similarity_search(search.query, filter=_filter)

retrieval_chain = query_analyzer | retrieval

results = retrieval_chain.invoke("RAG tutorial published in 2023")