使用FAISS实现高效的向量相似性搜索

qahaj

于 2025-03-21 01:54:47 发布

阅读量340

点赞数 3

文章标签： faiss python

本文链接：https://blog.csdn.net/qahaj/article/details/146410126

版权

在当今的数据密集型应用中，越来越多的场景需要对大量的向量数据进行相似性搜索，而Facebook提供的FAISS库正是为此而生。FAISS能够高效地处理内存中无法容纳的大规模向量集合，并提供了多种算法来实现快速的相似性搜索和聚类。

技术背景介绍

FAISS，全称Facebook AI Similarity Search，是一个用于高效相似性搜索和密集向量聚类的库。它可以处理任意规模的向量集合，无论这些数据是否能够被内存容纳。与此同时，FAISS还提供了评估和参数调优的支持代码，帮助用户更高效地进行模型优化。

核心原理解析

FAISS通过使用多种索引结构来优化搜索性能，包括平面索引、分层索引、压缩索引等。它的核心思想是通过减少计算和内存访问，来提高搜索速度。FAISS的设计能够适应RAM大小限制，甚至支持GPU以进一步加速处理。

代码实现演示

下面我们通过一个完整的代码示例来展示如何使用FAISS进行相似性搜索。为简单起见，本示例使用langchain包提供的接口来初始化FAISS库，并添加示例文档。

环境准备

首先，确保安装必要的库：

pip install -qU langchain-community faiss-cpu
pip install -qU langchain-openai langchain-huggingface langchain-core

初始化和文档添加

import openai
import faiss
from uuid import uuid4
from langchain_community.docstore.in_memory import InMemoryDocstore
from langchain_community.vectorstores import FAISS
from langchain_core.embeddings import OpenAIEmbeddings, Document

# 创建OpenAI Embeddings实例
embeddings = OpenAIEmbeddings(model="text-embedding-3-large")

# 初始化FAISS索引
index = faiss.IndexFlatL2(len(embeddings.embed_query("hello world")))

# 创建向量存储
vector_store = FAISS(
    embedding_function=embeddings,
    index=index,
    docstore=InMemoryDocstore(),
    index_to_docstore_id={},
)

# 创建并添加文档
documents = [
    Document(page_content="I had chocolate chip pancakes and scrambled eggs for breakfast this morning.", metadata={"source": "tweet"}),
    Document(page_content="The weather forecast for tomorrow is cloudy and overcast, with a high of 62 degrees.", metadata={"source": "news"}),
    # 更多文档...
]
uuids = [str(uuid4()) for _ in range(len(documents))]
vector_store.add_documents(documents=documents, ids=uuids)

查询向量存储

# 执行相似性搜索
results = vector_store.similarity_search(
    "LangChain provides abstractions to make working with LLMs easy", 
    k=2, 
    filter={"source": "tweet"}
)

# 输出搜索结果
for res in results:
    print(f"* {res.page_content} [{res.metadata}]")