LangChain与LlamaIndex对比

引言

     检索增强生成（RAG）把信息检索与生成式模型结合，在问答、摘要及其他 NLP 任务中极具威力。实现 RAG 最常用的两大框架是 LangChain 与 LlamaIndex。二者都可处理文档摄取、切分、索引，并把各步骤串联成流畅的 RAG 工作流。但哪一个更契合你的项目？本文将围绕 RAG 的四大核心组件——加载器（Loaders）、切分器（Splitters）、索引（Indexing）与链（Chains）——逐层比较 LangChain 与 LlamaIndex，并在每一步给出代码示例。

https://zhuanlan.zhihu.com/p/1914345414183854144https://zhuanlan.zhihu.com/p/1914345414183854144

LangChain 关键组件

LangChain 围绕以下模块构建：

提示（Prompts）
提示是给予语言模型的指令，用以引导回答。LangChain 提供标准化接口来创建与管理提示，便于跨模型、跨场景复用与定制。

模型（Models）
LangChain 为多家大模型（如 OpenAI GPT-4o、Anthropic Claude、Cohere 等）提供统一接口，抽象掉不同模型的差异，实现无缝切换。

记忆（Memory）
LangChain 的亮点之一是其记忆管理能力。与普通 LLM 独立处理每条查询不同，LangChain 可保存先前交互信息，实现上下文连贯的对话。它提供多种记忆实现，可保存完整对话历史，也可通过摘要旧信息、保留近期信息的方式工作。

链（Chains）
链是一系列操作，每一步的输出作为下一步的输入。LangChain 提供健壮接口来构建与管理链，并附带大量可复用组件。这种模块化方法可创建集成多种工具与多次 LLM 调用的复杂工作流。

智能体（Agents）
智能体根据输入判断并执行动作。它们利用 LLM 决定动作顺序，并调用各种工具完成任务。LangChain 提供多种预制智能体，可按需定制。

LangChain 的强项
• 需要保留对话上下文的聊天机器人、自动客服等场景
• 通过提示让 LLM 执行文本生成、翻译、问答等任务
• 提供访问多源多格式文档的加载器，丰富 LLM 知识库
• 使用文本嵌入模型生成语义嵌入，支持 50 余种向量存储方案实现内容发现与检索
• 智能体与工具包：智能体依据自然语言指令行动，可动态调用链。

LlamaIndex 关键组件

LlamaIndex 为 LLM 增添 RAG 能力，让外部知识源、数据库、索引充当记忆。

LlamaIndex 典型工作流

索引阶段
将私有数据高效转为可搜索的向量索引。可处理无结构文本、结构化数据库记录、知识图谱等。数据被转换为捕捉语义含义的数值嵌入，以便后续快速相似度搜索。

存储
默认情况下，索引数据仅存于内存；如需持久化，可用 .persist() 方法写入磁盘，后续通过重建存储上下文并加载索引，节省重索引时间与算力。

向量存储
用于保存索引阶段产生的嵌入。

嵌入
默认使用 OpenAI 的 text-embedding-ada-002，也可按所用 LLM 替换其他嵌入方案。VectorStoreIndex 将文本转为嵌入，查询时亦将问题转为嵌入并返回最相似的前 k 个文本块（top-k 语义检索）。若嵌入已存在，可直接从向量库加载，免去重新索引。

查询阶段
系统根据语义相似度从向量索引中检索最相关片段，连同原始问题交给大模型生成最终回答。

检索
从存储索引中检索最相关信息并送给 LLM，返回最新且上下文相关的回答。

后处理
对检索到的节点（文档片段）进行重排、变换或过滤，通过元数据或关键词提高数据的相关性与准确性。

回答合成
将查询、最相关数据及初始提示组合后送 LLM 生成回答。

LlamaHub
包含多种数据加载器，可将多源数据接入应用。例如 Google Docs Reader、SimpleDirectoryReader 等，支持 md、PDF、图片、Word、音视频等格式。

LangChain vs LlamaIndex：基本概览
• LlamaIndex 长于搜索与检索，适合需高级搜索的项目。能快速、精准地从大数据集中检索信息。
• LangChain 是一套模块化、灵活的工具集，可构建各类 NLP 应用，提供标准链式接口、丰富集成及端到端场景链。

特性对比

主要关注点
LlamaIndex：搜索与检索
LangChain：灵活的大模型应用开发

数据索引
LlamaIndex：高度高效
LangChain：模块化、可定制

检索算法
LlamaIndex：先进且经过优化
LangChain：与 LLM 集成，输出具备上下文感知

用户界面
LlamaIndex：简洁易用
LangChain：全面且可适配

集成能力
LlamaIndex：多数据源、平台无缝集成
LangChain：支持多种 AI 技术和服务

定制化
LlamaIndex：有限，聚焦索引与检索
LangChain：高度可定制，支持复杂工作流

上下文保持
LlamaIndex：基础
LangChain：先进，对聊天机器人与长对话至关重要

典型用例
LlamaIndex：内部搜索、知识管理、企业方案
LangChain：客服、内容生成、代码文档

性能
LlamaIndex：速度与精度优化
LangChain：高效处理复杂数据结构

生命周期管理
LlamaIndex：与调试、监控工具集成
LangChain：通过 LangSmith 提供完整评估套件

LlamaIndex 中的切分器
LlamaIndex 使用 TokenTextSplitter，按 token 数量切分文档，确保块大小符合模型限制。

from llama_index import TokenTextSplitter

# Define a token splitter
splitter = TokenTextSplitter(chunk_size=1000)
chunks = splitter.split(documents)
print(chunks[0].text)

1. 加载器对比

   
   加载器负责从本地文件、API、数据库等多源加载文档。二者均提供常用格式的内置加载器。
    

   LangChain 中的加载器
   LangChain 拥有多种加载器，可加载文本、PDF 甚至网页。

   from langchain.document_loaders import TextLoader
   # Load a text document
   loader = TextLoader("sample.txt")
   documents = loader.load()
   print(documents[0].page_content)
    

   LangChain 加载器返回一个 Document 对象列表，可继续处理。
    

   LlamaIndex 中的加载器
   LlamaIndex（原 GPT Index）采用类似方式加载文档，并支持 Pandas DataFrame 等额外格式。

   from llama_index import SimpleDirectoryReader
   # Load a text document from a directory
   loader = SimpleDirectoryReader('path/to/docs')
   documents = loader.load_data()
   print(documents[0].text)
   
   LlamaIndex 的加载器同样返回 Document 对象列表，但结构可能因加载器而异。

2. 切分器对比

   
   切分器将大文档拆分成小块，以适配 GPT、BERT 等模型的 token 限制。
    

   LangChain 中的切分器
   LangChain 的切分器称为 TextSplitters，可按字符、单词或句子自定义切分。
    

   from langchain.text_splitter import CharacterTextSplitter

   # Define a character splitter
   splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
   chunks = splitter.split_documents(documents)
   print(chunks[0].page_content)
    

3. 索引对比

   
   索引是 RAG 核心，支持基于用户查询快速检索相关片段。
    

   LangChain 中的索引
   LangChain 使用 VectorStoreIndex，通过文档嵌入创建索引，支持相似度检索。
    

   from langchain.vectorstores import FAISS
   from langchain.embeddings.openai import OpenAIEmbeddings

   # Create embeddings
   embedding_model = OpenAIEmbeddings()

   # Create FAISS index
   index = FAISS.from_documents(chunks, embedding_model)
   
    

   LlamaIndex 中的索引
   LlamaIndex 通过 GPTTreeIndex 简化索引，使用树形结构实现高效检索。
    

   from llama_index import GPTTreeIndex

   # Create an index
   index = GPTTreeIndex(documents)
   query_engine = index.as_query_engine()

4. 链对比

   
   链指将检索与生成串接的操作序列。二者均可把检索结果送入生成模型。

   LangChain 中的链
   LangChain 支持灵活链式，可将 LLMChain 等多个组件组合成复杂工作流。
    

   from langchain.chains import RetrievalQA
   from langchain.llms import OpenAI

   # Combine FAISS index and OpenAI for RAG
   llm = OpenAI()
   qa_chain = RetrievalQA(llm=llm, retriever=index.as_retriever())
   result = qa_chain.run("What is the content of the document?")
   print(result)
    

   LlamaIndex 中的链
   LlamaIndex 通过 query engine 将检索与生成合并，简化实现。
    

   response = query_engine.query("What is the content of the document?")
   print(response)

何时选 LangChain 或 LlamaIndex？

选择取决于项目复杂度、所需灵活性及框架特性。

1. 控制与定制

   
   • LangChain：提供对 RAG 管道各组件的细粒度控制，可构建高度灵活的工作流，适合多源异构数据与多种检索策略。
   示例场景：构建多模态 RAG，需同时处理 PDF、网页、API。
    

   from langchain.chains import SequentialChain
   from langchain.llms import OpenAI
   from langchain.document_loaders import WebPageLoader, TextLoader
   from langchain.vectorstores import FAISS

   # Step 1: Load data from multiple sources
   pdf_loader = TextLoader("docs/sample.pdf")
   web_loader = WebPageLoader(url="https://example.com")
   documents = pdf_loader.load() + web_loader.load()

   # Step 2: Create embeddings and index
   embedding_model = OpenAIEmbeddings()
   index = FAISS.from_documents(documents, embedding_model)

   # Step 3: Build a chain that retrieves and generates responses
   llm = OpenAI()
   qa_chain = RetrievalQA(llm=llm, retriever=index.as_retriever())

   # Run the chain
   response = qa_chain.run("What are the key points in the PDF and website?")
   print(response)

   
   
   • LlamaIndex：适合较小范围、结构简单的文本任务，配置极简，迅速落地。
    

   from llama_index import SimpleDirectoryReader, GPTTreeIndex

   # Load documents from a directory
   loader = SimpleDirectoryReader('docs/')
   documents = loader.load_data()

   # Build a tree index and query
   index = GPTTreeIndex(documents)
   query_engine = index.as_query_engine()

   # Query the system
   response = query_engine.query("Summarize the legal document.")
   print(response)
    

2. 集成与生态

   
   • LangChain：连接器丰富（FAISS、Pinecone、Chroma 等向量库；OpenAI、Claude、Hugging Face 等模型），切换模型、存储轻松自如。

   from langchain.chains import SimpleSequentialChain
   from langchain.llms import OpenAI, HuggingFaceHub

   # Use GPT-4 and Hugging Face BERT sequentially
   gpt_chain = LLMChain(llm=OpenAI(model="gpt-4"), prompt="What is AI?")
   bert_chain = LLMChain(llm=HuggingFaceHub(model="bert-large-uncased"), prompt="Translate the response.")

   # Chain them together
   chain = SimpleSequentialChain(chains=[gpt_chain, bert_chain])
   result = chain.run("What is the future of AI?")
   print(result)

   
   • LlamaIndex：集成能力相对有限，但在快速文档摄取与查询场景表现可靠。

3. 复杂查询与检索

   
   • LangChain：支持路由查询、混合检索（关键词+向量）、后检索重排等高级策略。
   示例：法律文档用关键词检索，科研论文用向量检索，LangChain 可路由至对应检索器。

   from langchain.retrievers.multi_retriever import MultiRetriever
   from langchain.retrievers import FAISSRetriever, KeywordRetriever

   # Define keyword and embedding-based retrieval systems
   keyword_retriever = KeywordRetriever(documents=legal_documents)
   embedding_retriever = FAISSRetriever(index=scientific_index)

   # Combine them in a MultiRetriever
   retriever = MultiRetriever(retrievers={
        'legal': keyword_retriever,
        'science': embedding_retriever
   })

   # Query the retriever with a legal question
   response = retriever.retrieve("What are the recent changes in contract law?")
   print(response)

   
   • LlamaIndex：适合简单任务，如文档内定位或摘要，其树状索引对层次分明的文档（合同、法规）尤佳。
    

   from llama_index import GPTTreeIndex

   # Load and index legal contracts
   documents = SimpleDirectoryReader('contracts/').load_data()
   index = GPTTreeIndex(documents)

   # Query specific clauses within a contract
   response = index.query("What are the termination clauses?")
   print(response)

   
    

4. 生态与社区

   
   • LangChain：社区活跃，更新迅速，云部署、扩展更成熟。
   
   • LlamaIndex：相对年轻，却在简单工作流或层次数据场景快速流行。
    

结论：选 LangChain 还是 LlamaIndex？

二者均为优秀 RAG 框架，但适用场景不同。

选 LangChain 若你需要：
• 对每个环节进行深度定制
• 处理多模态、多源数据
• 采用高级检索策略（混合搜索、后检索重排）
• 与多种模型、存储系统无缝集成
LangChain 功能更强、更灵活，适合需要复杂管道与深度定制的场景。

选 LlamaIndex 若你需要：
• 简单轻量的快速 RAG 实现，聚焦文档检索与摘要
• 适配层次化文档的树状索引
• 最小配置即可运行的系统
LlamaIndex 更简洁高效，适合文档型任务且无需深度定制。

最终，项目复杂度决定选择：
• 复杂多源、高定制需求 → LangChain
• 文档型、层次结构、快速落地 → LlamaIndex