图解 LangChain 多语言文档处理，通宵达旦只为你打破语言障碍

本文链接：https://blog.csdn.net/python1222_/article/details/147768997

图解 LangChain 多语言文档处理，通宵达旦只为你打破语言障碍

LangChain 就像是一个多语言翻译官，可以帮你打通各种语言文档的沟通桥梁。

基本功能

1. 文档加载

# 导入文档加载器
from langchain.document_loaders import TextLoader, PDFLoader
# 加载英文文档
英文文档 = TextLoader("english_doc.txt").load()
# 加载中文PDF
中文文档 = PDFLoader("chinese_report.pdf").load()
# 加载多语言文件夹
from langchain.document_loaders import DirectoryLoader
多语言文档集 = DirectoryLoader("./multilingual/", glob="**/*.txt").load()

2. 文本分割

# 导入分割器
from langchain.text_splitter import RecursiveCharacterTextSplitter, MarkdownTextSplitter
# 创建中文分割器
中文分割器 = RecursiveCharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=50,
    separators=["\n\n", "\n", "。", "！", "？", " ", ""]
)
# 分割多语言文本
分割后文档 = 中文分割器.split_documents(多语言文档集)

Generated Image

实用功能

1. 多语言翻译处理

# 导入翻译链
from langchain.chains import TranslationChain
from langchain_community.llms import OpenAI
# 创建翻译链
llm = OpenAI(temperature=0.1)
翻译链 = TranslationChain.from_llm(
    llm=llm,
    source_language="zh",
    target_language="en",
    verbose=True
)
# 翻译中文文档
for doc in 中文文档:
    try:
        翻译结果 = 翻译链.run(doc.page_content)
        doc.metadata["translated_content"] = 翻译结果
    except Exception as e:
        print(f"翻译出错: {e}")

2. 语言检测与路由

# 导入语言检测工具
from langdetect import detect
import langchain
# 创建语言路由函数
def 语言路由处理(文档列表):
    处理结果 = []
    for doc in 文档列表:
        # 检测语言
        语言 = detect(doc.page_content)
        doc.metadata["language"] = 语言
        # 根据语言选择处理器
        if 语言 == "zh":
            处理器 = 中文处理链
        elif 语言 == "en":
            处理器 = 英文处理链
        else:
            处理器 = 默认处理链
        处理结果.append(处理器.run(doc))
    return 处理结果

3. 多语言向量化

# 导入向量存储
from langchain.vectorstores import Chroma
from langchain.embeddings import HuggingFaceEmbeddings
# 创建多语言嵌入模型
嵌入模型 = HuggingFaceEmbeddings(
    model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2",
    model_kwargs={'device': 'cuda'}
)
# 构建向量数据库
向量库 = Chroma.from_documents(
    documents=分割后文档,
    embedding=嵌入模型,
    persist_directory="./multilingual_db"
)
# 多语言检索
检索结果 = 向量库.similarity_search(
    "查询既可以是中文也可以是English",
    k=5
)

Generated Image

常见任务示例

1. 多语言知识库构建

# 定义文档类型和语言映射
文档类型 = {
    "英文": ["en", "*.txt", "*.pdf", TextLoader, PDFLoader],
    "中文": ["zh", "*.txt", "*.pdf", TextLoader, PDFLoader],
    "日文": ["ja", "*.txt", "*.pdf", TextLoader, PDFLoader]
}
def 构建多语言知识库(文档目录="./documents"):
    # 准备容器
    所有文档 = []
    # 按语言加载文档
    for 语言, 配置 in 文档类型.items():
        语言代码, 文本格式, PDF格式, 文本加载器, PDF加载器 = 配置
        # 加载文本文件
        文本目录加载器 = DirectoryLoader(
            文档目录,
            glob=文本格式,
            loader_cls=文本加载器
        )
        语言文本 = 文本目录加载器.load()
        # 加载PDF文件
        PDF目录加载器 = DirectoryLoader(
            文档目录,
            glob=PDF格式,
            loader_cls=PDF加载器
        )
        语言PDF = PDF目录加载器.load()
        # 添加语言元数据
        for doc in 语言文本 + 语言PDF:
            doc.metadata["language"] = 语言代码
            所有文档.append(doc)
    # 构建向量数据库
    return Chroma.from_documents(
        documents=所有文档,
        embedding=HuggingFaceEmbeddings(
            model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
        )
    )

2. 跨语言检索问答

# 创建多语言检索QA系统
from langchain.chains import RetrievalQA
from langchain_community.chat_models import ChatOpenAI
def 创建跨语言问答系统(向量库, 默认语言="zh"):
    # 创建语言模型
    llm = ChatOpenAI(temperature=0, model_name="gpt-3.5-turbo")
    # 检测查询语言
    def 检测语言(查询):
        try:
            检测结果 = detect(查询)
            return 检测结果
        except:
            return 默认语言
    # 创建检索QA链
    qa系统 = RetrievalQA.from_chain_type(
        llm=llm,
        chain_type="stuff",
        retriever=向量库.as_retriever(search_kwargs={"k": 3})
    )
    # 包装一个能处理多语言的函数
    def 多语言问答(查询):
        # 检测查询语言
        查询语言 = 检测语言(查询)
        # 添加语言指示到提示中
        增强查询 = f"请用{查询语言}语言回答: {查询}"
        # 获取回答
        结果 = qa系统.run(增强查询)
        return 结果
    return 多语言问答