rag增强检索-基于关键词检索的混合检索模式

最新推荐文章于 2025-05-29 14:07:56 发布
最新推荐文章于 2025-05-29 14:07:56 发布
阅读量216 收藏
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 海量数据分析-机器学习和深度学习 AI大模型 文章标签： 人工智能 语言大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011095039/article/details/147558734

1. 为什么在 RAG 里要用关键词检索？

  • 向量检索（embedding-based retrieval）是找语义相近的内容，但有时候不够准确。
  • 比如用户问了具体人名、产品型号、年份，这类关键词强指向性的信息，用向量检索可能匹配不到最相关内容。
  • **关键词检索（keyword-based retrieval）**可以直接通过词匹配（如倒排索引、BM25）拿到精准结果。

所以，在 RAG 里常常会混合用：
→ 先关键词召回，再向量检索排序，或者两者结合。

2. 关键词检索的基本实现方式

主流有几种方法：

（1）简单倒排索引
  • 建一个词到文档ID的倒排表（Elasticsearch、Lucene 就是干这个的）
  • 用户query分词后，直接去倒排表里查有哪些文档包含这些词
  • 计算一个得分，比如常见的 BM25

例子：

query: "Apache Flink 流式计算"
分词:
了解本专栏 订阅专栏 解锁全文 超级会员免费看
RAG（Retrieval-Augmented Generation，检索增强生成）
allein_STR的博客
05-19 80
RAG（Retrieval-Augmented Generation）是一种结合检索与生成的架构，旨在解决传统语言模型在处理需要外部知识任务时的局限性。传统模型依赖预训练数据，难以处理动态或实时信息，且可能产生错误信息。RAG通过检索外部知识库获取相关信息，再结合语言模型生成回答，适用于问答系统、事实核查、实时信息生成等需要准确外部知识的任务。RAG架构包括检索器、向量数据库、生成模型和排序/过滤模块，形成“检索-生成-反馈”链路。其优势包括知识时效性、抗幻觉能力、可解释性和轻量级适配。典型应用场景包括企业
大模型RAG(检索增强生成) ：什么是RAG？为什么需要 RAG？RAG 主要包含哪些模块?
Code1994的博客
04-10 681
RAG（Retrieval Augmented Generation, 检索增强生成）是一种技术框架，其核心在于当 LLM 面对解答问题或创作文本任务时，首先会在大规模文档库中搜索并筛选出与任务紧密相关的素材，继而依据这些素材精准指导后续的回答生成或文本构造过程，旨在通过此种方式提升模型输出的准确性和可靠性。
一文读懂RAG（检索增强生成）
2401_85375298的博客
08-09 1799
近阶段，笔者落地了一个蛮深刻的项目，该项目通过RAG技术成功解决了一些问题。因此计划通过两篇文章跟大家分享有关RAG结合ToB Agent应用的探索与实践。本篇文章，主要关于笔者对RAG（围绕Navie RAG）的些许理解。
不用苦苦寻觅！这是大模型检索增强生成（RAG）最全综述！
热门推荐
机器学习社区
02-03 1万+
是什么：RAG 是一种通过检索外部知识库来获得额外语料，并使用 ICL（In-Context-Learning，上下文学习）来改进 LLM 生成效果的范式。为什么：LLM 受训练语料的限制，无法感知最新的内容，比如 LLM 训练后的新闻；此外，LLM 也容易产生幻觉，生成不正确的内容。如何做：当用户发起一个生成请求时，首先基于用户的 prompt 来检索相关信息，然后这些信息会被组合到 prompt 中，为生成过程提供额外的上下文，最后将组合后的 prompt 输入 LLM 生成结果。
一文读懂检索增强生成技术（RAG）
2301_81888214的博客
11-26 1030
近年来，AIGC 的关注度持续攀升，大型生成模型在众多领域和模态中展现出令人瞩目的成果，例如文本和代码领域的 GPT 系列和 LLAMA 系列模型、图像领域的 DALL-E 和 Stable Diffusion 模型、以及文生长视频背后的 Sora 模型。
Elasticsearch：什么是检索增强生成 (RAG)？
Elastic 中国社区官方博客
12-08 4106
​检索增强生成 (RAG) 是一种利用来自私有或专有数据源的信息来补充文本生成的技术。 它将旨在搜索大型数据集或知识库的检索模型与大型语言模型 (LLM) 等生成模型相结合，后者获取该信息并生成可读的文本响应。 检索增强生成可以通过添加来自其他数据源的上下文并通过培训补充 LLMs 的原始知识库来提高搜索体验的相关性。 这增强了大型语言模型的输出，而无需重新训练模型。 其他信息来源的范围包括 LLM 未受过培训的互联网上的新信息、专有业务背景或属于企业的机密内部文件。 RAG 对于问答和内容生成等任务
检索增强生成 (RAG)的原理——传统检索+LLM生成相结合
Android23333的博客
03-19 1078
RAG是一种检索增强生成模型，由信息检索系统和seq2seq生成器组成。它的内部知识可以轻松地随时更改或补充，而无需浪费时间或算力重新训练整个模型。
RAG-基于Java实现的增强检索生成RAG项目-包含知识库+检索-附项目源码+流程教程-优质项目实战
10-20
本项目RAG是一个基于Java实现的优质实战案例，它不仅展示了如何构建一个增强型检索系统，还提供了知识库和检索功能。在这个项目中，Java不仅被用于后端开发，还可能涉及到前端的交互设计，实现了用户友好的查询界面...
增强检索RAG-基于LangChain搭建的RAG增强检索系统-附项目源码-优质项目实战.zip
08-28
增强检索RAG_基于LangChain搭建的RAG增强检索系统_附项目源码_优质项目实战
RAG-基于本地知识库检索+LLM微调的智能问答系统实现-附项目源码-优质项目实战.zip
09-03
在智能问答系统中，RAG模型（Retrieval-Augmented Generation）是一种结合了检索和生成的模型，它首先从一个预先定义好的知识库中检索出相关的信息，然后利用预训练的语言模型（LLM）生成最终的答案。 在本文中，...
人工智能-检索增强生成-基于BM25、BGE的检索增强生成RAG示例
11-19
在深入探讨基于BM25和BGE的检索增强生成RAG示例之前，我们首先需要了解RAG模型的基本概念，以及BM25和BGE这两种检索增强技术的原理和应用场景。RAG模型，即Retrieval-Augmented Generation模型，是一种结合了信息...
5分搞懂大模型 - RAG（检索、增强、生成）
2401_85327249的博客
09-01 5576
RAG（Retrieval-Augmented Generation，检索增强生成） 是一种结合了信息检索技术与语言生成模型的人工智能技术。该技术通过从外部知识库中检索相关信息，并将其作为提示（Prompt）输入给大型语言模型（LLMs），以增强模型处理知识密集型任务的能力，如问答、文本摘要、内容生成等。RAG模型由Facebook AI Research（FAIR）团队于2020年首次提出，并迅速成为大模型应用中的热门方案。
三种高级RAG检索方法帮企业告别冗长文档！
weixin_42570296的博客
07-04 674
前言RAG(Retrieval-Augmented Generation)检索增强生成，是现如今基于企业私域知识的问答应用所使用的主流技术之一。相较于重新训练基于私域知识的大模型来说，RAG没有额外的预训练成本，且回答效果与之相当。但在实际应用场景中，RAG所面临最大的问题是LLM的上下文长度限制。企业私域知识文本的数量十...
一文读懂 RAG：LLM 借助检索打开思路
进一步有进一步的欢喜~
02-03 1142
检索增强生成（RAG）的出现，利用外部知识数据库来增强LLMs，弥补了LLMs的幻觉问题、知识更新等问题。本文系统地介绍了RAG的每个组成部分，特别是检索器和检索融合重要技术，以及带有教程代码的检索融合技术。展示了不同的RAG训练策略，包括带或不带数据存储更新的RAG。讨论了RAG在下游NLP任务和实际NLP场景中的应用。
一文带你了解RAG(检索增强生成) | 概念理论介绍+ 代码实操
weixin_58753619的博客
05-08 709
RAG（Retrieval Augmented Generation, 检索增强生成）是一种技术框架，其核心在于当 LLM 面对解答问题或创作文本任务时，首先会在大规模文档库中搜索并筛选出与任务紧密相关的素材，继而依据这些素材精准指导后续的回答生成或文本构造过程，旨在通过此种方式提升模型输出的准确性和可靠性。RAG 技术架构图介绍：富文本 主要存储于 txt 文件中，因为排版比较整洁，所以获取方式比较简单【版面分析——富文本txt读取】
开启RAG进阶：混合检索（关键字&向量）+重排序（原理讲解与示例体验）
2401_84204207的博客
08-22 2701
接下来我们就先来了解下到底什么是混合检索，可能从我们以上综合提到了两个检索方式，也已经能推断出来了。没错，在RAG系统中，混合搜索最常见指向量检索和关键词检索的组合。混合检索是结合了两种或者多种搜索算法提高搜索结果相关性的搜索技术。RAG部分，我们陆陆续续分享了好几篇文章，从了解RAG到RAG与Fine tune的对比，再到RAG的实操：文档切片的方法、关键字检索、向量检索。
RAG技术对比：AI原生应用中的检索增强方案选型
最新发布
AI天才研究院
05-29 805
知识时效性与专业领域覆盖不足。RAG（Retrieval-Augmented Generation）技术正是为解决这一问题而生：通过“先检索外部知识库，再结合LLM生成”的方式，让AI能访问实时、专业或定制化的信息。本文将聚焦AI原生应用（如智能客服、专业问答、内容创作工具）中最常用的3类检索方案（文本检索、向量检索、混合检索），从技术原理、优缺点、落地成本、适用场景4个维度展开对比，最终输出“方案选型决策树”。用“写作业查资料”的故事引出RAG核心流程。
AI学习指南RAG篇(6)-RAG的技术路线
俞兆鹏的博客
03-11 334
RAG技术通过不同的实现方法，如基于向量检索的RAG和基于图谱的RAG，有效地结合了信息检索与生成模型的优势，解决了大语言模型在知识更新、幻觉问题和上下文理解等方面的局限性。基于向量检索的RAG具有高效和准确的特点，适用于大规模文本数据的检索；基于图谱的RAG则通过结构化信息增强了模型的语义理解和逻辑推理能力，适用于需要高可解释性的场景。希望本文能帮助你更好地理解RAG技术的不同实现方法及其应用场景。如果你对RAG技术感兴趣，欢迎继续关注本系列的后续文章，我们将深入探讨RAG技术的实现细节和实践应用。
探索RAG(检索增强生成)：三大RAG技术的特点与应用场景
weixin_56175042的博客
12-30 3681
本文介绍了RAG（检索增强生成）技术，通过结合信息检索与生成模型，显著提升大语言模型的准确性和实时性。探讨了RAG的三种主要检索方式：精确上下文检索、Embedding检索和Graph RAG（基于知识图谱的检索）。每种方法有其独特的优势和适用场景，适用于不同的应用需求。
dify混合检索
04-02
### Dify混合检索的实现方式与配置 #### 背景概述 Dify 是一种基于大语言模型的应用框架，支持多种检索模式，包括向量检索、关键词检索以及两者的组合——即所谓的 **混合检索**。通过合理配置，可以显著提升检索效果并满足多样化的业务需求[^1]。 --- #### 混合检索的核心概念 混合检索是指将向量相似度计算（Vector Search）和传统关键词匹配（Keyword Matching）相结合的一种方法。其主要优势在于能够兼顾语义理解和精确匹配的需求。具体来说： - 向量检索依赖于预训练的语言模型生成文档嵌入（Embeddings），从而捕捉到更深层次的语义关系。 - 关键词检索则通过对文本中的特定词语进行精准定位来补充向量检索可能遗漏的内容。 这种双管齐下的策略可以在复杂查询场景下提供更高的召回率和准确性。 --- #### 配置示例 以下是实现 Dify 中混合检索功能的一个典型配置案例： ```yaml retrieval: type: hybrid # 设置为混合检索模式 vector_search: enabled: true # 开启向量检索 top_k: 5 # 返回前5个最接近的结果 model_name: deepseek-r1 # 使用 DeepSeek-R1 构建 Embedding 的模型名称 keyword_search: enabled: true # 开启关键词检索 match_type: exact # 定义关键词匹配的方式 (exact/phrase/fuzzy) boost_factor: 0.8 # 提升关键词检索权重的比例，默认值介于 0 到 1 之间 fusion_strategy: method: weighted_sum # 综合两种检索得分的方法（weighted_sum/rank_fusion） weights: vector_score_weight: 0.7 # 向量检索分数占比 keyword_score_weight: 0.3 # 关键词检索分数占比 ``` 上述 YAML 文件定义了一个完整的混合检索流程，其中包含了以下几个重要参数： - `type`：指定检索类型为 `hybrid` 表明启用混合检索机制； - `vector_search` 和 `keyword_search` 分别控制各自模块的行为及其优先级； - `fusion_strategy` 描述如何融合两类检索结果，比如采用加权求和法或将排名综合考虑进去。 --- #### 实用技巧 为了进一步优化混合检索的效果，在实际部署过程中还可以尝试以下几种调整措施： 1. **动态调节权重比例** 根据不同应用场景灵活改变 `weights` 参数分配给每种检索手段的重要性程度。例如对于高度结构化数据集可适当增加关键词部分比重；而对于自然语言类资料，则应更多倚重矢量表示能力。 2. **引入反馈学习机制** 收集用户交互行为作为监督信号用于改进初始设定好的超参数值或者重新训练定制版 embedding generator 来适应特殊领域内的表达习惯。 3. **多轮迭代测试验证** 不断重复执行实验评估环节直至找到最佳平衡点为止。每次改动之后都需要进行全面性能指标对比分析以确认修改方向正确与否。 --- #### 常见错误及解决办法 在实施混合检索的过程中可能会遇到一些典型的陷阱需要注意规避： | 错误描述 | 解决方案 | | --- | --- | | 忽视了对原始素材质量的要求导致最终呈现出来的关联性较差 | 加强前期的数据治理工作，剔除噪声干扰项的同时保留有效信息密度较高的片段 | | 单纯追求覆盖率而牺牲掉精度使得返回条目虽然数量充足却缺乏针对性 | 平衡好 recall 和 precision 这两者之间的矛盾关系，必要时候可以通过人工标注样本辅助机器判断标准的确立 | 以上表格列举了一些常见的问题表现形式连同对应的纠正思路供参考使用。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

贾斯汀玛尔斯

愿我的经历曾为你指明方向

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值