一图看懂大模型中RAG的流程实现

最新推荐文章于 2025-04-21 15:50:34 发布
最新推荐文章于 2025-04-21 15:50:34 发布
阅读量405 收藏 3
点赞数 10
分类专栏： 大模型 文章标签： prompt 大模型 RAG 向量数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37899908/article/details/145669241
版权

一、流程图

在这里插入图片描述

二、流程描述

  • 加载文档

  • 读取文档

  • 文档分割

  • 文档向量化

  • 用户输入内容

  • 内容向量化

  • 文本向量中匹配出与用户提问的向量相似的top_k个

  • 匹配出的文本作为上下文和问题一起添加到prompt中

  • 提交给LLM生成答案

三、RAG实现步骤

1、步骤一：构建数据库索引（Index）

a) 加载不同来源，不同格式文档；
b) 将文档分割成块（Chunk）；
c)对切块的数据进行向量化并存储到向量数据库；

2、步骤二：检索-增强（Retrieval-Augmented）

a) 通过向量相似度检索与问题最相关的k个文档；
b) 检索召回知识附加上下文填充至prompt;

3、步骤三：生成

a) 检索增强提示输入至LLM生成请求响应

大模型——一文看懂RAG、LangChain、Agent三者的关系
06-02 31
RAG（检索增强生成）、LangChain和Agent是AI大模型领域的三个关键技术。RAG通过"检索-整合-生成"机制提升模型生成质量，适用于专业领域和实时知识更新场景。LangChain是一个开源编排框架，提供模块化工具简化大模型应用开发。Agent则是能自主感知、决策和行动的智能实体。三者可协同工作：在LangChain框架中使用RAG技术支持Agent，使其完成特定任务流程。这种组合正推动着AI应用范围的不断扩大和能力提升。
【深度学习基础】一篇搞懂什么是RAG（检索增强内容生成）？
十二月的猫
08-15 1274
有一个名为LangChain的流行开源库，它可以创建聊天机器人，其中包括用 3 行代码对任何网站/文档进行问答。这是LangChain 文档中的一个示例理解问题根据问题内容在网站/文档中检索信息将其中和问题相关的信息输出")它输出特定于 Paul Graham 文章（greatwork）的答案：注意：如果您有兴趣，可以尝试根据 Paul Graham 的文章构建的聊天机器人。第一次运行它时感觉就像纯粹的魔法。这到底是如何工作的？答案是一个称为。
大模型开发：模型训练全流程详解（从参数设置到优化调整）
程序员鑫港的博客
02-07 2681
在深度学习中，学习率（Learning Rate）是一个非常重要的参数，它决定了每次模型参数更新的步伐大小。学习率可以理解为模型“学习”的速度。如果学习率设置得太大，模型可能会在训练过程中跳过最优解，无法正确收敛；而如果学习率太小，模型的学习过程会非常缓慢，甚至可能陷入局部最优解，难以得到最佳效果。在深度学习的训练过程中，我们通常使用大量的数据来让模型从中学习。为了高效地处理这些数据，PyTorch 提供了 DataLoader，它可以将数据集分批次加载，并支持多线程处理，加快数据的加载速度。
大模型微调方法（非常详细），收藏这一篇就够了！
HUANGXIN9898的博客
04-16 1100
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。其中，大模型微调技术在此过程中起到了非常关键的作用，它提升了模型的生成效率和适应性，使其能够在多样化的应用场景中发挥更大的价值。
LLM系列 | 26：阿里千问Qwen模型解读、本地部署
ljp1919的专栏
11-04 2万+
Qwen 是一个全能的语言模型系列，包含各种参数量的模型，如 Qwen（基础预训练语言模型，即基座模型）和 Qwen-Chat（聊天模型，该模型采用人类对齐技术进行微调）。基座模型在众多下游任务中始终表现出卓越的性能，而聊天模型，尤其是使用人类反馈强化学习（RLHF）训练的模型，具有很强的竞争力。聊天模型Qwen-Chat拥有先进的工具使用和规划能力，可用于创建agent应用程序。即使在使用代码解释器等复杂任务上，Qwen-Chat与更大的模型相比也能表现出极具竞争力的性能。
大模型面试准备（十）：大模型数据处理方法及优秀的开源数据介绍
2201_75499313的博客
03-31 2988
所使用的**指标包括字母重复度、单词重复度、特殊字符、困惑度等。**完整的指标列表可以参考文献[3]。这些指标根据每个来源的不同，进行了两种主要的调整：针对每种语言单独选择参数，如阈值等；人工浏览每个数据来源，以确定哪些指标最可能识别出非自然语言。
大模型高级 RAG 检索策略之句子窗口检索
2201_75499313的博客
03-14 1760
在介绍句子窗口检索之前，我们先简单介绍一下普通的 RAG 检索，下面是普通 RAG 检索的流程图：先将文档切片成大小相同的块将切片后的块进行 Embedding 并保存到向量数据库根据问题检索出 Embedding 最相似的 K 个文档库将问题和检索结果一起交给 LLM 生成答案普通 RAG 检索的问题是如果文档切片比较大的话，检索结果可能会包含很多无关信息，从而导致 LLM 生成的结果不准确。
大模型入门到进阶：什么是 RAG？为什么需要 RAG？RAG 的流程
热门推荐
star_nwe的博客
08-14 3万+
学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！
一文读懂：大模型RAG
weixin_42029738的博客
06-11 1165
本文概述 RAG 的核心算法，并举例说明其中的一些方法。RAG融合是一个强大的功能，能够提高RAG应用的语义搜索效率。通过使用语言模型生成多个查询并对搜索结果进行重新排序，RAG融合可以呈现更丰富多样的内容，并提供了一个额外的层次，用于调整应用。此外，RAG融合还可以实现自动纠正、节省成本以及增加内容多样性。但是，需要注意一些权衡，比如潜在的延迟问题、自动纠正的挑战以及成本影响。对于依赖常见概念但可能出现内部行话或重叠词汇的应用来说，RAG融合尤其有用。
大语言模型新范式RAG，这种降本增效的方法你了解多少？零基础入门到精通，收藏这一篇就够了
abao6690的博客
08-08 1067
大语言模型新范式RAG，这种降本增效的方法你了解多少？
一文搞懂大模型、RAG、函数调用、Agent、知识库、向量数据库、知识图谱、AGI的区别和联系！！...
musicml的博客
06-02 4498
▼最近直播超级多，预约保你有收获—0—背景我们要把 AI 大模型当做人的大脑，因此调用 AI 大模型，相当于调用一个人，把 AI 大模型当人看，TA 懂人话、TA 说人话、TA 会直接给出结果，但结果不一定正确。因此在 AI 大模型的推理基础上，通过 RAG、Agent、知识库、向量数据库、知识图谱等技术手段实现了真正的 AGI（通用人工智能）。这些技术到底有哪些区别和联系，下图作了横向对比，接下...
高级检索增强生成技术(RAG)全面指南：原理、分块、编码、索引、微调、Agent、展望...
zenRRan的博客
12-25 1万+
来自：旺知识ChatGPT、Midjourney等生成式人工智能（GenAI）在文本生成、文本到图像生成等任务中表现出令人印象深刻的性能。然而，生成模型也不能避免其固有的局限性，包括产生幻觉的倾向，在数学能力弱，而且缺乏可解释性。因此，提高他们能力的一个可行办法是让他们能够与外部世界互动，以不同的形式和方式获取知识，从而提高所生成内容的事实性和合理性。检索增强生成（Retrieval-Augmen...
大模型入门（六）—— RLHF微调大模型
chaishen10000的专栏
06-15 6001
所以价值的计算如下：核心是下面的delta的计算，除了考虑到当前的时刻的奖励值，还考虑到了未来时刻的输出的奖励值nextvalues（只不过这里的奖励值是由critic网络直接输出的每个token对应的分数）。从上图可以看出，给定一个输入x，会生成两个文本y11和y22，一个来自于初始的模型，另一个来自于微调的模型，微调的模型生成的文本还会进入到奖励模型中打分输出rθ，而初始模型和微调的模型生成的结果会用KL散度约束它们的分布，确保模型不会太偏离原来的模型，并且能输出高质量的回复。
有浏览器就行，手把手带你从零微调大模型！
python12345_的博客
07-09 2581
今天分享一篇技术文章，你可能听说过很多大模型的知识，但却从未亲自使用或微调过大模型。大模型微调本身是一件非常复杂且技术难度很高的任务，因此本篇文章仅从零开始，手把手带你走一遍微调大模型的过程，并不会涉及过多技术细节。希望通过本文，你可以了解微调大模型的流程。微调大模型需要非常高的电脑配置，比如GPU环境，相当于你在已经预训练好的基础上再对大模型进行一次小的训练。但是不用担心，本篇文章会使用阿里魔塔社区提供的集成环境来进行，无需使用你自己的电脑配置环境。
模块化的RAG和RAG流程：第二部分
myboyliu2007的专栏
01-29 1161
定义了模块和运算符之后，它们可以帮助我们从流程角度查看各种RAG方法。每个RAG可以使用一组运算符进行排列。模块化RAG框架那么，在模块化RAG范式下，我们应该如何设计我们的RAG系统？在第二部分中，我们将深入探讨典型的RAG流程模式、具体的RAG流程实施以及最佳行业案例。典型的RAG流程模式和实施首先，让我们探索RAG流程的突出模式，以及每个模板下的具体流程，展示不同的模块和运算符是如何协调的。在RAG Flow的背景下，我们将为微调阶段划分三个不同的流程，并为推理阶段划分四个流程。
大模型高级 RAG 检索策略之流程与模块化
2301_78285120的博客
06-12 1519
通过上面的示例，我们可以看到如何通过模块化和流程的方式来实现高级 RAG 检索功能，我们可以根据具体的需求，自定义不同的模块，然后将这些模块按照一定的顺序组合起来，形成一个完整的查询流水线。在 RAG 应用中，我们还可以定义多个查询流水线，用于不同的场景，比如问答、对话、推荐等，这样可以更好地满足不同的需求。关注我，一起学习各种人工智能和 AIGC 新技术，欢迎交流，如果你有什么想问想说的，欢迎在评论区留言。
一文详谈RAG优化方案与实践
weixin_45583158的博客
06-19 1372
导读RAG通过检索现有的大量知识，结合强大的生成模型，为复杂的问答、文本摘要和生成任务带来了全新的解决方案。本文详细的介绍了RAG遇到的挑战、通用范式、工程实践、优化实现策略等。一、RAG的背景介绍随着ChatGPT的兴起，大语言模型再次走进人们的视野，其在NLP领域表现出的语言识别、理解以及推理能力令人惊叹。越来越多的行业开始探索大语言模型的应用，比如政务、医疗、交通、导购等行业。通义系列、GP...
RAG（Retrieve-and-Generate）实现流程详解
最新发布
爱的叹息的专栏
04-21 860
RAG（Retrieve-and-Generate）实现流程详解
大模型微调七步法：让模型更懂你
xiangxueerfei的博客
06-14 1286
在开始实际训练之前，我们需要定义一个函数来评估微调后的模型。
AI大模型应用：RAG模型与专家知识图谱的联合实现
总结来说，该压缩包是一个AI大模型应用的实践指南，涉及RAG模型的技术实现，同时提供了通过代码和数据演示如何在实际中应用这些模型。此外，该资源还提供了一个可供演示和测试的环境，以及必要的文档和依赖文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

初夏0811

你的鼓励将是我创作最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值