LazyGrapgRAG:与GraphRAG完全不同的方法

LazyGraphRAG 是微软最新推出的一种与 Graph RAG 截然不同的方法,该方法不需要事先汇总源数据,从而避免了前期索引成本,而前期索引成本对于某些用户和用例来说可能是难以承受的。

LazyGraphRAG 的一个关键优势是其在成本和质量方面的固有可扩展性

与标准向量 RAG、RAPTOR、GraphRAG 和 DRIFT 相比,LazyGraphRAG 在成本质量范围内表现出色,如下所示:

  • LazyGraphRAG 数据索引成本与向量 RAG 相同,仅为完整 GraphRAG 成本的 0.1%。

  • 对于与向量 RAG 相当的查询成本,LazyGraphRAG 在本地查询方面的表现优于所有竞争方法,包括长上下文向量 RAG 和 GraphRAG DRIFT 搜索以及 GraphRAG 本地搜索。

  • 相同的 LazyGraphRAG 配置也显示出与 GraphRAG Global Search 相当的全局查询答案质量,但查询成本降低了 700 多倍。

  • 对于 GraphRAG 全局搜索的查询成本的 4%,LazyGraphRAG 在本地和全局查询类型上的表现都明显优于所有竞争方法,包括 C2 级别(大多数应用程序推荐的社区层次结构的第三级)的 GraphRAG 全局搜索。

LazyGraphRAG 即将在 GraphRAG 库开源,它通过与标准向量 RAG 成本相当的轻量级数据索引为本地和全局查询提供统一的查询界面。

LazyGraphRAG 旨在融合向量 RAG 和 GraphRAG 的优势,同时克服它们各自的局限性:

  • 向量 RAG 是一种最佳优先搜索形式,它使用与查询的相似性来选择最佳匹配的源文本块。但是,它没有意识到全局查询要考虑的数据集的广度。

  • GraphRAG 全局搜索是一种广度优先搜索形式,它使用源文本实体的社区结构来确保查询的答案考虑到数据集的全部广度。但是,它没有意识到本地查询要考虑的最佳社区。

LazyGraphRAG 以迭代深化的方式结合了最佳优先和广度优先搜索动态(表 1)。与完整 GraphRAG 的全局搜索机制相比,这种方法在某种程度上是“懒惰的”,可以推迟 LLM 的使用并显著提高答案生成的效率。整体性能可以通过一个主要参数(相关性测试预算)进行扩展,该参数以一致的方式控制成本质量权衡。

LazyGraphRAG 表明,单一、灵活的查询机制有可能在本地全局查询范围内大大优于各种专门的查询机制,而且无需 LLM 数据汇总的前期成本。其非常快速且几乎免费的索引功能使 LazyGraphRAG 成为一次性查询、探索性分析和流数据用例的理想选择,同时它能够随着相关性测试预算的增加而平稳地提高答案质量,使其成为对一般 RAG 方法进行基准测试的宝贵工具。

这是否意味着所有支持图形的 RAG 都应该是惰性的?我们认为答案是否定的,原因有三:

  1. 实体、关系和社区摘要的 GraphRAG 数据索引具有超越问答的实用价值(例如,阅读和共享报告)。

  2. GraphRAG 数据索引包含实体、关系和社区摘要,结合类似 LazyGraphRAG 的搜索机制,可能会取得比单独使用 LazyGraphRAG 更好的效果。

  3. 一种旨在支持类似 LazyGraphRAG 的搜索机制(例如,通过先发制人的声明和主题提取)的新型 GraphRAG 数据索引可能会取得最佳效果。

未来将会在 GraphRAG 仓库开源:https://github.com/microsoft/graphrag


如何系统学习掌握AI大模型?

AI大模型作为人工智能领域的重要技术突破,正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口,掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程,需要从基础开始,逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源,包括:AI大模型全套学习路线图(从入门到实战)、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等,资料免费分享

1. 成长路线图&学习规划

要学习一门新的技术,作为新手一定要先学习成长路线图方向不对,努力白费

这里,我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。
在这里插入图片描述

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础(书籍含电子版PDF)

在这里插入图片描述

3. 大模型视频教程

对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识

在这里插入图片描述

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。

在这里插入图片描述

5. 大模型项目实战

学以致用 ,当你的理论知识积累到一定程度,就需要通过项目实战,在实际操作中检验和巩固你所学到的知识,同时为你找工作和职业发展打下坚实的基础。

在这里插入图片描述

6. 大模型面试题

面试不仅是技术的较量,更需要充分的准备。

在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。

在这里插入图片描述

全套的AI大模型学习资源已经整理打包,有需要的小伙伴可以微信扫描下方CSDN官方认证二维码,免费领取【保证100%免费

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值