LazyGraphRAG：微软在「革自己的命」这条路上从不手软

最新推荐文章于 2025-05-11 16:45:55 发布

ai大模型应用开发

最新推荐文章于 2025-05-11 16:45:55 发布

阅读量1.2k

点赞数 13

CC 4.0 BY-SA版权

文章标签： microsoft 人工智能算法机器学习 AI 产品经理

本文链接：https://blog.csdn.net/2401_85375298/article/details/144260518

距离之前放出GraphRAG惊艳全场还没几个月，微软又要「革自己的命」了：

这不，最近又提出了名为LazyGraphRAG的GraphRAG升级版。

根据我的经验，名字里但凡带Lazy字样的玩意儿，一定都是效率极高的存在。

毕竟「懒是人类之光」。

好啦我就不闲扯了，这里给大家放送一下文章的简单翻译版👇：

LazyGraphRAG：为质量和成本设立新标准

图16：一个白色的几何网络图标，具有相互连接的节点和线，居中显示在从左侧蓝色渐变到右侧粉色的背景上。

每个用例都能负担得起的 GraphRAG

GraphRAG项目（在新标签页中打开）[4]旨在通过利用非结构化文本中的隐式关系，扩大AI系统可以回答的私有数据集问题类型。

与传统的向量RAG（或"语义搜索"）相比，GraphRAG的一个关键优势在于其能够回答针对整个数据集的_全局_查询，例如"数据中的主要主题是什么？“或"对X最重要的影响是什么？”。相反，向量RAG擅长_局部_查询，即答案类似于查询并可以在特定文本区域中找到，通常用于"谁"、“什么”、"何时"和"哪里"等问题。

在最近的博客文章中，我们分享了两种新的查询机制，这些机制利用GraphRAG创建的丰富的、基于摘要的数据索引来提高局部搜索性能[5]和全局搜索成本[6]。

图17：数字病理学帮助解码肿瘤微环境以实现精准免疫疗法。GigaPath是一种新颖的视觉transformer，通过为数字病理学调整扩张注意力，可以扩展到千兆像素全幻灯片图像。在与Providence和UW的联合工作中，我们正在分享Prov-GigaPath，这是第一个在大规模真实世界数据上预训练的全幻灯片病理学基础模型，旨在推进临床研究和发现。

GigaPath：数字病理学的全幻灯片基础模型

数字病理学帮助解码肿瘤微环境以实现精准免疫疗法。在与Providence和UW的联合工作中，我们正在分享Prov-GigaPath，这是第一个全幻灯片病理学基础模型，旨在推进临床研究。

阅读更多[7]

在新标签页中打开

在这篇博客文章中，我们介绍了一种根本不同的图形增强RAG方法，它无需对源数据进行预先汇总，从而避免了对某些用户和用例可能过于昂贵的前期索引成本。我们将这种方法称为"LazyGraphRAG"。

LazyGraphRAG的一个关键优势在于其在成本和质量方面的固有可扩展性。在一系列竞争方法中（标准向量RAG、RAPTOR（在新标签页中打开）[8]，以及GraphRAG 局部（在新标签页中打开）[9]、全局（在新标签页中打开）[10]和DRIFT（在新标签页中打开）[11]搜索机制），LazyGraphRAG在成本-质量谱系上表现出强大的性能，具体如下：

• LazyGraphRAG的数据索引成本与向量RAG相同，仅为完整GraphRAG成本的0.1%。
• 对于与向量RAG相当的查询成本，LazyGraphRAG在局部查询上优于所有竞争方法，包括长上下文向量RAG和GraphRAG DRIFT[12]搜索（我们最近引入的、已证明优于向量RAG的RAG方法）以及GraphRAG局部搜索。
• 相同的LazyGraphRAG配置在全局查询上显示出与GraphRAG全局搜索相当的答案质量，但查询成本_低700多倍_。
• 以GraphRAG全局搜索查询成本的4%，LazyGraphRAG在局部和全局查询类型上_显著优于所有竞争方法_，包括C2级（社区层次结构的第三级，推荐用于大多数应用）的GraphRAG全局搜索。

LazyGraphRAG即将进入我们的开源GraphRAG库（在新标签页中打开）[13]，提供一个统一的查询界面，用于在轻量级数据索引上进行局部和全局查询，其成本可与标准向量RAG相媲美。

通过延迟LLM使用来混合向量RAG和图形RAG

LazyGraphRAG旨在融合向量RAG和图形RAG的优势，同时克服它们各自的局限性：

• 向量RAG是一种_最佳优先_搜索形式，使用与查询的相似性来选择最匹配的源文本块。然而，它对于全局查询没有考虑数据集的广度的意识。
• GraphRAG全局搜索是一种_广度优先_搜索形式，使用源文本实体的社区结构来确保查询在考虑整个数据集广度的情况下得到回答。然而，它对于局部查询没有考虑最佳社区的意识。

LazyGraphRAG以迭代深入的方式结合了最佳优先和广度优先搜索动态（表1）。与完整GraphRAG的全局搜索机制相比，这种方法在延迟LLM使用方面是"懒惰"的，并显著提高了答案生成的效率。总体性能可以通过单个主要参数 – 相关性测试预算 – 以一致的方式控制成本-质量权衡。

LazyGraphRAG答案质量处于最先进水平

我们将不同相关性测试预算下的LazyGraphRAG与一系列竞争方法进行了比较，具体如下：

• 数据集：5,590篇美联社新闻文章（经授权使用）
• 查询：100个合成查询（50个局部和50个全局），使用将在未来的博客文章中描述的新方法生成
• 指标：全面性、多样性、赋能（如此处[14]所述，使用LLM逐对比较每个指标的答案）
• 条件：包括三种相关性测试预算设置的LazyGraphRAG，以及来自GraphRAG和文献的八种竞争条件（表2）。

条件	描述
Z100_Lite	LazyGraphRAG，相关性测试预算为100，在所有步骤中使用低成本LLM模型
Z500	LazyGraphRAG，相关性测试预算为500，使用低成本LLM进行相关性测试，使用更先进（成本更高）的LLM进行查询细化和映射/缩减答案生成
Z1500	LazyGraphRAG，相关性测试预算为1,500，使用低成本LLM进行相关性测试，使用更先进（成本更高）的LLM进行查询细化和映射/缩减答案生成
C1	社区级别1的GraphRAG全局搜索
C2	社区级别2的GraphRAG全局搜索
C3_Dynamic	使用动态社区选择的社区级别3的GraphRAG全局搜索（在之前的博客文章[15]中引入的成本节省解决方案）
LS	GraphRAG局部搜索
DRIFT	GraphRAG DRIFT搜索
SS_8K	使用向量RAG检索8k个输入标记的语义搜索
SS_64K	使用向量RAG检索64k个输入标记的语义搜索（用于研究长上下文窗口对向量RAG的影响）
RAPTOR	基于层次聚类的RAG方法，与LazyGraphRAG共享一些类似特征

图1展示了LazyGraphRAG对八种竞争条件的胜率。在100个相关性测试的最低预算水平下，使用低成本LLM模型（与SS_8K成本相同），LazyGraphRAG在局部和全局查询上显著优于所有条件，除了全局查询的GraphRAG全局搜索条件。在500个相关性测试的预算下，使用更先进的LLM模型（为C2查询成本的4%），LazyGraphRAG在局部和全局查询上显著优于所有条件。随着相关性测试预算增加到1,500，LazyGraphRAG的胜率持续增加，证明了其在成本与质量方面的可扩展性。

Image 18: Figure 1. Clustered bar charts showing win rates of LazyGraphRAG with relevance test budgets of (100, 500, 1,500) over competing conditions for each combination of (local, global) queries and (comprehensiveness, diversity, empowerment) metrics.

展望未来

LazyGraphRAG表明，单一、灵活的查询机制可以显著优于多样化的专门查询机制，横跨本地-全局查询范围，并且无需前期的LLM数据摘要成本。其极快且几乎免费的索引使LazyGraphRAG非常适合一次性查询、探索性分析和流式数据使用场景，而其通过增加相关性测试预算平滑提高答案质量的能力，使其成为对比RAG方法的宝贵工具（例如，“RAG方法X在任务Z上以预算Y击败LazyGraphRAG”）。

这是否意味着所有图形增强的RAG都应该是"懒惰"的？我们相信答案是否定的，原因有三：