StructRAG是一种新型的框架，旨在提升大型语言模型（LLMs）在知识密集型推理任务中的性能。它通过推理时的混合信息结构化机制，根据任务需求以最合适的格式构建和利用结构化知识。
以下是StructRAG的核心组成部分和工作流程：
-
混合结构路由器（Hybrid Structure Router）：这是StructRAG的核心，负责确定给定任务最合适的结构类型。路由器接受问题和文档核心内容作为输入，输出最佳结构类型。它考虑了多种结构类型，如表格、图形、算法、目录和块，每种都适用于不同类型的知识密集型任务。训练路由器采用了基于决策变换器与偏好优化（DPO）算法的新方法，这种方法不需要额外的奖励模型。
-
零散知识结构化器（Scattered Knowledge Structurizer）：确定了最佳结构类型后，该模块负责从原始文档中提取相关信息，并将其重构为所选格式的结构化知识。结构化器利用大型语言模型（LLMs）的理解和生成能力来执行这一任务。
-
结构化知识利用器（Structured Knowledge Utilizer）：最后一个模块是基于构建的结构化知识进行推理以回答问题。这个模块旨在处理可能阻碍直接识别和利用相关信息的复杂、组合性问题。利用器采用基于LLM的方法来促进问题分解、精确知识提取和最终答案推断。
StructRAG通过模拟人类处理复杂问题时将信息结构化的认知理论，通过混合信息结构化机制，根据任务需求以最合适的格式构建和利用结构化知识，从而提升LLMs在知识密集型推理任务上的性能。
示例： 假设我们需要比较几家公司的财务数据，StructRAG的工作流程如下：
- 混合结构路由器会选择表格作为最佳结构类型，因为表格适合展示和比较数据。
- 零散知识结构化器会从原始文档中提取财务数据，并将其重构为表格形式的结构化知识。
- 结构化知识利用器会基于表格中的数据进行推理，准确分解问题（如比较收入、利润等），并提取精确知识，最终生成答案。
StructRAG在Loong基准测试任务中取得了最先进的性能，尤其在任务复杂度增加时，其性能优势更加明显。
扫一扫
1199
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
