论文浅尝 | 用于多文档问答的知识图谱提示（AAAI2024）

笔记整理：和东顺，天津大学硕士，研究方向为软件缺陷分析

论文链接：https://ojs.aaai.org/index.php/AAAI/article/view/29889

发表会议：AAAI2024

1. 动机

多文档问答（MD-QA）面临一些关键挑战，这些挑战包括：

逻辑关联推理：MD-QA要求模型能够理解不同文档之间的逻辑关系，并能够从多个文档中抽取和综合相关信息来回答问题。

交替推理与检索：MD-QA的任务要求模型能够在推理和检索之间进行交替操作，即先根据已有信息进行推理，然后根据推理结果检索新的相关信息，如此循环往复直到找到答案。

多模态信息融合：MD-QA可能涉及到多种类型的文档结构，例如表格、页面等，这就要求模型能够处理这些复杂结构中的信息。

高效利用大型语言模型：现有的方法在使用大型语言模型时存在延迟和成本问题，尤其是在需要多次交互式提示的情况下。此外，如何有效地将不同的文档结构融入到提示设计中，以便模型能够理解这些结构，仍然是一个开放的问题。

为了解决上述挑战，本文提出了知识图谱提示（KGP）方法，该方法包括构建知识图谱以及设计基于大型语言模型的图谱遍历代理，从而增强模型在多文档问题回答中的性能。通过这种方式，模型不仅可以理解不同文档间的逻辑关联，还能够在不同文档结构之间高效地进行推理和检索。

2. 贡献

（1）通用知识图谱构建方法。提出了三种在文档上构建知识图谱的方法，将段落或文档结构作为节点，将它们的词义/语义相似性或结构关系作为边。然后在MD-QA中通过检查每个问题的邻域和支持事实之间的重叠程度，对所构建知识图谱的质量进行了实证评估。

（2）利用知识图谱制定提示。设计了一种知识图谱提示（KGP）方法，利用基于 LLM 的知识图谱遍历代理，通过遍历构建的知识图谱来检索与问题相关的上下文。此外，还对该代理进行了微调，以根据访问节点（检索到的段落）自适应地遍历最有希望接近问题的邻域。

（3）验证MD-QA框架的案例研究。本文比较了在图遍历中使用不同类型 LLM 代理时，MD-QA 在不同文档数构建的 KG 上的性能。

3. 方法

3.1 知识图谱构建

本文将段落建模为节点，将它们的词汇/语义相似性建模为边，从而构建图。更具体地说，在图1中，将每篇文档分割成单个