论文浅尝 | 通过基于知识图谱的后验来缓解大语言模型的幻觉（AAAI2024）

笔记整理：汪俊杰，浙江大学硕士，研究方向为知识图谱、大预言模型

论文链接：http://arxiv.org/abs/2311.13314

发表会议：AAAI2024

1. 动机

大型语言模型（LLMs）在生成文本时常常会生成与事实不符的错误陈述，这种现象被称为“事实幻觉”。 为了解决这一问题，研究者们提出了将存储大量高质量事实信息的知识图谱（KGs）与LLMs结合的方法，可以显著减少事实幻觉的发生。尽管已有一些方法尝试通过检索知识图谱中的实体来增强LLMs的事实知识，但这些方法通常仅限于检索与给定查询中明确提及的实体相关的知识，而忽略对于LLMs推理过程的验证。因此，现有方法在处理LLMs推理过程中的事实幻觉方面存在不足。为了解决上述问题，本文提出了一种名为“Knowledge Graph-based Retrofitting”（KGR）的新框架。KGR的核心思想是自主地根据知识图谱中存储的事实知识来校验和改造LLMs的初始响应。

2. 方法

图1. KGR框架示意图

如图1所示，KGR框架总共分为5个步骤：

（1）.声明提取：从生成的初始回答中