Self-rag: 通过自我反思学习检索、生成和批判

SELF-RAG: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION

Abstract

尽管大型语言模型 (LLM) 具有非凡的能力，但由于它们仅依赖于其封装的参数化知识，因此经常会产生包含事实错误的响应。 检索增强生成 (RAG) 是一种临时方法，它通过检索相关知识来增强 LLM，从而减少了此类问题。 但是，不加区分地检索和合并固定数量的检索到的段落，而不管检索是否必要或段落是否相关，都会降低 LLM 的通用性或导致无益的响应生成。 我们介绍了一个名为 自我反思检索增强生成 (Self-Rag) 的新框架，它通过检索和自我反思来增强 LLM 的质量和真实性。 我们的框架训练了一个单一的任意 LLM，该 LLM 可以按需自适应地检索段落，并使用称为 reflection 标记的特殊标记来生成和反思检索到的段落及其自身的生成。 生成反思标记使 LLM 在推理阶段可控，使其能够根据不同的任务要求调整其行为。 实验表明，Self-Rag（70 亿和 130 亿个参数）在各种任务上明显优于最先进的 LLM 和检索增强模型。 具体而言，Self-Rag 在开放域问答、推理和事实验证任务方面优于 ChatGPT 和检索增强的 Llama2-chat，并且与这些模型相比，它在改善长篇生成的真实性和引用准确性方面显示出显著的提升。 1 11我们的代码和训练模型可在