Abstract
个性化语言模型的挑战,尤其是考虑用户交互历史的能力,引起了极大的兴趣。尽管大型语言模型(LLMs)和检索增强生成的最新进展增强了LLMs的事实基础,但保留大量个人信息并用于生成个性化响应的任务仍然至关重要。为了解决这个问题,我们建议使用由LLM自身构建和更新的知识图谱形式的外部记忆。我们扩展了AriGraph架构的想法,并首次引入了一个结合图,其中包含了标准边和两种类型的超边。在TriviaQA、HotpotQA和DiaASQ基准上的实验表明,这种方法有助于使图构建和知识提取过程统一且健壮。此外,我们通过将时间参数纳入对话并引入同一说话者在不同时期做出的矛盾陈述来增强了DiaASQ基准。尽管有这些修改,但问答系统的性能仍然强劲,这证明了所提出的架构能够维护和利用时间依赖性。
Introduction
大型语言模型(LLMs)的迅速发展引发了对根据用户交互历史个性化这些模型的兴趣。这种个性化的任务依赖于模型保留大量个人信息并有效地利用它们生成定制响应的能力。在这个领域的关键进展是检索增强生成(RAG)方法,它通过集成外部记忆层增强了LLMs的事实基础。RAG利用数据库中的向量检索,根据用户的查询为模型的提示补充相关细节。尽管RAG有用,但其无结构的性质通常会限制有效检索分散在代理内存中的相关信息,从而对其效率造成阻碍。
为了解决这些限制,我们的研究探索了知识图谱作为传统RAG策略的优越替代方案的潜力。知识