【RAG问答相关】复杂知识库问答综述（下）

前言

大模型落地应用过程中，一般形式还是问答形式，无论是人机对话还是机机对话，都是靠问答来解决一系列问题。无论是要求大模型给出具体的专业化知识，还是要求大模型进行某项作业的开展，都是以问题（指令其实也是一种特殊的问题）的形式进行。所以在RAG中，如何将问题转化为大模型能够理解的问题，转化为各种知识库可以查询的问题，这是应用大模型能力的关键。本次带来的东南大学发表的一篇关于KBQA相关的论文综述。详细介绍了复杂事实性问题的处理框架。我分为上中下三个部分详解这篇论文中关于KBQA相关的内容。洞悉用户问题才是大模型落地应用的第一步！本篇为下篇，PLM在复杂知识库问答中的应用以及排行榜以及未来趋势。欢迎关注我们，大模型的艺术，持续更新！

【RAG问答相关】复杂知识库问答综述（上）
【RAG问答相关】复杂知识库问答综述（中）

PLM在复杂知识库问答中的应用

在大型文本语料库上进行无监督的预训练语言模型，然后在下游任务上对预训练语言模型（PLMs）进行微调，已经成为自然语言处理的一种流行范式[100]。此外，由于从大规模数据中获得的强大性能以及在广泛下游任务中提供服务的能力，PLMs被认为是许多任务的“基础模型”[101]，包括复杂的知识库问答（KBQA）任务。因此，一些最近的基于SP和基于IR的方法已经广泛地将PLMs纳入到它们的流程中。

对于基于SP的方法，PLMs通常用于同时优化可训练模块（即问题理解、逻辑解析、知识库连接），从而有助于在seq2seq框架中生成可执行程序（例如SPARQL）。通过这种统一的范式，可以利用跨任务的可转移知识来缓解低资源情境中的数据稀缺问题。对于基于IR（信息检索）的方法，PLMs有助于精确构建数据源，并进一步增强了统一的推理能力。一方面，PLMs提供了强大的表示能力，可以从知识库中检索语义相关信息。另一方面，PLMs可以帮助统一问题和知识库的表示，从而有助于推理能力。

PLM应用于基于sp的方法

搭载强大的PLMs，逻辑形式生成模块受益于通过无监督预训练获得的强大生成和理解能力。在统一的seq2seq生成框架下，PLMs提供了可转移的知识，有助于在有限数据情况下进行有效的模型训练。 用于增强逻辑形式生成的PLM。 为了获得可执行程序（例如SPARQL），传统的基于SP的方法将问题解析成逻辑形式，然后通过知识库连接来实例化它。这个过程可以很好地在知识增强文本生成框架下形式化（即从用户请求到可执行程序）。因此，一些研究利用了通常是神经编码器-解码器模型的PLMs，直接根据问题和其他相关的知识库信息生成可执行程序。为了获取相关的知识库信息输入，Das等人从案例内存中检索了类似的案例，其中每个案例都是问题和其金标准可执行程序的一对。Ye等人根据预定义的规则，直接从基于知识库的搜索中枚举的候选逻辑形式中检索了前k个相关的逻辑形式。这种PLMs的使用方式已经证明了在模型性能方面取得了显著的改进。

用于低资源训练的PLM。 从PLMs获得的强大和可转移的自然语言理解能力使得KBQA方法能够在低资源情境中克服对训练数据的无法承受之需求。在最