【论文阅读】Zero-Resource Knowledge-Grounded Dialogue Generation

Zero-Resource Knowledge-Grounded Dialogue Generation

论文：https://arxiv.org/abs/2008.12918

代码：https://github.com/nlpxucan/ZRKGC

任务

神经网络对话模型需要以知识为基础的对话，而这些对话很难获得。为了克服数据方面的挑战并降低构建知识基础对话系统的成本，本文通过假设训练时不需要context-knowledge-response三要素，在零资源环境下探索这个问题。

贡献：

• 在零资源环境下探索以知识为基础的对话生成；
• 提出了一个double latent variable model，不仅描述了连接context和response的知识，还描述了知识的表达方式；
• 提出了一个variational学习方法；
• 在知识为基础的对话生成的三个基准上对所提方法的有效性进行了经验验证。

方法（模型）

本文提出将连接context 和response的知识以及知识的表达方式表现为潜在变量，并设计了一种variational方法，可以有效地从对话语料和知识语料中估计出一个相互独立的生成模型。

在预训练的语言模型的基础上建立概率模型。不使用生成模型，而是建议用一个检索模型来实例化后验，在这个模型中，知识的搜索空间被限制在几个相关的候选之内。

dialogue corpus：
D c o v = { ( C i , R i ) } i = 1 n D_{cov}= \{(C_i, R_i)\}^n_{i=1} Dcov​={ (Ci​,Ri​)}i=1n​

$C_i$