基于改进注意力机制的问题生成模型研究.docx

"基于改进注意力机制的问题生成模型研究" 问题生成（Question Generation，QG）是一项具有重要意义且应用广泛的自然语言生成任务。问题生成系统可以应用在多个领域中，例如教育领域、聊天机器人领域等。早期的研究中，问题生成大部分是采用基于规则的方法实现的，但这种方法需要研究者们具有深厚的语言学知识且很难进行有效地推广。近些年来，随着深度学习技术的不断发展，各种不同类型的神经网络模型在机器翻译、文本情感分析以及摘要生成中取得了大量的优秀成果。 Du 等人最早使用基于神经网络的序列到序列模型来进行问题生成的研究，实验结果显示，该方法要优于传统的基于规则模板的方法。Zhou 等人针对指定答案的问题生成任务展开了研究，他们将答案的位置信息和其他词汇特征一并输入到模型编码器中，取得了较好的结果。Zhao 等人提出了门控自注意力编码器和 maxout 指针解码器，并将该模型同时运用在语句级和段落级的输入文本中。 然而，现有的研究中存在两个缺陷：一是模型编码器在对输入语句进行建模表示时，循环神经网络自带的“长期依赖”问题使得相距较远的词语很难产生联系；二是传统的全局注意力机制中，模型解码器通常是利用单层编码器的输出或者多层编码器的顶层输出来计算注意力权重，无法从语义和语法两个不同的角度去考虑注意力权重的分配。 为了解决这些问题，本文提出了一种改进注意力机制的问题生成模型，该模型主要从两个部分进行改进：其一，利用自注意力机制获取词语间的相互关系，用来增强编码器的输出，使其包含更多的信息；其二，利用编码器的双层输出联合计算全局注意力权重，不仅可以让解码器利用更多的信息来生成问题词语，而且可以从语义和语法两个不同的角度去分配注意力权重，从而提升解码器的效果。 本文采用 SQuAD 数据集对改进模型进行评估，实验结果显示，改进模型在自动评估和人工评估两种方法中均优于基准模型。模型结构主要包括利用自注意力机制增强输出的多特征编码器和利用编码器的双层输出联合计算全局注意力权重两个部分。 多特征编码器可以将输入语句中的词语转换成对应的预训练词向量，并将这些词向量输入到编码器中对语句进行建模表示。除了最基本的预训练词向量以外，输入语句中包含的词汇特征和指定答案所在的位置特征对于问题生成任务也至关重要。词汇特征主要包括输入语句中的命名实体、词性和大小写特征等等，一般通过外部的工具来进行识别和标注，答案所在的位置特征主要使用 BIO 标注方法来进行标注。 本文的改进模型可以更好地捕获词语间的相互关系信息，并且可以从语义和语法两个不同的角度去考虑注意力权重的分配，从而提升解码器的效果。本文的研究结果可以为问题生成任务提供新的思路和方法，并且可以应用于其他自然语言处理任务中。