《A Deep Generative Framework for Paraphrase Generation》论文笔记

另一篇更好的理解：https://ldzhangyx.github.io/2018/09/26/deep-para-generation/

Abstract 

意译生成是 NLP 中的一个重要问题, 特别是在问答、信息检索、信息抽取、会话系统等几个方面。本文讨论了自动生成释义的问题。我们提出的方法是基于深度生成模型 (VAE) 与序列-序列模型 (LSTM) 的组合生成释义, 给定一个输入句子。传统的VAEs 与递归神经网络相结合可以生成自由文本, 但不适合给定句子的意译生成。我们通过对 VAE 的编码器和解码器两侧进行调理来解决这一问题, 使其能够生成给定句子的释义。与大多数现有模型不同, 我们的模型简单, 模块化, 可以生成多个释义, 为给定的句子。对基准意译数据集所建议方法的定量评估表明了其有效性, 其性能在最先进的方法上得到了显著的提高, 而定性的人的评价表明生成的释义格式良好, 语法正确, 与输入语句相关。此外, 我们对新发布的问题意译数据集的方法进行了评估, 并为未s来的研究建立了一个新的基线

Introduction

对于问答系统来说很重要的是用户问题的解释，生成模型的问题变体，以及在机器翻译的生成模型变体都不错。

除了直接在问答系统使用，释义生成在应对不同的学习任务时生成训练数据也非常重要。

虽然在释义判断问题有很多现有的工作，但只有很少的很优秀的工作。以前的主要是基于规则的方法。现在则是深度学习的天下。

我们组合lstm和vae来生成给定的一句话的释义。与最近的VAE相比，万平米的VAE的主要区别是要生成给定句子的释义。即生成的释义需要捕获给定句子的本质，因此无条件的句子生成模型不适合这个任务，我们提出了一个有条件的VAE。

现有的一些工作，包括stacked residual LSTM，虽然有非常复杂的结构，但缺乏生成体系原则。

Methodology

(Bowman et al. 2015)提出的文本生产模型也是用lstm构建的vae，我们的工作与他们的最大区别是VAE-LSTM 结构

Model Architecture

. In addition, unlike the standard VAE, note that our VAE decoder model pθ(x (p) |z, x (o) ) is also conditioned on the vector representation x (o) of the original sentence.

自己理解的结构图：