论文笔记：Incorporating Copying Mechanism in Sequence-to-Sequence Learning-copynet

主要用途：

• certain segments in the input sequence are selectively replicated in the output sequence.
• COPYNET can nicely integrate the regular way of word generation in the decoder with the new copy-ing mechanism which can choose sub-sequences in the input sequence and put them at proper places in the output se-quence. 
• 即：可以有选择性的从源端复制句子到合适的目标端。

3.copynet

3.1. model overreview

                                                             网络架构图

Encoder：

• 和别的encoder一样。

Decoder端：

read M and predict the target sequence,和之前的decoder有以下几点不同：

• Prediction:COPYNET基于两种混合模式的概率模型来预测单词。包括生成模式和copy模式，copy模式是直接从源端pick单词到目标端。
• State_update:t-1时刻的单词被用来更新t时刻的状态，但是copynet不仅用t-1时刻单词的word_embeddi