Attention 机制

1. 为什么要引入注意力机制？
   在原本的 encoder-decoder 模型中，无论输入的文本序列有多长，都会讲信息压缩成一个固定维度的向量 c 。维度固定，存储的信息量也就固定了，那么对于长文本序列，会丢失很多信息，这是我们不想看到的。注意力机制的引入就是为了解决这个问题。

2. 注意力机制

分两种：BahdanauAttention 与 LuongAttention

BahdanauAttention

加了注意力机制以后，向量 c 的维度依然是固定的，但是在每个时间步， c 的值都会改变，或者说从原来的的单个向量 c 变成了一组向量 $c_i$ 。

$c_i的公式$：
$$c_i=\sum _{j=1}^T{\alpha }_{ij}{h}_j$$
而
$${\alpha }_{ij}=\frac{exp(e_{ij})}{{\sum }_{k=1}^{T}exp(e_{ik})},$$
$$e_{ij}=a(s_{i-1},h_j)=v_a^{T}tanh(W_a{s}_{i-1}+U_a{h}_j)$$
其中 i 代表输出的第 i 个位置， j 代表输入的 第 j 个位置。
a 代表一种分数的计算方式。最简单的方式就是点积了
$e_{ij}$（或者 ${\alpha }_{ij}$） 衡量了输入位置 j 和输出位置 i 的匹配程度，或者说是相关性,越相关，值越大，对应了权重的概念。
$c_i$ 代表了对 encoder hidden states 的加权平均，权重是 ${\alpha }_{ij}$ .
这样在不同阶段 $c_i$ 的信息重要程度不同，就不用担心遗失重要的信息了。

LuongAttention

公式如下：
$$c_i=\sum _{j=1}^T{\alpha }_{ij}{h}_j$$
$${\alpha }_{ij}=\frac{exp(e_{ij})}{{\sum }_{k=1}^{T}exp(e_{ik})},$$
$$e_{ij}=\{\begin{array}{ll}{h}_j^T{s}_i& \text{dot}\\ h_j^T{W}_a{s}_i& \text{general}\\ v_a^{T}tanh[h_j^T,s_i]& \text{concat}\end{array}$$
注：为了和上文保持一致，我将 $\overline{h_s}$ 换成了 $s_i$, $h_t$ 换成了 $h_j$ 。

它们的不同点：

1. 在计算第 i 个位置的分数时，BahdanauAttention 选择了 $s_{i-1}$, 而 LoungAttention 选择了 $s_i$；
2. BahdanauAttention 对 Encoder 和 Decoder 的双向的 RNN 的 state 拼接起来作为输出，LuongAttention 仅使用最上层的 RNN 输出
3. 得分的计算方式

这只是两种最基本的形式，先说这么多。。。

参考：
Neural Machine Translation by Jointly Learning to Align and Translate
Effective Approaches to Attention-based Neural Machine Translation
BahdanauAttention与LuongAttention注意力机制简介