读ELMO文章

      全称是Embeddings from Language Models，从语言模型中学习到词向量。word2vec训练出的词向量有一个问题，一个词只有一个embbeding，实际上一个词会有多个含义，例如 苹果，可以代表水果，也可以代表手机，那么具体表示哪个可以根据上下文的语义来推测，这也是ELMO模型要解决的关键问题。

模型：

1.双向语言模型

• 双向体现在，使用双向的LSTM模型
• 语言模型体现在Ngram模式 p(tk | t1,t2,...,tk-1)

目标log似然函数为：

双向LSTM的参数是共享的。

2.ELMO

因为有L层LSTM，并且是双向的，所以有2L个representation，然后再加上token的一个representation，所以一共有2L+1个，这些都用来预测下一个词。

例如： 上图显示L=3, 要预测t5，就需要标红的7个representation来去做预测。

那么这7个representation，如何去预测t5呢？ 

最简单的版本，就用最上层的LSTM的2个representation去预测，这篇文章中，7个representation都要用上去。

其中=

公式中，参数sj 是做了softmax-normalized，是需要结合任务去学出来的。

refer : https://arxiv.org/abs/1802.05365