本文介绍了Contextual Word Embeddings，重点讲解了ELMo和GPT模型。ELMo利用Bi-LSTM模型生成深度情境化词表征，适合语义理解和语法分析。GPT则采用预训练的Transformer结构，通过无监督学习和有监督微调适应各种NLP任务。这两种模型在NLP领域展现出强大的性能。
更新流程↓
Task 1: 简介和词向量Word Vectors
Task 2: 词向量和词义Word Senses
Task 3: 子词模型Subword Models
Task 4: Contextual Word Embeddings
Task 5: 大作业
日本人综艺感从昭和时代开始就这么强了吗？
今日份的舒适
常见餐桌礼仪
文章目录
1. ELMo
Allen实验室认为好的词表征应该同时兼顾两个问题：一是单词在语义和语法上的复杂特点；二是随着语言环境的改变，这些用法也应该随之变化。
为此，Allen实验室提出了deep contextualized word representation（深度情景化词表征）。这种算法的特点是每个词的表征都是整个输入语句的函数。
具体做法：
- 现在大语料上以 language model为目标训练处 Bi-LSTM模型，利用它产生词语的表征 （pre-trained biLM模型）。ELMo因此得名embedding from language model。
- 为了应用在下游NLP任务中，一般先利用下游任务的语料库（此时，忽略掉label）进行 language model的微调（fine tuning），这种微调相当于一种domain transfer。
- 然后才是利用label的信息进行supervised learning。
ELMo表征是“深”的，就是说它们是biLM的所有层的内部表征的函数。这样做的好处是能够产生丰富的词语表征。高层的LSTM的状态可以捕捉词语意义中和语境相关的那方面的特征(比如可以用来做语义的消歧)，而低层的LSTM可以找到语法方面的特征(比如可以做词性标注)。如果把它们结合在一起，在下游的NLP任务中会体现优势。
1.1. Bidirectional language models
ELMo顾名思义是从Language Models得来的embeddings，确切的说是来自于Bidirectional language models。具体可以表示为：
p ( t 1 , t 2 , . . . , t N ) = ∏ k = 1 N p ( t k ∣ t 1 , t 2 , . . . , t k − 1 ) 和 p ( t 1 , t 2 , . . . , t N ) = ∏ k = 1 N p ( t k ∣ t k + 1 , t k + 2 , . . . , t N ) p(t_1,t_2,...,t_N)=\prod_{k=1}^{N}p(t_k|t_1,t_2,...,t_{k-1})和p(t_1,t_2,...,t_N)=\prod_{k=1}^{N}p(t_k|t_{k+1},t_{k+2},...,t_N) p(t1,t2,...,tN)=k=1∏Np(tk∣t1,t2,...,tk−1)和p(t1,t2,...,tN)=k=1∏Np(tk∣tk+1,tk+2,...,tN)
这里 ( t 1 , t 2 , . . . , t N ) (t_1,t_2,...,t_N) (t1,t2,...,tN)的是一系列的tokens，作为语言模型可能有不同的表达方法，最经典的方法是利用多层的LSTM，ELMo的语言模型也采取了这种方式。所以这个Bidirectional LM由stacked bidirectional LSTM来表示。
假设输入是 t o k e n token token的表示 x k L M x_k^{LM} xkLM。在每一个位置 k k k，每一层LSTM上都输出相应的context-dependent的表征 h ⃗ k , j L M \vec{h}_{k,j}^{LM} hk,jLM，
最低0.47元/天 解锁文章
扫一扫
992
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
