用 RNN 训练语言模型生成文本

本文结构：

1. 什么是 Language Model？
2. 怎么实现？怎么应用？

cs224d Day 8: 项目2-用 RNN 建立 Language Model 生成文本
课程项目描述地址。

什么是 Language Model？

Language Model 是 NLP 的基础，是语音识别, 机器翻译等很多NLP任务的核心。

参考：

实际上是一个概率分布模型 P ，对于语言里的每一个字符串 S 给出一个概率 P(S) 。

怎么实现？怎么应用？

我们先训练一个语言模型，然后用它来生成句子。感兴趣的话可以去这里看完整代码。

1.问题识别：

我们要做的是，用 RNN 通过隐藏层的反馈信息来给历史数据 xt,xt−1,…,x1 建模。

例如，输入一个起始文本：’in palo alto’，生成后面的100个单词。

其中 Palo Alto 是 California 的一个城市。

2.模型：

语言模型：给了 x1, … , xt， 通过计算下面的概率，预测 xt+1：

模型如下：

其中参数：

h^t 是t时刻的隐藏层，e^t 是输入层，就是 one-hot 向量 x^t 与 L 作用后得到的词向量，H 是隐藏层转换矩阵，I 是输入层词表示矩阵，U 是输出层词表示矩阵，b1，b2 是 biases，这几个是我们需要训练的参数。

我们用 cross-entropy loss 来衡量误差，使之达到最小：

我们通过评价 perplexity 也就是下面这个式子，来评价模型的表现：

当我们在最小化 mean cross-entropy 的同时，也达到了最小化 mean perplexity 的目的，因为 perplexity 就是 cross entropy 的指数形式。具体推导参考

对 J 求在 t 时刻的 各参数的偏导：

RNN 在一个时间点的 模型结构 如下：

将模型展开3步得到如下结构：

关于 t 时刻的 J 对 t－1 时刻的参数 L，H，I，b1 求导：

接下来用 Adam potimizer 来训练模型，得到 loss 最小时的参数。
再用训练好的模型去生成文本。

3.文本生成的实现

• 一共迭代max epo