「深度学习」循环神经网络RNN

一、序列模型的例子

二、数学符号定义

X^{(i)<t>}：训练样本 i 的输入序列的第 t 个元素。

T_{X}^{i}：训练样本 i 的输入序列的长度。

Y^{(i)<t>}：训练样本 i 的输出序列的第 t 个元素。

T_{Y}^{i}：训练样本 i 的输出序列的长度。

三、举例：识别人名

【输入和输出序列长度相同】

1、数据表示

准备 Vocabulary/Dictionary

将所有要用到的单词放在一起，做成清单 —— 将每个单词用一位 one-hot 表示

遇见没见过的单词，常见新标记 Unknown Word，使用 <UNK> 来表示

2. 标准神经网络存在的问题