循环神经网络基础

​
​

活动地址：CSDN21天学习挑战赛

循环神经网络

循环网络与卷积网络

卷积网络(convolutional network, LeCun, 1989)， 也叫卷积神经网络(convolutional neural network, CNN)，是一种用来处理类似网络结构的数据的神经网络。例如，时间序列和图像数据。
循环神经网络(recurrent neural network)或RNN (Rumelhart et al., 1986c)是一类用于处理序列数据的神经网络，如序列$x^{(1)},...,x^{(\tau )}$。

卷积神经网络可以扩展到具有很大宽度和高度的图像，以及处理可变大小的图像；
循环神经网络可以扩展到更长的序列，大多数循环神经网络也可以处理可变长度的序列。

在一维时间序列可以使用卷积神经网络。卷积操作允许网络跨时间共享参数，但是浅层的。卷积的输出是一个序列，其中输出的每一项都是相邻的几项出书的函数，在每个时间步中使用相同的卷积核；
循环神经网络输出的每一项都是前一项的函数。输出的每一项对先前的输出应用相同的更新规则产生的。

循环神经网络的设计模式：

• 每一个时间步都要有输出，并且隐藏单元之间有循环连接的循环网络。
  
  

  图1

• 每一个时间步都产生一个输出，只有当前时刻的输出到下一个时刻的隐藏单元之间有循环连接的循环网络。
  

  图2

• 隐藏单元之间存在循环连接，但整个循环网络产生单个输出。
  

  图3