【机器学习】循环神经网络(RNN)介绍

🌈个人主页: 鑫宝Code
🔥热门专栏: 闲话杂谈｜ 炫酷HTML | JavaScript基础
​💫个人格言: "如无必要，勿增实体"

循环神经网络(RNN)介绍

什么是RNN?

循环神经网络(Recurrent Neural Network, RNN)是一种特殊类型的人工神经网络,专门设计用于处理序列数据,如文本、语音、视频等。与传统的前馈神经网络不同,RNN在隐藏层之间引入了循环连接,使得网络能够捕捉序列数据中的动态行为和时间依赖性。

上图展示了一个简单的RNN结构,其中 $x_t$ 表示时间步 $t$ 的输入, $h_t$ 表示时间步 $t$ 的隐藏状态, $o_t$ 表示时间步 $t$ 的输出。可以看到,隐藏状态 $h_t$ 不仅取决于当前输入 $x_t$,还取决于前一时间步的隐藏状态 $h_{t-1}$,这就形成了一个循环结构,使得RNN能够捕捉序列数据中的长期依赖关系。

RNN的基本原理

递归神经网络单元

RNN的核心是一个递归神经网络单元,它根据当前输入 $x_t$ 和前一时间步的隐藏状态 $h_{t-1}$ 计算当前时间步的隐藏状态 $h_t$,计算公式如下:

$$h_t=f(x_t,h_{t-1})$$

其中, $f$ 是一个非线性函数,通常使用 tanh 或 ReLU 作为激活函数。

前向传播

在前向传播过程中,RNN按照时间步骤依次计算每个时间步的隐藏状态和输出,具体过程如下:

1. 初始化隐藏状态 $h_0$,通常将其设置为全0向量。
2. 对于每个时间步 $t$:
   • 计算当前时间步的隐藏状态: