序列数据建模-RNN & Attention & self-Attention_采用前馈神经网络代替注意力机制-CSDN博客

本文链接：https://blog.csdn.net/weixin_46856695/article/details/120925360

本文介绍了循环神经网络（RNN）及其改进版LSTM和GRU，探讨了它们在处理序列数据时的长期依赖问题。然后，文章转向注意力机制，解释了如何与RNN结合使用以突出输入序列中不同部分的重要性。自注意力机制被提出，它允许并行处理和全局信息提取，常见于Transformer结构中。自注意力层的计算涉及到多个w∗x运算，并通过softmax进行归一化处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

—>了解更多

全连接神经网络具有层间相互连接，层内相互独立，输入和输出维数固定的特点，在针对不等尺寸图像、不定长度语句、不同词义字符等无约束序列长度，有约束序列依赖的输入数据建模时总会表现出一定的局限性。

在这里插入图片描述

1 循环神经网络

循环神经网络（RNN）的主要特点表现为t时刻的隐层（输出层）由第t-1时刻的隐层（输出层）与第t时刻的输入共同决定，其能够有效解决模型非定长输入与时序依赖问题。然而，当循环神经网络的结构过长时，较前输入对模型的影响会随着模型输入的更新不断降低，过长的梯度传播过程也容易引发梯度消失现象。虽然可以采用Relu函数或其它模型代替非线性激活函数，但更一般的做法是对其网络架构做出改进。

在这里插入图片描述

为了解决网络的长期依赖问题，提出了长短时记忆神经网络（LSTM）。该模型引入了一组记忆单元，允许网络学习何时遗忘历史信息，何时用新信息更新记忆单元，引入了元素取值为[0，1]的输入门、遗忘门和输出门，通过门机制控制信息流。门可选性地允许信息流动，由一个Sigmoid神经网络层与一个点乘运算组成，Sigmoid神经网络层输出0和1之间的数字，决定了流通信息量。其中，时刻t的遗忘门定义了将要丢弃记忆单元中的信息流内容；输入门利用Sigmoid层定义需要更新的值，tanh层创建累加到存储的候选向量，两者点积控制了记忆单元中将要存储的信息流内容；t时刻的记忆单元由t时刻的遗忘门与t-1时刻的记忆单元点乘所定义的遗忘信息，以及t时刻的输入门所定义的存储信息