本文记录了NLP学习中关于RNN、LSTM和GRUs的内容。RNN适合处理随上下文变化的序列数据，但存在梯度消失问题。LSTM通过门控机制解决了这一问题，能在长序列中保持性能。GRUs作为LSTM的简化版，降低了复杂度，提高了训练速度。
这学期开始学习nlp 准备开个专题 记录下学习过程， 今天来讲讲 rnn。 大家都知道 cnn在cv大放异彩，rnn则在 nlp领域被广泛使用。
RNN 适合处理序列的神经网络，序列的意思打个比方就是一个词汇他的意思是随着上下文变化的。
y 则常常使用 h’ 投入到一个线性层（主要是进行维度映射）然后使用softmax进行分类得到需要的数据。
Vanishing gradient
tanh: tanh是双曲函数中的一个，tanh为双曲正切。在数学中，双曲正切“tanh”是由双曲正弦和双曲余弦这两种基本双曲函数推导而来。
If x not in [-2,2 ] gradient is almost 0
lstm:
长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。
gt nlp课程ppt 认真看懂这一页就基本理解 lstm过程了
此处 一个圈圈一个点是指 elementwise 乘法，
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
