kylin_learn的博客

在鞍点（saddle points）处(即某些维度上梯度为零，某些维度上梯度不为零)，SGD、Momentum与NAG一直在鞍点梯度为零的方向上振荡，很难打破鞍点位置的对称性；Adagrad、RMSprop与Adadelta能够很快地向梯度不为零的方向上转移 下面是自己总结的，截个图吧 ...

  来自：莫烦python  

比较迷惑的是LSTM里面的o和外面的o不一样啊，不要混淆 RNN为什么会有梯度消失的问题？LSTM如何解决的 https://zhuanlan.zhihu.com/p/28749444

1.为什么不能全部设为0 https://zhuanlan.zhihu.com/p/27190255 简单来讲就是如果全为零那么每次更新的时候权重都一样 这里的deltaw和之前正想传播学习的a值什么的相关：因为正想传播所有的那个都一样，从而deltaw一样 参考：https://zhuanlan.zhihu.com/p/24801814 本来我们希望不同的结点学习到不...