python卷积神经网络cnn的训练算法_基于TensorFlow的比较研究：卷积神经网络(CNN)优化算法...

用于训练神经网络的最受欢迎的优化算法有哪些?如何比较它们?本文试图用一个卷积神经网络(CNN)来回答这些问题。

随机梯度下降(SGD)

SGD通过选取大小(m)的子集或小批量数据，更新在梯度(g)的反方向上的模型参数(g):

神经网络由 f(x(i); theta)表示;其中x(i)为训练数据，y(i)为训练标签，损失L的梯度是根据模型参数theta计算的。学习速率(eps_k)决定了算法沿着梯度的步长的大小(在最小化的情况下为反方向，在最大化的情况下为正方向)。

学习速率是迭代k的函数，是一个最重要的超参数。一个过高的学习速率(例如> 0.1)会导致参数更新失去最优值，学习速率太低(例如< 1e-5)会导致不必要的长时间的训练。一个好的策略是开始的学习速率为1e-3，并使用一个学习速率表，将学习速率降低为一个迭代函数(例如，一个每4个周期将学习速率减半的步长调度程序):

def step_decay(epoch):

lr_init = 0.001

drop = 0.5

epochs_drop = 4.0

lr_new = lr_init * \

math.pow(drop, math.floor((1+epoch)/epochs_drop))

return lr_new

一般来说，我们需要学习速率(eps_k)要满足Robbins-Monroe条件:

第一个条件确保算法能够找到一个局部最优解，不管起点和第二个控制振荡。

动量

动量积累了指数衰减的过去的渐变移动平均线，并继续朝着它们的方向移动：