tensorflow 三种优化器及其区别

在搭建神经网络的过程中，tensorflow提供了3种优化器，分别是：

import tensorflow as tf

tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)

该优化器使用梯度下降法进行优化，其中learning_rate 是学习率，loss代表损失函数

利用梯度下降算法，使参数沿着损失函数梯度的反方向（梯度下降的方向）即损失减少的方向移动，实现参数的更新

tf.train.MomentumOptimizer(learning_rate, momentum).minimize(loss)

该优化器使用超参数更新，其中learning_rate是学习率，momentum是超参数，其更新公式如下：