（深度学习快速入门）第三章第三节3：深度学习必备组件之优化器和优化算法

一：优化算法

（1）优化算法概述

优化算法：对于深度学习问题，我们通常会先定义损失函数。一旦我们有了损失函数，我们就可以使用优化算法来尝试最小化损失。在优化中，损失函数通常被称为优化问题的目标函数。优化算法对于深度学习⾮常重要。一方面，训练复杂的深度学习模型可能需要数小时、几天甚至数周。优化算法的性能直接影响模型的训练效率。另一方面，了解不同优化算法的原则及其超参数的作用将使我们能够以有针对性的方式调整超参数，以提高深度学习模型的性能。深度学习中，常见的优化算法有

• 梯度下降算法
• 指数加权平均算法
• 动量梯度下降
• RMSprop算法
• Adam优化算法

这里我们以梯度下降为例介绍一下其优化算法思想。更多关于优化算法的内容详见专栏最优化理论与方法

（2）梯度下降法

梯度下降法（Gradient descent，GD）：使用梯度下降法寻找函数极小值时，会沿着