机器学习里面什么叫梯度上升，什么叫梯度下降

机器学习里面什么叫梯度上升，什么叫梯度下降

在机器学习中，梯度上升（Gradient Ascent） 和 梯度下降（Gradient Descent） 是两种常用的优化算法，用于寻找函数的极值（最大值或最小值）。它们的核心思想都是利用函数的梯度信息，逐步逼近函数的极值点。

📌1. 梯度下降（Gradient Descent）

梯度下降的目的是：

找到函数的最小值点

原理：

• 梯度（gradient）表示函数变化最快的方向。
• 梯度下降法沿着梯度的反方向（即负梯度方向）更新参数，从而使函数值逐步减小。

公式表达：
假设有函数 f(x)f(x)f(x), 当前参数为 xxx, 梯度为 ∇f(x)\nabla f(x)∇f(x), 则梯度下降的更新规则为：

xnew=xold−