深度学习-3 梯度下降

1、用梯度下降法求最小值

如果我们如果要求y = x^2的最小值，应该怎么求呢？

此前有2种方法，首先我们可以将其配方，使其转化成为y = (x-0)^2 +0 这样的形式，通过这种形式，我们可以很直接的看到当x = 0时，y = 0为最小值。

其次我们可以求导数，y' = Δy/Δx = 2x，令y' = 0，可以得到x = 0，带入y = x^2，得到y = 0。

除了上述两种方法，我们还可以通过梯度下降的方法求得。

梯度是多元函数的导数，可以理解为是一个导数，所以可以先求导数（单元函数的梯度）y' = 2x，

然后再创建一个初始点（例如（5，25）），我们设定一个移动的步长lr（learning_rate（学习率的简称）不要太大），然后执行一下下降的操作，我们用x减去步长与y'的积，用起始点的x的数值带入并更新到x上，因为这里y' = 2x，所以这个步骤相当于x = x - lr * 2 * x，我们假设步长为0.1，那么经过这么一次运算可以得到x = 4，代入原方程，可以得到y = 16，到这就算完成了因此梯度的下降，我们也能明显看出来y的值变小了。然后再继续用刚才得到的新的x去执行下降的操作，可以得到x = 4 - 0.1* 2* 4 = 3.2，更新x的值再带到原函数中，然后反复在这个循环中重复以上操作，以此类推，执行指定次数后得到的结果就能接近真实值，次数越多越接近。

代码：

import torch
def square_function(x):
    return x**2
x = torch.tensor([5.0], requires_grad = True)
lr = 0.1
for i in range(20):
    y = square_function(x)
    y.backward()
    print('x = {0},x的梯度(y`)为{1}，y = {2}'.format(x.item(), x.grad.item(), y.item()))
    # 使用梯度更新 x（梯度下降）
    with torch.no_grad():  # 禁用梯度追踪
        x -= lr * x.grad  # 更新 x
        x.grad.zero_()  # 清空梯度
print(f"最后 x = {x.item()}")

运行结果：

2、利用梯度下降法求线性回归公式

如果说我们有两组数据x,y，知道y与x之间的关系为y = wx，我们如何去求那个w呢。我们假定一个模型f(x)= wx，如何让计算机去判断w的值是否准确呢？我们可以用差值来准确反馈出当前的w与实际的w差值的大小来判断是否准确。因为y = wx，所以当前的w乘以x就能相当于此时的y，用它与上一步的y求差值，就能看到执行完一部梯度下降后的w是否与实际值存在偏差，偏差大不大。于是就有了偏差值 = wx - y，但是我们并不能肯定 wx - y一定是正负，出于正反面的考虑和求导的方便的考虑，我们给这个偏差的值加上平方，反正平方并不影响对大小的判断。此时有关偏差的判断值就来到了(wx-y)^2，其实这里与上一个y = x^2是相似的，只不过y = x^2未知的是x，这个未知的是w，因为偏差的值越小越精准，所以我们需要求(wx-y)^2的最小值。  &n