机器学习 - 梯度下降在多参数线性回归模型的应用以及解析

我们通过一个具体的例子来演示多变量线性回归中的梯度下降算法。

示例数据集

假设我们有一个简单的数据集，包含两个特征和一个目标值：

我们要训练一个线性回归模型，模型的形式为：
$f_{w,b}(x)=w_1\cdot x_1+w_2\cdot x_2+b$

梯度下降步骤

我们从随机初始化的参数 $w_1$、$w_2$ 和 $b$ 开始，然后通过梯度下降算法迭代地更新这些参数。

初始化

假设：

• 初始权重$w_1=0$、$w_2=0$
• 初始偏置 $b=0$
• 学习率 $\alpha =0.01$
• 迭代次数为 2 次（为了简洁）

计算梯度

我们需要计算每个参数的偏导数，并用这些偏导数来更新参数。

第一次迭代

计算偏导数

1. 计算预测值和误差:
   $$\text{预测值}{f}_{w,b}(x^{(i)})=w_1\cdot x_1^{(i)}+w_2\cdot x_2^{(i)}+b$$
   对于每个样本，我们计算预测值和误差：

   • 对于第一个样本 (1, 2, 5):
     $$\begin{gathered} f_{w,b}(x^{(1)})=0\cdot 1+0\cdot 2+0=0 \\ \text{误差}=0-5=-5 \end{gathered}$$
   • 对于第二个样本 (2, 3, 8):
     $$f_{w,b}(x^{(2)})=0\cdot$$