机器学习-回归

最新推荐文章于 2025-06-26 23:29:23 发布

原创最新推荐文章于 2025-06-26 23:29:23 发布 · 639 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #回归 #人工智能

机器学习专栏收录该内容

2 篇文章

订阅专栏

定义

回归分析是指一种预测性的建模技术，主要是研究自变量和因变量的关系。通常使用线/曲线来拟合数据点，然后研究如何使曲线到数据点的距离差异最小。
举个例子，我们可以提供了每天的抖音榜单中的商品销量数据，用来预测未来一周时间的预测销量。此时每天的抖音榜单中的商品销量数据就是自变量，而未来一周时间的预测销量就是因变量。

模型步骤

采用上述文字所述的机器学习建模三个步骤

step1：模型假设，选择模型框架（线性模型，非线性模型）
step2：模型评估，如何判断众多模型的好坏（损失函数）
step3：模型优化，如何筛选最优的模型（梯度下降）

我们以线性模型来说明上述步骤。

Step 1：模型假设 - 线性模型

一元线性模型（单个特征）
当仅有一个特征为 x ，一元线性模型就可以假设为 y = b + w * x 。b和w可以取任意实数。
多元线性模型（多个特征）
当输入特征不止一个时，假设有 $x_0$ ， $x_1$ ， $x_2$ ， $x_3$ 四个变量。那么多元线性模型就可以假设为 y = b + $∑wixi\sum_{}w_ix_i$

Step 2：模型假设 - 损失函数

假设 $x_1$ 为自变量， $y_1$ 为因变量。f为所找线性模型的函数。
为了判断模型的好坏，我们可以用模型预测的 $y_1^*$ 和真实值 $y_1$ 的差作为损失函数，损失函数所得值越小，模型就越好。
假设我们有10个变量，采取一元线性模型，那么上面损失函数即为：
$L(w,b)=∑n=110(yn∗−(b+w∗xn))2L(w,b)=\sum_{n=1}^{10}{(y_n^*-(b+w*x_n))^2}$

Step 3：最佳模型 - 梯度下降

已知损失函数 $L(w,b)=∑n=110(yn∗−(b+w∗xn))2L(w,b)=\sum_{n=1}^{10}{(y_n^*-(b+w*x_n))^2}$ ，我们需要找到一个w和b使得L的值最小。
我们需要引入一个概念
学习率：移动的步长
1.先随机选取两个初始值 $w_0$ ， $b_0$
2.分别计算当w= $w_0$ ，b= $b_0$ 时对w和b的偏微分。
$∂L∂w∣w=w0,b=b0,∂L∂b∣w=w0,b=b0\frac{\partial L}{\partial w}|_{w=w_0,b=b_0},\frac{\partial L}{\partial b}|_{w=w_0,b=b_0}$
3.将w0减去w的偏微分和学习率的积得到下一个w1，将b0减去w的偏微分和学习率的积得到下一个b1。
$w1←w0−LR∗∂L∂w∣w=w0,b=b0w_1 \leftarrow w_0 - LR * \frac{\partial L}{\partial w}|_{w=w_0,b=b_0}$
$b1←b0−LR∗∂L∂b∣w=w0,b=b0b_1 \leftarrow b_0 - LR*\frac{\partial L}{\partial b}|_{w=w_0,b=b_0}$
LR是学习率
然后重复上述操作，直到两个偏微分都等于0。此时就找到损失函数的一个最低点。