normal linear model

最新推荐文章于 2020-04-29 11:42:09 发布

隐藏玩家

最新推荐文章于 2020-04-29 11:42:09 发布

阅读量608

点赞数 1

CC 4.0 BY-SA版权

分类专栏：机器学习

本文链接：https://blog.csdn.net/weixin_43843978/article/details/96880150

这篇博客探讨了正则化线性模型，包括岭回归、套索回归和弹性网络。岭回归通过L2范数正则化减少过拟合，而套索回归利用L1范数实现特征选择。弹性网络结合两者优点。文中还介绍了SGDRegressor参数，如penalty、l1_ratio和learning_rate，并提到了早期停止法作为正则化策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

正则化线性模型

线性模型减少过度拟合的方法之一对模型正则化，它拥有的自由度越低，就越不容易过度拟合数据，比如将多项式模型正则化的简单方法降低多项式的阶数。比如将多项式正则化的简单化方法就是降低多项式的阶数。 【正则化：约束它】

而对线性模型来说，正则化通常通过约束模型的权重来实现的。

岭回归

岭回归是线性模型的正则化版本，在成本函数中增加一个 $α∑i=1nθi2\alpha\sum_{i=1}^n\theta_i^2$ 可以看做是 $θ\theta$ 的L2f范数的平方。正则惩罚项只能在训练的时候添加到成本函数中，一旦训练完成需要使用未经正则化的性能来评估模型性能。
超参数 $α\alpha$ 用来控制正则化的程度，如果 $α\alpha$ 非常的大，那么权重参数将会非常的小，十分的接近零。
岭回归的成本函数为：
$J(\theta) = MSE(\theta) + \alpha\frac{1}{2}\sum_{i=1}^n\theta_i^2$
按照之前的推导公式先求释然函数，再利用最小二乘法可以很容易的推导出MSE的批量梯度下降公式为：
$\begin{aligned} \nabla_\theta MSE(\theta) = \frac{2}{m}X^T\cdot(X \cdot \theta - y)+\alpha W \end{aligned}$