岭回归和Lasso回归&正则化，梯度下降。_lasso回归正规方程-CSDN博客

本文链接：https://blog.csdn.net/rice_balls_/article/details/125879424

这篇博客介绍了梯度下降的重要性，包括批量和随机梯度下降，并探讨了正则化在防止过拟合中的作用。重点讲解了L1和L2正则化的差异，以及它们在Lasso回归和岭回归中的应用。同时，通过波士顿房价预测案例展示了实际应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

~~aaaaaa怎么那么多东西要看啊我要谢了~~

呃呃呃呃这篇都是单纯掉包的呢，根据原理跑的代码在另一篇吧

前言

查看调用api：sklearn官方文档

# 搜索api文档：ctrl+F搜索关键词 API Reference — scikit-learn 1.1.1 documentation

np.random.

rand（x,y) 生成【x行y列】的（0，1）区间的随机数
randn（x,y) 生成【x行y列】（0，1）区间正态分布的随机数
randint 生成整数

import numpy as np
X=2*np.random.rand(100,1)
y=4+3*X+np.random.randn(100,1)

梯度下降

1 以梯度下降为例，为什么要预处理？

### 问题:
1.步长太小，时间多
2.步长太大，更糟糕
3.局步最优和全局最优点
（影响：随机参数初始化位置，多调学习率）
4.如果是凸函数就没问题，只有全局最优
5.取值不同也会影响
所以要标准化和归一化!!

学习率不同的影响，代码见另一篇哈哈

2 原理

2.1 批量梯度下降

2.2 随机梯度下降

就是随机选一个样本来算那个偏导数，然后随机下降

！可以随着迭代次数增多步长减小啊

3 代码

直接调api简单的代码：根据原理跑的代码在另一个博客

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression,SGDRegressor,Ridge
from sklearn.metrics import mean_squared_error

#梯度下降进行预测
def linear2():
    #数据获取和分割
    boston=load_boston()
    x_trian,x_test,y_train,y_test=train_test_split(boston.data,boston.target,random_state=22)
    #数据预处理
    transfer=StandardScaler()
    x_train=transfer.fit_transform(x_trian)
    x_test=transfer.transform(x_test)
    #预估器
    estimator=SGDRegressor()
    estimator.fit(x_train,y_train)
    #得出模型
    print('coef:',estimator.coef_)
    print('bias:',estimator.intercept_)
    #模型评估
    y_predict=estimator.predict(x_test)
    print