岭回归（l2约束的高斯核最小二乘）

最新推荐文章于 2023-04-10 21:52:53 发布

qianshishangdi

最新推荐文章于 2023-04-10 21:52:53 发布

阅读量706

点赞数

CC 4.0 BY-SA版权

文章标签： python

本文链接：https://blog.csdn.net/qianshishangdi/article/details/89278766

本文通过Python实现了一个基于高斯核的岭回归算法示例。该示例首先生成了正弦函数上的数据点，并加入了随机噪声。然后，使用岭回归算法对这些数据点进行拟合，展示了普通高斯核和带l2约束的高斯核的效果对比。通过不同的l2正则化参数，观察到了模型在测试集上的表现变化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import math
import numpy as np
import matplotlib.pyplot as plt


def gener(sta, end, num):  # 生成y=x^2的测试集
    # 随机干扰因子
    sampleNo = num
    mu = 0.01
    sigma = 0.5
    np.random.seed(0)
    s = np.random.normal(mu, sigma, sampleNo)

    X = np.linspace(sta, end, num)  # 在返回（-1, 1）范围内的等差序列
    pix = np.pi * X
    Y = np.sin(pix) / pix + 0.1 * X + s
    x = X.reshape(-1, 1)
    y = Y.reshape(-1, 1)

    return x, y, num


def ridge(X, x, NUM, num):
    x2 = x * x  # 样本集的参数 逐个求平方
    X2 = X * X  # 测试集的参数 逐个求平方
    h = 0.3  # 高斯核的带宽
    hh = 2 * h * h

    temp = np.tile(X2, num) + np.tile(np.matrix(x2).T, (NUM, 1)) - 2 * X * x.T
    k = np.exp(-temp / hh)
    return k


if __name__ == '__main__':
    x, y, num = gener(-3, 3, 50)
    X, Y, NUM = gener(-3, 3, 1000)
    plt.plot(X, Y)
    k = ridge(x, x, num, num)
    K = ridge(X, x, NUM, num)
    print(y.shape)

    # 普通高斯核
    t1 = y.T * np.linalg.pinv(k)
    F1 = K * t1.T
    plt.plot(X, F1, label='normal Gaussian')
    # 带l2约束的高斯核
    for i in range(10):
        l = i * 0.1
        t2 = (k * y).T * np.linalg.pinv((k * k.T + l * np.eye(num)))
        F2 = K * t2.T
        plt.plot(X, F2, label='l2 Gaussian '+str(round(l,2)))

    plt.legend()
    plt.show()

在这里插入图片描述