Python实现多元最小二乘法

微小冷

于 2025-06-27 15:04:33 发布

阅读量763

点赞数 30

CC 4.0 BY-SA版权

分类专栏： Python 文章标签： python 最小二乘法开发语言多元最小二乘法数值算法

本文链接：https://blog.csdn.net/m0_37816922/article/details/148953298

Python 专栏收录该内容

78 篇文章

订阅专栏

文章目录

- 原理
- Python代码

原理

对于样本 $\begin{aligned} \{x_{1n}\}&=x_{11},x_{12}&...&x_{1n},\\ \{x_{2n}\}&=x_{21},x_{22}&...&x_{2n},\\ &....&...&\\ \{x_{mn}\}&=x_{m1},x_{m2}&...&x_{mn},\\ \{y_n\}&=y_1,y_2&...&y_n \end{aligned}$
假设其拟合之后的方程为 $y=\sum_{j=1}^{m}{a_jx_j}$ 则相应地其误差方程组可表示为

$J(a_j)=\sum^n_{i=1}{(y_i-\sum_{j=1}^{m}{a_jx_{ji}})^2}$ 则其每个参数的偏导数可表示为

$\frac{\partial J}{\partial a_k}=\sum^n_{i=1}{ 2\cdot x_{ki}(y_i-\sum_{j=1}^{m}{a_jx_{ji}})}=0$ 即

$\sum^n_{i=1}{ x_{ki}y_i}-\sum^n_{i=1}{\sum_{j=1}^{m}{a_j x_{ji}x_{ki}}}=0$

约定 $Y_k=\sum^n_{i=1}{ x_{ki}y_i}$ , $X_{jk}=\sum^n_{i=1}{x_{ji}x_{ki}}$ ,其矩阵形式为
$\left[\begin{matrix} X_{11}&X_{12}&...&X_{1m}\\ X_{21}&X_{22}&...&X_{2m}\\ ...&...&...&...\\ X_{m1}&X_{m2}&...&X_{mm} \end{matrix}\right]\cdot \left[\begin{matrix}a_1\\a_2\\...\\a_m \end{matrix}\right] =\left[\begin{matrix}Y_1\\Y_2\\...\\Y_m \end{matrix}\right]$

如果最终的拟合方程需要常数项，则只需对 $x$ 增添一组值为1的样本即可，其对应的 $a_{m+1}$ 即为常数项。

在具体的编程中，假设其输入的自变量为一个矩阵 $X$ ，每行代表某一自变量的不同取值，列表示每一组取值的不同自变量。那么上式左侧的系数矩阵可以表示为 $X\cdot X^T$ 。

Python代码

根据推导结果可知，最终的矩阵方程中只包含 $Y_k$ 和 $X_{jk}$ ，故而其Python实现较为简单，代码如下

import numpy as np
import matplotlib.pyplot as plt

# y 是一组数据
# xs 是多组数据
def imgFit(y, xs):
    M = len(xs)
    X = np.zeros([M,M])
    Y = []
    for k,x in enumerate(xs):
        Y.append(np.sum(x*y))
        for j in range(M):
            X[j,k] = np.sum(x*xs[j])
    return np.linalg.solve(X, Y)

验证如下

def testImgFit(delta=0):
    xs = [np.random.rand(10,10) for _ in range(10)]
    A = [np.random.rand()/(3**i) for i in range(10)]
    y = 0
    for i in range(10):
        y += xs[i] * A[i]
    y += np.random.rand(10,10) * delta
    B = imgFit(y, xs)
    r = np.max(np.abs(A-B)/np.abs(A))
    print(np.abs(A-B))
    return r, A, B, xs, y

res = testImgFit()
# [0.00087381 0.00169723 0.00155971 0.00017497 0.00065388 0.00210783
# 0.00082238 0.00033483 0.0012911  0.00188271]