线性回归：最小二乘法求解

线性回归：最小二乘法求解 线性回归是机器学习中的一种监督学习算法，用于预测连续型目标变量。线性回归的目的是找到一个最佳的参数θ，使得预测值与实际值之间的差异最小。最小二乘法（Ordinary Least Squares，OLS）是线性回归中的一种常用方法，用于估计参数θ。 线性回归模型可以表示为： y = x + ε 其中，y是目标变量，x是自变量，ε是误差项，服从均值为0、方差为2σ的高斯分布。 假设我们有m个样本，每个样本对应一个预测结果y和一个实际值x。我们可以根据这m个样本来估计参数θ。最大似然估计原理是，我们想要找到一个参数θ，使得所有样本的似然函数最大化。 似然函数可以表示为： L(y|x, θ) = ∏[i=1 to m] exp(-(y_i - x_i*θ)^2 / (2*σ^2)) / (√(2π) * σ) 取对数后，可以得到： logL(y|x, θ) = -∑[i=1 to m] (y_i - x_i*θ)^2 / (2*σ^2) - m/2 log(2π) - m/2 log(σ^2) 展开化简后，可以得到： logL(y|x, θ) = -∑[i=1 to m] (y_i - x_i*θ)^2 / (2*σ^2) - m/2 log(2π) - m/2 log(σ^2) 目标是让似然函数越大越好，即让对数似然函数越大越好。我们可以定义一个代价函数（cost function）： J(θ) = ∑[i=1 to m] (y_i - x_i*θ)^2 / (2*σ^2) 这个代价函数的目标是让其越小越好。我们可以使用梯度下降法来求解这个代价函数的最小值。 将代价函数写成矩阵形式： J(θ) = (Y - X*θ)^T *(Y - X*θ) / (2*σ^2) 其中，X是m行n列的矩阵，θ是n行1列的矩阵，Y是m行1列的矩阵。我们可以求解这个代价函数的最小值，得到： θ = (X^T * X)^-1 * X^T * Y 这个式子就是最小二乘法的 Closed-form Solution。 线性回归的最小二乘法是一种常用的参数估计方法，通过最大似然估计原理和梯度下降法，可以得到参数θ的估计值。