线性回归
单变量线性回归概念
模型
假设自变量x
,参数w
,b
可以得到一个模型,单变量线性回归模型类似一个一次函数。其中w
称为权重,b
称为偏移值。
fw,b(x)=wx+b f_{w,b}(x) = wx + b fw,b(x)=wx+b
其中,在机器学习里经常利用矩阵运算来进行快速的处理数据。在单变量线性回归的模型中,可以将参数看成一个向量,变量中再带一个一组成一个向量,进行运算。(其中一组向量需要转置)
hθ(x)=[1x][θ0θ1] h_\theta(x) = \begin{bmatrix} 1 & x \end{bmatrix} \begin{bmatrix} \theta_0 \\ \theta_1 \end{bmatrix} hθ(x)=[1x][θ0θ1]
代价函数
根据计算得到的计算值和实际值,可以根据代价函数(Cost Function)计算出代价J(w, b)
。这里的二分之一是人为添加的,为了让后面梯度下降的计算更加简洁而修饰的常数。
J(θ0,θ1)=12m∑i=1m(y^i−yi)2=12m∑i=1m(hθ(x)−yi)2 J(\theta_0, \theta_1) = \frac {1} {2m} \sum _{i=1} ^m (\hat y_i - y_i) ^2 = \frac {1} {2m} \sum _{i=1} ^m (h_\theta(x) - y_i)^2 J(θ0,θ1)=