最小二乘法

最小二乘法总结

因为某向量的长度（似乎在欧式空间下）等于向量各元素的平方和，再开方。
因此，均方误差可以看成是某向量的长度的平方。这个均方误差的每一项可以看成是这个向量的一个元素。

$$\begin{bmatrix} {y_{i}}\\ {\vdots}\\ {y_{n}}\\ \end{bmatrix} -(a_{0} \begin{bmatrix} {1}\\ {\vdots}\\ {1}\\ \end{bmatrix} +a_{1} \begin{bmatrix} {x_{i}}\\ {\vdots}\\ {n_{n}}\\ \end{bmatrix} )$$

若要求均方误差的最小值，则转化为求该向量的长度最小。
从该向量的式子观察可知，括号内是两个向量 [1, … , 1]T 和 [x1, … , xn]T 的线性组合，换句话说，它是这两个向量构成的二维子空间（想成一个平面就可以）的任意一点。
整个式子的向量的长度表示向量 [y1, … , yn]T 到这个二维子空间任意一点的距离！把这个向量长度最小化的意思是：寻找在 [1, … , 1]T 和 [x1, … , xn]T 构成的二维子空间上的一个点，使得向量 [y1, … , yn]T 到这个点的距离最小。

注：即这里将一个向量看成一个维度。而不是像以往那样将一个向量中的一个元素看成一个维度。