Gram-Schmidt正交化
在前面的几个最小二乘的文章中,实际上已经看到Gram-Schmidt正交化的影子。在我个人看来,Gram-Schmidt正交化更像是专门为了简化最小二乘计算而量身定制的一种算法。下面,我会从最小二乘的经典应用 --- "拟合直线"开始,慢慢引出Gram-Schmidt的核心思想 ——> 那就是,究竟如何“改写”矩阵A中的列向量,才能在最大程度上简化最小二乘的求解过程呢?
Independent vectors(线性无关向量所组成的矩阵)
很多关于最小二乘法的文章中都绕不开直线拟合问题,在讲Gram-Schmidt之前,让我们先从下面的例子开始:
已知的三个数据点(当t1=1,b1=1),(当t2=3,b2=2)和(当t3=5,b3=4),现在用这三个点去拟合一条直线b=C+Dt。首先根据这三个已知的数据点,可得到如下线性方程组: