一文快速回顾_机器学习线性代数基础

矩阵的特征值和特征向量：若矩阵A为方阵，则存在非零向量$x$和常数$\lambda$满足$Ax=\lambda x$，则称$\lambda$为A的一个特征值，$x$为矩阵A关于$\lambda$的特征向量。
矩阵的迹和行列式的值：$tr(A)={\sum }_{{i=1}^n}{\lambda }_i$，$\left|A\right|={\prod }_{i=1}^n{\lambda }_i$

矩阵的特征分解：若矩阵$A_{n\times n}$存在n个不同的特征值，那么矩阵可以分解为$A=U\sum U^T$
$$\sum =\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ 0& 0& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right]U=\left[\begin{array}{c}{u}_1,u_2,\cdots ,u_n\end{array}\right]$$
其中$u_i$是标准化的特征向量，即满足${\Vert u_i\Vert }_2=1$

奇异值分解：对于任意矩阵$A_{m\times n}$，存在正交矩阵$U_{m\times m}$,$V_{n\times n}$，使得其满足$A=U\sum V^T$,$U^{T}U=V^{T}V=I$.则称上式为矩阵A的特征分解，其中$\sum$为$m\times n$的矩阵。

• 求解过程
  1.$A^{T}A$的特征值的{${\lambda }_i$}和特征向量{$v_i$}
  2.$A{A}^T$的特征向量{$u_i$}
  3.$U=\left[\begin{array}{c}{u}_1,\cdots ,u_m\end{array}\right]$,$V=\left[\begin{array}{c}{v}_1,\cdots ,v_n\end{array}\right]$,$\sum =diag({\sqrt{\lambda }}_i)$