奇异值分解SVD

1 基本定义

奇异值分解（singular value decomposition SVD）是一种矩阵因子分解的方法，是线性代数的概念。在统计学中被广泛的使用，成为一种重要的统计方法。在研究过程中可以用来实现缺失值的插补 MVI，也是一种较为常用的缺失值插补方法。[Miss value imuptation(MVI):a review and analysis of the literature(2006-2017)](https://www.yuque.com/strive-yang/gn28pq/zwn3z1r7qw0na52u)
任意一个$ m \times n $矩阵，都可以表示为三个矩阵的乘积（因子分解）形式，分别为 $m$阶正交矩阵、由降序排列的非负的对角元素组成的$m \times n$矩阵对角矩阵和$n$阶正交矩阵可以试着计算，以上便称为该矩阵的奇异值分解。矩阵的奇异值分解一定存在，但分解不唯一。

In my opinion，奇异值分解就是将矩阵进行分解的过程，可以对复杂的矩阵进行压缩，是一种数据压缩方法（通常与 PCA、LDA 等方法一同提及）。

2 奇异值分解定理

矩阵的奇异值是指，将一个非零的$m \times n$实矩阵 $A,A\in R^{m\times n}$，表示为以下三个实矩阵乘积形式的运算，即进行矩阵的因子分解：

$A=U\Sigma V^T$
其中$U$是$m$阶正交矩阵（orthogonal matrix），$V$是$n$阶正交矩阵，$\Sigma$是由降序排列的非负的对角元素组成的$m\times n$矩阵对角矩阵。
由正交矩阵和对角矩阵的性质可以得出以下公式来源于线性代数
$$\begin{gathered} U{U}^T=I \\ V{V}^T=I \\ \Sigma =diag({\sigma }_1,{\sigma }_2,...,{\sigma }_p) \\ {\sigma }_1\ge {\sigma }_2\ge ...\ge {\sigma }_p\ge 0 \\ p=min(m,n) \end{gathered}$$
$U\Sigma V^T$ 称为矩阵$A$的奇异值分解（singular value decomposition SVD，${\sigma }_i$称为矩阵$A$的奇异值（singular value），$U$的列向量称为左奇异值，$V$的列向量称为右奇异值。

奇异值分解不要求矩阵$A$为方阵，奇异值分解可以看作是矩阵的对角化推广。
由于 $A$可能不是方阵，因此对角矩阵上元素的个数$p=min(m,n)$。

举个例子。
给定一个 $5\times 4$的矩阵 $A$

$A=[\begin{array}{cc}1& 0<\\ 0& \\ 0& \\ 0& \\ 2& \end{array}$