【Math】奇异值分解（SVD）详解及 Python 实现

1. 什么是奇异值分解（SVD）

奇异值分解（Singular Value Decomposition，简称 SVD）是矩阵分解的一种方法，它将任意矩阵 $A$ 分解为三个矩阵的乘积：

$$A=U\Sigma V^T$$

其中：

• $A$ 是 $m\times n$ 的矩阵。
• $U$ 是 $m\times m$ 的酉矩阵，包含 $A{A}^T$ 的特征向量。
• $\Sigma$ 是一个 $m\times n$ 的对角矩阵，包含矩阵 $A$ 的奇异值。
• $V^T$ 是 $n\times n$ 的酉矩阵，包含 $A^{T}A$ 的特征向量。

奇异值分解不仅适用于方阵，也适用于任意矩阵。它在信号处理、图像压缩、降维和推荐系统等应用中有着广泛的应用。

2. 计算步骤

步骤 1：计算 $A{A}^T$ 和 $A^{T}A$

首先，我们计算矩阵 $A{A}^T$ 和 $A^{T}A$：

• $A{A}^T$ 是一个 $m\times m$ 的对称矩阵；
• $A^{T}A$ 是一个 $n\times n$ 的对称矩阵。

步骤 2：求解特征值和特征向量

• 对 $A{A}^T$ 求特征值和特征向量：矩阵 $A{A}^T$ 的特征向量构成了矩阵 $U$，它的特征值的平方根是矩阵 $A$ 的奇异值。

• 对 $A^{T}A$ 求特征值和特征向量：矩阵 $A^{T}A$ 的特征向量构成了矩阵 $V$，它的特征值的平方根同样是矩阵 $A$ 的奇异值。

步骤 3：构建矩阵 $U$、$\Sigma$ 和 $V^T$

• $U$ 是由 $A{A}^T$ 的特征向量构成的矩阵。
• Σ\Sigma