特征值分解，奇异值分解（SVD），线性判别分析（LDA）

特征值与特征值分解

特征值分解就是要求解$Ax=\lambda x$的问题，其中$\lambda$ 就是特征值，$x$就是特征向量。
现在有如下矩阵

$$A=\left[\begin{array}{cc}7& 2\\ 3& 8\end{array}\right]$$

可以把原问题变换成求解$(A-\lambda )x=0$， 由于特征向量x不能为0，只能使得$A-\lambda$ 为0，$\lambda$不能直接和矩阵相减，于是可以变成$|A-\lambda E|=0$。

将上面的A代入：
$$A-\lambda E=\left[\begin{array}{cc}7-\lambda & 2\\ 3& 8-\lambda \end{array}\right]$$

就等于$(7-\lambda )\ast (8-\lambda )-6=0$

即${\lambda }^2-15\lambda +50=0$
求得${\lambda }_1=5,{\lambda }_2=10$

将其分别代入$(A-\lambda E)x=0$ 求x，可分别得出$x_1=\left[\begin{array}{c}1\\ -1\end{array}\right]$和$x_2=\left[\begin{array}{c}2\\ 3\end{array}\right]$。
对特征向量进行一下唯一化处理，全部除以L2范数，即特征向量的每个元素的平方和开根号。

得到$x_1=\left[\begin{array}{c}1/\sqrt{2}\\ -1/\sqrt{2}\end{array}\right]$和$x_2=\left[\begin{array}{c}2/\sqrt{13}\\ 3/\sqrt{13}\end{array}\right]$。

奇异值分解

奇异值分解的过程和上面类似，只是特征值分解只适用于方阵（n x n型），而奇异值分解可以对任意矩阵使用，当然也包括方阵。
奇异值分解要求解的问题是$A=U\Sigma V^T$

$V$是关于$A^{T}A$的特征向量，而$U$是关于$A{A}^T$的特征向量。他们的特征值都是一样的，而奇异值就是特征值开根号，$\Sigma$就是奇异值矩阵，是将奇异值按降序排列在对角线上。

比如现在有$$A=\left[\begin{array}{ccc}-1& 3& 2\\ -1& -2& 3\end{array}\right]$$

$$A{A}^T=\left[\begin{array}{ccc}-1& 3& 2\\ -1& -2& 3\end{array}\right]\left[\begin{array}{cc}-1& -1\\ 3& -2\\ 2& 3\end{array}\right]=\left[\begin{array}{cc}14& 1\\ 1& 14\end{array}\right]$$

可得${\lambda }_1=15$, ${\lambda }_2=13$

可得特征向量：
$$x_1=(\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}}{)}^T,x_2=(-\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}}{)}^T$$

将他们排列一下就是U 左奇异向量了
$$U=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]$$。

同理：
$$A^{T}A=\left[\begin{array}{cc}-1& -1\\ 3& -2\\ 2& 3\end{array}\right]\left[\begin{array}{ccc}-1& 3& 2\\ -1& -2& 3\end{array}\right]=\left[\begin{array}{ccc}2& -1& -5\\ -1& 13& 0\\ -5& 0& 13\end{array}\right]$$

然后会相应得到3个特征值
${\lambda }_1=15,{\lambda }_2=13,{\lambda }_3=0$

分别对应的特征向量就是$x_1=(\frac{-2}{\sqrt{30}},\frac{1}{\sqrt{30}},\frac{5}{\sqrt{30}}{)}^T,x_2=(0,\frac{5}{\sqrt{26}},\frac{-1}{\sqrt{26}}{)}^T,x_3=(\frac{13}{\sqrt{195}},\frac{1}{\sqrt{195}},\frac{5}{\sqrt{195}}{)}^T$。

于是$V^T$矩阵就是
$$V^T=\left[\begin{array}{ccc}\frac{-2}{\sqrt{30}}& \frac{1}{\sqrt{30}}& \frac{5}{\sqrt{30}}\\ 0& \frac{5}{\sqrt{26}}& \frac{-1}{\sqrt{26}}\\ \frac{13}{\sqrt{195}}& \frac{1}{\sqrt{195}}& \frac{5}{\sqrt{195}}\end{array}\right]$$

接下来是中间的$\Sigma$，由于U是2x2的，而V是3x3的，所以$\Sigma$应该是2x3的，这样才符合矩阵运算的规则。

$$\Sigma =\left[\begin{array}{ccc}\sqrt{15}& 0& 0\\ 0& \sqrt{13}& 0\end{array}\right]$$

如果想验证自己的左右奇异矩阵算的是否正确，可以上这个网站快速验证wolframAlpha。

验证一下可以得出$A=U\Sigma V^T$。

并且可以发现矩阵A的Frobenius范数(每个元素的平方和开根号)等于所有非零奇异值平方和的1/2次方。

即$$({\Sigma }_{i=1}^n{\Sigma }_{j=1}^m|a_{ij}{|}^2{)}^{1/2}=\sqrt{{\sigma }_1^2+{\sigma }_2^2+...+{\sigma }_n^2}$$

关于特征值分解和SVD的一个应用是PCA，可以降维度，具体详细原理和代码可以看我写的这篇文章机器学习入门（八）主成分分析，简单概括就是想降维到K维，就用最大的K个特征值对应的特征向量组成投影矩阵，与原数据相乘。

线性判别分析

瑞利商

想要了解线性判别分析，先可以了解一下瑞利商（Rayleigh quotient）。形式如下：
$$R(A,x)=\frac{x^{H}Ax}{x^{H}x}$$

其中H是hermitian矩阵的意思，即转置之后的元素和原元素是共轭的$A^H=A$。比如$\left[\begin{array}{cc}1& 2-i\\ 2+i& 3\end{array}\right]$。而实对称矩阵$A^T=A$是$A^H=A$的一个特例。

瑞利商有个重要的性质会被用到，即最小值是关于A的最小的特征值，而最大值是关于A的最大的特征值。即$${\lambda }_{min}\le R(A,x)\le {\lambda }_{max}$$

广义瑞利商(Generalized Rayleigh Quotient)

广义瑞利商的形式如下：
$$R(A,B,x)=\frac{x^{H}Ax}{x^{H}Bx}$$

其中A，B都是H矩阵，并且B是正定矩阵。为了求广义瑞利商的最大最小值，$x=B^{-1/2}{x}^{\prime }$ ，代入原式，得：
$$R(A,B,x)=\frac{x^{\prime H}(B^{-1/2}{)}^{H}A{B}^{-1/2}{x}^{\prime }}{x^{\prime H}(B^{-1/2}{)}^{H}B{B}^{-1/2}{x}^{\prime }}$$。

由于B是正定矩阵$(B^{-1/2}{)}^{H}B{B}^{-1/2}=B^{-1/2}B{B}^{-1/2}$正好可以消掉。

$$R(A,B,x)=\frac{x^{\prime H}{B}^{-1/2}A{B}^{-1/2}{x}^{\prime }}{x^{\prime H}{x}^{\prime }}=\frac{x^{\prime H}{B}^{-1}A{x}^{\prime }}{x^{\prime H}{x}^{\prime }}$$

于是，这就又是瑞利商的形式，其最大值最小值是关于$B^{-1}A$的最大和最小的特征值。

说回线性判别分析LDA，LDA希望投影后希望同一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。

假设现在有两类数据， y i ∈ { 0 , 1 } y_i \in \{0, 1\} yi​∈{0,1}, 那$N_j(j=0,1)$就是第j类的个数， $X_j(j=0,1)$是第j类数据的集合，而${\mu }_j(j=0，1)$就是第j类的均值向量，即该类别data求和再除以总个数：
$${\mu }_j=\frac{1}{N_j}{\Sigma }_{x\in X_j}x(j=0,1)$$

而协方差（不带1/N）:
$${\Sigma }_j={\Sigma }_{x\in X_i}(x-{\mu }_j)(x-{\mu }_j{)}^T(j=0,1)$$

投影时，投影的直线为$w$, 而$x_i$关于这个直线的投影就是$w^T{x}_i$, 而两个类别的中心点，也就是两个类别的均值，即${\mu }_0,{\mu }_1$，在直线上的投影就是$w^T{\mu }_0,w^T{\mu }_1$。为了让两个类的中心点更远，则希望$||w^T{\mu }_0-w^T{\mu }_1|{|}_2^2$更。而对于同类别的点，希望他们距离更近，则他们的协方差应该更小，即$w^T{\Sigma }_{0}w+w^T{\Sigma }_{1}w$ 更小。

优化目标就变成了：
$$argmaxJ(w)=\frac{||w^T{\mu }_0-w^T{\mu }_1|{|}_2^2}{w^T{\Sigma }_{0}w+w^T{\Sigma }_{1}w}=\frac{w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w}{w^T({\Sigma }_0+{\Sigma }_1)w}$$

分子越大，分母越小。

一般定义类内散度矩阵为$$\begin{gathered} S_w={\Sigma }_0+{\Sigma }_1= \\ {\Sigma }_{x\in X_0}(x-{\mu }_0)(x-{\mu }_0{)}^T+{\Sigma }_{x\in X_1}(x-{\mu }_1)(x-{\mu }_1{)}^T \end{gathered}$$

类间散度：
$$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$$

于是$$argmaxJ(w)=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$$
这就是之前提到的的广义瑞利商的形式，再变换一下就是

$$argmaxJ(w)=\frac{w^{\prime T}{S}_w^{-1/2}{S}_b{S}_w^{-1/2}{w}^{\prime }}{w^{\prime T}{w}^{\prime }}$$

而关于最后的投影，其实跟特征值分解或者SVD的投影类似，用$S_w^{-1/2}{S}_b{S}_w^{-1/2}$的最大的d个特征值所对应的特征向量得到投影矩阵$W$, 原来的x投影到新的这个平面(多类别LDA)或者说线上时，就成了$$z_i=W^T{x}_i$$
而新的这个投影数据集就是关于$(z_i,y_i)$的。