二、LDA（线性判别分析）原理

机器学习中的数学(4)-线性判别分析（LDA）, 主成分分析(PCA)
https://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html
线性判别分析（Linear Discriminant Analysis）（一）（讲的非常好） https://www.cnblogs.com/jerrylead/archive/2011/04/21/2024384.html
人脸识别经典算法三：Fisherface（LDA） https://blog.csdn.net/feirose/article/details/39552997
LDA 两类Fisher线性判别分析及python实现 https://blog.csdn.net/u012005313/article/details/50933517

LDA分类的一个目标是使得不同类别之间的距离越远越好，同一类别之中的距离越近越好

所以我们需要定义几个关键的值

要说明白LDA，首先得弄明白线性分类器(Linear Classifier)：因为LDA是一种线性分类器。对于K-分类的一个分类问题，会有K个线性函数：

当满足条件：对于所有的j，都有Yk > Yj,的时候，我们就说x属于类别k。对于每一个分类，都有一个公式去算一个分值，在所有的公式得到的分值中，找一个最大的，就是所属的分类了。

特征值表示的是矩阵的性质，当我们取到矩阵的前N个最大的特征值的时候，我们可以说提取到的矩阵主要的成分（这个和之后的PCA相关，但是不是完全一样的概念）。在机器学习领域，不少的地方都要用到特征值的计算，比如说图像识别、pagerank、LDA、还有之后将会提到的PCA等等。