学习了LDA算法，做个总结，如果有错误，还望指教！
LDA的目标
应用统计方法解决模式识别问题时，一再碰到的问题之一是维数问题。[1]
LDA的目标即是通过投影从高维样本中抽取分类信息、降低维数，使投影后的样本有最大的类间距离和最小的类内距离。
将d维样本变换为1维样本所用的方法：
其中，w，x为n维列向量。如果||w||=1，则每个yn就是想对应的xn到方向为w的直线上的投影。[1]
假若现在有两类样本，维数为d，将这两类样本投影到一个特定的方向上，可以使这两类样本类内聚集，而类间分散，有利于分类。有n类样本时也是一样。因此，重要的选择w的方向。
推理过程
在推理之前，先定义几个参量：
一个样本集X=(x1,x2……xn)包含c个类别，xi(i=1,2,……,n)为d维列向量。
（1）ni(i=1,2……c)：第i个类别的样本个数；
（2）ui(i=1,2……c)：第i个类别的样本均值
（3）u为所有的样本均值
（4）
（5）
现在以两个类求投影矩阵w为例，接下来公式比较多，直接上word的截图：
当有c个类时，取前c-1大个特征之对应的特征向量组成投影矩阵。
实现
参考文献
[1]边肇祺. 模式识别[M] . 北京：清华大学出版社，1992：87-90
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
