分类——LDA、QDA

LDA（Linear Discriminant Analysis）

1. 模型：
   $$Pr(Y=k|X=x)=\frac {\pi_k f_k(x)} {\sum_{l=1}^k \pi_l f_l(x)}$$
   假设：第k类的观测值来自于多元高斯分布$\mathcal {N}(\mu_k,\Sigma )$
   即：
   $$f_k(x)=Pr(X=x|Y=y)$$
   $$f(x)=\frac {1} {(2\pi)^{P/2} |\Sigma|^{1/2} } exp[-\frac {1} {2} (x -\mu)^{-1} \Sigma^{-1}(x-\mu)]$$

2 . P表示特征的数量、$\Sigma$表示协方差矩阵
当P = 1 时：$f(x)$假设为一维高斯分布，$\Sigma$用方差$\sigma^2$表示,则

$$f(x)=\frac {1} {(2\pi)^{1/2} \sigma } exp[-\frac {1} {2 \sigma^2} (x -\mu)^2]$$

问题：在实际中，$f_k(x)$是未知的，需要通过训练集预测，LDA(P=1)假设了$f_k(x)$来自于一维高斯分布

再假设：$\sigma_1^2 = \sigma_2^2 = ... = \sigma_k^2=\sigma^2$,

将$f_k(x)$代入模型，获得取某个特定x值时，记录术语第k类的概率
即：

$$P_k(x)=Pr(Y=k|X=x)=\frac {\pi_k\frac {1} {(2\pi)^{1/2} \sigma } exp[-\frac {1} {2 \sigma^2} (x -\mu_k)^2]} {\sum_{l=1}^k \pi_l f_l(x)}$$

$P_k(x)$最大表示取x值的记录最有可能术语类别k

取对数且化简：

$$\delta_k(x) = x * \frac {\mu_k} {\sigma^2} - \frac {\mu_k^2} {2\sigma^2} + log(\pi_k)$$

参数估计
实际的$P_k(x)$分布并不可知，因此需要估计$\mu_1..\mu_k;\pi_1...\pi_k;\sigma^2$
LDA采用了plugging estimates方法进行参数估计：

$\hat {\mu_k} = \frac {1} {n_k}\sum_{i : y_i=k}{x_i}$

$\hat {\pi_k}= \frac {n_k} {n}$

$\hat {\sigma^2} = \frac {1} {n-k}\sum_{k=1}^K\sum_{i : y_i=k}({x_i-\hat\mu_k}^2)$

3.P>1
同理得：

$$\delta_k(x)=x^T\Sigma^{-1}\mu_k - \frac{1}{2}\mu_k^T\Sigma^{-1}\mu_k +log(\pi_k)$$

参数估计的方法同上，需要估计协方差矩阵$\Sigma$

4.评价：confusion matrix

QDA（Quadratic Discriminat Analysis）

与LDA**相同**，QDA也假设了每个类的观测值都来自于高斯分布
与LDA**不同**，QDA假设每个类有它们自己的协方差矩阵，即$\mathcal {N}(\mu_k,\Sigma_k )$
因此：

$$\delta_k(x)=-\frac{1}{2}(x-\mu_k)^T\Sigma^{-1}(x-\mu_k) - \frac{1}{2} \log|\Sigma_k|+log(\pi_k)$$

原因：

1.variance-bias trade-off : 在现实情况中，真实的分布f不能得到，需要通过观测值组成训练集来估计。训练集可能不完全也可能来自于不同的观测值，因此variance反应了不同数据集预测得到的$\hat \f$ 和$\f$之间差距的变化度。bias反应了预测的误差。
2.QDA相比LDA需要估计更多的参数，当数据量足够大时，variance不再是主要的问题，选用QDA更好
3.当数据量较小时，LDA更常用。