ESL第四章 分类的线性方法 指示矩阵线性回归/LDA和线性回归区别联系/QDA/RDA/低秩LDA与PCA&线性回归联系/IRLS/Wald和Rao score检验/L1逻辑回归、感知机/SVM

4.2 指示矩阵(Indicator Matrix)线性回归

• P104 用回归做K分类，$\mathbf{Y}\in {\mathbb{R}}^{N\times K}$，其中每一行只有一个位置为1. 可以证明如果有偏置项，对任意输入$x$，这$K$个值求和为1，不过可能会出现负数
• P104 对多分类用mse进行优化，给出了另一个视角。测试时用最大的indicator指示
• P105 线性回归处理多分类把某些类直接盖掉，这是Linear Regression的问题（PRML第四章中给出了线性回归的另一个问题，就是把分的很正确的点又拉回来）。不严格的规则是，K分类可能需要引入K-1次的高阶项（这里应该是只讨论大致线性可分）

4.3 线性判别分析

• P108 从类后验分布的出发点开始推导LDA（好像之前没见过这么起手的，我感觉这个应该叫贝叶斯分类器）
• P110 二类中，LDA和线性回归的判别界面法向是一样的。而且这和类别编码无关。但当二类样本数不同时，决策的准则不同（习题4.2，我没做。。）PRML第四章P190也提到了
• P110 当两类方差不等时，得到平方判别函数quadratic discriminant functions(QDA)，这不是分类面是二次曲线
• P111 LDA和RDA的参数量

4.3.1 正则化判别分析Regularized Discriminant Analysis(RDA)

• P112 LDA和QDA两者方差的权衡。类似Ridge Regression

4.3.2 LDA计算

• P113 LDA的一种求解方式，先对样本进行类内协方差有关的变换（$X^{\ast }=$