ESL第六章 核光滑方法 度量窗口/近邻窗口、局部线性【或多项式】回归、高维局部回归、局部逻辑回归、核密度估计/核密度分类/朴素贝叶斯、径向基函数【网络】/重标准化/N-W核回归估计、高斯混合【分类】

6.0 导言

• P192 本章的方法都是memory-based，很少或不需要训练。模型就是整个训练集（PRML中高斯过程似乎也是这样）
• P191 本章中的“核”大多作为局部化工具，其技巧不要与其他“核方法”相混淆

6.1 一维核光滑器

• P192 Nearest-Neighbor核不连续，很容易的改进是Epanechnikov (quadratic) Kernel，连续
• P193 度量窗口宽度Metric window widths（常数$h_{\lambda }(x)$）倾向于保持bias不变，variance与局部密度成反比；近邻窗口Nearest-neighbor window正好相反
• P193 当某个$x$重复，而$y$不相等时，最近邻方法出现问题；而在数据边界，度量邻域则缺样本点
• P194 Epanechnikov、Tri-cube、Gaussian的核函数区别
• P194 紧核compact kernel

6.1.1 局部线性回归

• P195 在局部用一次函数而不是常数值函数进行拟合（其实之前提到的方法就是MSE loss下的在局部常数回归）. 这种方法求解之后仍然是邻域的其他样本带权平均的方法
• P196 局部回归可以看作是自动修改权重核来纠正不对称窗口、或者两边密度不对称等的偏差
• P197 权重之和一定为1，而且对于$k$次回归，当$1⩽j⩽k$时，${\sum }_{i=1}^N(x_i-x_0{)}^j{l}_i(x_0)=0$

6.1.2 局部多项式回归

• P197 次数越高，bias越低，variance越高
• P198 局部二次回归，能更拟合曲线内部的一些弯曲部分；但对边界则没什么提升。边界的拟合提升主要来自于局部一次线性回归
• P198 渐近分析表明奇数阶的局部多项式表现得比偶数阶要好．大部分是因为渐近情况下，MSE 由边界影响主导．
• 注意，这时候，感觉基扩张和带权局部回归有一起使用的感觉

6.2 选择核宽度

• P199 回想第五章，光滑样条也是一种非参拟合方法. 可以和局部线性拟合进行对比
• 当核宽度非常宽时，局部方法退化为全局方法，所以局部方法似乎包含的曲线更广

6.3 ${\mathbb{R}}^p$中的局部回归

• P200 局部多项式回归要有交叉项
• P200 边界问题在高维情况下更严重，因为，维度越高，边界占比越大，也即高维灾难。直接改核会更复杂，尤其是对于不规则边界。局部多项式回归则无缝将任意维度边界进行矫正
• P200 当维度超过2或3时，局部回归不是很有用
• P201 给出了一个3维情况，以两个特征为条件分组，拟合剩下一个变量的局部线性回归

6.4 ${\mathbb{R}}^p$中的结构化局部回归模型

6.4.1 结构核

• P203 不同特征维度可以给不同权重，通过一个半正定矩阵$\mathbf{A}$来控制

6.4.2 结构回归函数

• P203 方差分析analysis-of-variance(ANOVA)
• P203 可变系数模型varying coefficient models，以某些feature为条件的线性回归系数组

6.5 局部似然和其他模型

• P205 局部模型的推广，用局部似然
• P206 局部逻辑回归

6.6 核密度估计和分类

6.6.1 核密度估计

• P208 Parzen估计，及其卷积形式，高维推广

6.6.2 核密度分类

• P210 非参数贝叶斯分类器，用非参数方法估计一个类的分布，而不是做高斯假设
• P210 图6.12的例子中局部逻辑回归，用tri-cube核，在不同区域，用k-NN选择核宽度，所以说核宽度还是自适应的。。太强了

6.6.3 朴素贝叶斯分类器

• P211 朴素贝叶斯分类器能很好处理高维情况
• P211 朴素贝叶斯每一维可以用核密度估计
• P211 朴素贝叶斯表现好的原因是bias或许不会对后验概率造成太大影响
• P211 朴素贝叶斯的对数似然比能写成广义加性模型，此外注意和逻辑回归之间的联系（习题6.9）

6.7 径向基函数和核

• P212 基函数尽管没有局部性，例如truncated-power bases和sigmoidal basis，但是复合函数$f(x)$仍然可以显示出局部性，通过特定的系数值来消除全局性
• P212 明确指出截断幂基truncated-power bases有一个等价的B样条基，形成同样的函数空间
• P212 径向基函数网络RBF network（RBF网络），最小二乘非凸
• P213 通常用高斯混合的方法进行无监督训练，得到RBF网络中的原型位置${\xi }_j$和尺度参数${\lambda }_j$
• P213 径向基函数的重标准化renormalized radial basis functions，${\mathbb{R}}^p$中Nadaray-Watson核回归估计量可以看作是重标准化后径向基函数的在样本点展开的special case

6.8 混合模型的密度估计和分类

• P214 混合模型（例如高斯混合）可以看作是一种核方法，当高斯混合中不同分量方差一样时，就成了径向基展开；另外，方差为固定单位阵下，当高斯分量数量与样本数量相等时（原文是$M\uparrow N$，理解不了这个符号。。），高斯混合的最大似然会近似6.6.1节核密度估计式6.22
• P215 拿高斯混合做二分类，效果这么好的嘛

6.9 计算考虑

• P216 核、局部回归、密度估计都是memory-based的方法，模型就是整个训练集，拟合发生在预测时刻
• 我感觉，上述这些模型中，核提供了权重，跟核相乘的另一个因子（例如高斯混合里的类概率，注意高斯混合退化成核密度估计后，类概率全部相等；径向基函数中待拟合的参数，当它退化成局部线性回归后，参数就变成了$y$）提供了拟合值

参考文献：
[1] Trevor Hastie, Robert Tibshirani, Jerome Friedman. The Elements of Statistical Learning, Second Edition
[2] ESL CN