读书笔记-《机器学习》第十章：降维与度量学习

10.1 k近邻学习 工作机制： k近邻是懒惰学习的代表，没有显式的训练过程，和 急切学习 相反 K近邻学习受k值和距离计算方式的影响 当k=1,分析错误率，即最近邻分类器 10.2 低维嵌入 维数灾难： 在高维情况下出现的数据样本稀疏，距离计算困难等问题 解决方案： 降维，通过某种数学变换，将原始高维属性空间转变为一个低维子空间，在这个子空间中样本密度大幅度提高，距...

一 解决的问题 由k近邻算法引出，k近邻算法需要满足密采样，稀疏数据无法获取特定距离的近邻。 但是现实问题中，数据属性非常多，形成高维空间，然而在高维空间下的计算量大，并且满足不了密采样的要求。 于是，提出降维的方法，希望通过降维在低维空间映射出密采样，也易于学习。 如何降维才能保证仍然保存高维空间数据的特征的呢？ 一种方法：希望在高低维空间，样本之间的距离是不变的，称为多维缩放，简称...

10. 降维与度量学习10.1 k近邻学习10.2 低维嵌入经典降维方法：多维缩放(MDS)10.3 主成分分析 10.1 k近邻学习 k近邻学习（knn）是一种监督学习算法，它直接使用测试样本和训练样本，没有显示的训练过程，工作机制如下：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个邻居的信息来进行预测。通常，对于不同类型的任务，使用的预测方法不同： 分类任...

值得注意的是，在分类任务中可使用投票法，回归任务中可使用平均法，此外，还可以进行加权平均或加权投票。流形学习是一类借鉴了拓扑流形概念的降维方法，如果低维流形嵌入到高维空间中，那么其分布虽然看上去十分复杂，但在局部上仍具有欧式空间的性质。等度量映射的观点是，高维空间上的直线距离在低维上不可达，而应是流体上的本真距离。降维效果通常是比较降维前后学习器的性能来体现的，如果性能有所提高，那么降维起了作用，当降维到二维或者三维，那么可以可以利用可视化技术来判断降维效果。求出矩阵的B的特征向量矩阵V，即。

机器学习 总目录 第十章 降维与度量学习 10.1 K近邻学习 k近邻学习是一种监督学习算法，在给定的训练样本集中，基于某种距离度量，找出与训练集最靠近的kkk个训练样本，然后基于这k个邻居信息来进行预测。 投票法：通常在分类任务中使用，判别方法是选择这kk个样本中出现最多的类别标记作为预测结果。 平均法：通常在回归任务中使用，判别方法是将这kk个样本的实值输出标记的平均值最为预测结果。 加权平...

K-Means与LVQ都试图以类簇中心作为原型指导聚类，其中K-Means通过EM算法不断迭代直至收敛，LVQ使用真实类标辅助聚类；高斯混合聚类采用高斯分布来描述类簇原型；密度聚类则是将一个核心对象所有密度可达的样本形成类簇，直到所有核心对象都遍历完；最后层次聚类是一种自底向上的树形聚类方法，不断合并最相近的两个小类簇。本篇将讨论机器学习常用的方法–降维与度量学习。 降维与度量学习 维数（dimensionality）：样本的特征数 “维数灾难”：维数非常大 具体表现在：在高维情形下，数据样本将变得十分稀疏

10.降维和度量学习 10.1k近邻学习 k近邻（k-NearestNeighbor，简称kNN）学习是一种常用的监督学习方法，其原理是：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个邻居的信息来进行预测。在分类任务中，使用投票法，选择k个样本中出现最多的类别标记作为预测结果；在回归任务中，使用平均法，将这k个样本的实值输出标记的平均值作为预测结果。自然，也

西瓜书第十章