[机器学习]降维与度量学习

最新推荐文章于 2025-01-20 20:04:23 发布

原创

最新推荐文章于 2025-01-20 20:04:23 发布 · 1.2k 阅读

CC 4.0 BY-SA版权

文章标签：

本文深入探讨了机器学习中的降维技术，包括k-近邻学习、低维嵌入（如多维缩放MDS）、主成分分析PCA以及核化线性降维。同时，介绍了度量学习的概念，如近邻组件分析NCA，强调了在高维空间中寻找合适距离度量的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文档记录了《机器学习》第 10 章降维与度量学习相关内容

k-近邻学习

给定测试样本，基于某种距离度量找出训练集中与其最靠近的 k 个训练样本，然后基于这 k 个“邻居”的信息来进行预测。

设测试样本 $x$ ，对应的最近邻样本 $z$ ，有错误率：

P (e r r) = 1 - \sum c \in  P (c | x) P (c | z)

$P(err)=1-\sum_{c\in\mathcal{Y}}P(c|x)P(c|z)$

P (e r r) ≃ 1 - \sum c \in  P 2 (c | x)

$P(err)\simeq1-\sum_{c\in\mathcal{Y}}P^2(c|x)$

P (e r r) \leq 1 - P 2 (c * | x)

$P(err)\leq1-P^2(c^*|x)$

P (e r r) = (1 + P (c * | x)) (1 - P (c * | x))

$P(err)=(1+P(c^*|x))(1-P(c^*|x))$

P (e r r) \leq 2 \times (1 - P (c * | x))

$P(err)\leq 2\times (1-P(c^*|x))$

在训练阶段仅仅是把样本保存起来，训练时间开销为零，待收到测试样本后再进行处理。

急切学习：在训练阶段就对样本进行学习处理。

密采样假设：任意测试样本 $x$ 附近任意小距离 $\delta$ 范围内总能找到一个训练样本，即训练样本的采样密度足够大。

当属性维度数量非常高时，若要满足密采样假设需要非常多的样本，需要缓解维度灾难。

在很多时候，人们观测或收集到数据样本虽然是高维的，但与学习任务密切相关的也许仅是某个低位分布，即高维空间的一个低维“嵌入”。