『ML笔记』PCA(Principal Component Analysis)降维全面解读+python实现！

一、数据降维

1.1、维度诅咒问题

许多机器学习问题涉及训练实例的几千甚至上百万个特征，这不仅导致训练非常的缓慢，也让我们很难找到好的解决方案。这个问题通常称为维度诅咒！幸运的是，对现实世界的问题，我们一般可以大量减少特征的数量，将棘手的问题转化为容易解决的问题。例如，MNIST图像：图像边框的像素位上几乎全都是白色，所以我们完全可以在训练集中抛弃这些像素位，也不会丢失太多的信息。
数据降维确实会丢失一些信息（就好比图像压缩为JPEG会降低其质量一样），所以，它虽然能够加速训练，但是也会轻微降低系统的性能。同时它也会让流水线更为复杂，维护难度上升。所以，如果训练太慢，你首先尝试的还是继续使用原始的数据，然后在考虑数据降维。不过在某些情况下，降低训练数据的维度可能会过滤掉一些不必要的噪声和细节，从而导致性能更好（但是通常不会，它只会加速训练）。
除了加速训练，降维对于数据可视化也是非常有用的。降维度降低到两个（或三个），就可以在图形上绘制出高维训练集，通过视觉来检测模式，常常可以获得一些十分重要的洞察，比如说聚类。

1.2、为什么要进行数据降维？

众所周知，数据在