主成分分析(PCA)的推导与理解

一、PCA简介

主成分分析（PCA）是一种常见的，也是最简单的降维手段，在机器学习中可用于特征提取。即便有时收集到的样本维数很高（即含有过多特征），但与学习任务相关的可能只是某个低维分布，这时就需要有效降维，在缓解维数灾难的同时令得到的低维嵌入仍能很好地描述原样本空间。

二、PCA推导

首先进行任务描述。

设样本 $X\in R^{n\ast d}$ , 低维表示$Z\in R^{n\ast l}(l<d)$ 。$Z=X\ast W$。可以将这个变换看作坐标变换，那么$W$就是$l$个正交基向量（列向量）组成的矩阵，$W^{T}W=I$。也就是说，我们有n个d维的原样本x，经坐标变换后得到n个$l$维的新样本z。在新坐标系中，$Z$的每一行（即每个新样本）都可看作是原样本在$w_i$方向上的投影。为了更直观地进行坐标变换，我们将样本进行中心化，每个样本都减去均值，使得样本中心落在原点，${\sum }_i{x}_i=0$。

我们知道投影可以用内积的形式表示，用$x_i{w}_1$表示$x_i$（行向量）在$w_1$上的投影长度（还要除以w1w_1