41、特征降维与选择方法解析

特征降维与选择方法解析

在数据分析和处理中，当数据维度较高且训练样本数量有限时，特别是在决策面附近的样本不足时，估计结果往往不可靠。接下来，我们将介绍几种特征降维和选择的方法。

1. 非参数加权特征提取（NWFE）

NWFE 是 10.3.4 节中加权版本的 NDA 的一种变体。它对计算局部均值时使用的样本进行加权，并对类间和类内散射矩阵采用了稍有不同的定义。

1.1 局部均值的计算

对于同一类中像素 $x_{i\in r}$ 附近的 $r$ 类像素均值的计算，不是使用 $k$ 个最近邻样本，而是使用所有训练像素，但它们对均值计算值的影响会随着与 $x_{i\in r}$ 的距离增大而减小。$r$ 类中第 $i$ 个像素的加权均值为：
$m_{r,i\in r} = \sum_{l = 1}^{N_r} w_{l\in r,i\in r} x_{l\in r}$
其中，$N_r$ 是 $r$ 类的训练像素数量，权重 $w_{l\in r,i\in r}$ 的定义为：
$w_{l\in r,i\in r} = \frac{d^{-1}(x_{i\in r}, x_{l\in r})}{\sum_{l = 1}^{N_r} d^{-1}(x_{i\in r}, x_{l\in r})}$
这里，$d^{-1}$ 是其参数中像素向量之间距离的倒数。

同样，对于 $r$ 类中第 $i$ 个像素而言，$s$ 类像素的局部均值为：
$m_{s,i\in r} = \sum_{l = 1}^{N_s} w_{l\in s,i\in r} x_{l\in s}$
权重为：
$w_{l