6、机器学习中的数据处理与分析技术

机器学习中的数据处理与分析技术

1. 数据降维与矩阵分解

在处理数据时，当识别出具有明显变化的点后，我们可以用更少的维度来近似原始数据点。通过定义阈值，忽略低于该阈值的变化，从而在不损失数据点内在关系和感兴趣信息的前提下，大幅减少数据集。

若 $M$ 是一个 $m×n$ 矩阵，它可以分解为三个矩阵 $U$、$\sum$ 和 $V^T$ 的乘积，具体特性如下：
- $U$ 是列正交矩阵，其列是 $MM^T$ 的标准正交特征向量。
- $V^T$ 是正交矩阵 $V$ 的转置，$V$ 的列是 $M^TM$ 的标准正交特征向量。
- $\sum$ 是对角矩阵，除对角线元素外其余元素均为 0，且包含 $U$ 或 $V$ 特征值的平方根，按降序排列。

矩阵 $M$ 可精确重写为：
[M = U\sum V^T]

在降维过程中，合成 $U$ 和 $V$，使其包含原始数据中按变化降序排列的元素。对于不呈现显著变化的维度元素，可以通过将最小特征值设为 0 来删除。此时，上述公式可改写为最佳秩 - $l$ 近似形式：
[\hat{M} = \sum_{i = 1}^{l} \lambda_i u_i v_i^T]
其中，$u_i$ 和 $v_i$ 分别是 $U$ 和 $V$ 的第 $i$ 列，$\lambda_i$ 是对角矩阵 $\sum$ 的第 $i$ 个元素。

2. 主成分分析（PCA）

主成分分析是一种广泛应用的分析技术，用于在不显著损失信息的情况下降低数据集的维度。其目标是将高维特征空间投影到较小的子集中，以降低计算成本。

在空间中有一群点时，用于表