【Preprocessing数据预处理】之Skewness

在机器学习和统计学中，偏度(Skewness)指的是实值随机变量(Variables)的概率分布的不对称性的度量。本质上，它表明分布与正态分布的偏离程度，正态分布是对称的，没有偏度。偏度可以分为两种类型：

- 正偏度(Postive Skewness or Right Skewness)：也称为右偏度，发生在分布的右侧尾部比左侧长或更厚时。在这种分布中，均值和中位数将大于众数。

- 负偏度(Nagative Skewness or Left Skewness)：也称为左偏度，发生在分布的左侧尾部比右侧长或更厚时。在这些分布中，均值和中位数将小于众数。

处理偏度很重要，因为许多机器学习模型假设特征遵循正态分布。

偏度以几种方式影响模型训练，主要是因为许多机器学习算法对数据分布有基本假设。以下是解决偏度重要性的几个原因：

1. 正态性假设
许多算法，特别是基于线性模型的算法，假设特征遵循正态分布。像线性回归、逻辑回归和线性判别分析这样的算法假设每个特征都遵循高斯分布(正态分布)。偏度违反了这一假设，可能导致模型性能不佳。

2. 模型准确性
偏态数据会影响模型的准确性。例如，在正偏态分布中，异常值的存在或向右的长尾可能导致模型偏向于更高的值，误表示数据的实际情况。这可能导致对较低端值的预测不准确，特别是对值的预测。