机器学习中的交叉验证与估计统计方法

# 机器学习中的交叉验证与估计统计方法 ## 1. k折交叉验证 ### 1.1 k值的选择 在进行k折交叉验证时，k值的选择至关重要。若选择不当，可能导致对模型性能的错误评估，比如产生高方差（模型得分会因训练数据的不同而大幅波动）或高偏差（高估模型性能）。以下是三种常见的k值选择策略： - **代表性策略**：选择k值，使得每个训练/测试数据组都能在统计意义上代表更广泛的数据集。 - **k = 10**：将k固定为10，经验表明，这个值通常能得到低偏差和适度方差的模型性能估计。 - **k = n**：将k固定为数据集的大小n，让每个测试样本都有机会作为验证集，这种方法称为留一法交叉验证（LOOCV）。 通常，k值常选择5或10，但并没有严格的规则。随着k值增大，训练集和重采样子集的大小差异会变小，从而降低方法的偏差。在应用机器学习领域，k = 10是非常常见的选择，若你难以确定k值，推荐使用这个值。 ### 1.2 示例 假设有一个包含6个观测值的数据集：`[0.1, 0.2, 0.3, 0.4, 0.5, 0.6]`。若选择k = 3，首先对数据进行洗牌，然后将其分成3组，每组有2个观测值： - Fold1: `[0.5, 0.2]` - Fold2: `[0.1, 0.3]` - Fold3: `[0.4, 0.6]` 接下来，训练和评估三个模型，每个折叠都有机会作为验证集： - Model1: 在Fold1 + Fold2上训练，在Fold3上测试 - Model2: 在Fold2 + Fold3上训练，在Fold1上测试 - Model3: 在Fold1 + Fold3上训练，在Fold2上测试 评估完模型后，将其丢弃，收集每个模型的性能得分并进行汇总。 ### 1.3 Python实现 在Python中，可以使用`scikit-learn`库的`KFold`类来实现k折交叉验证，而无需手动编写代码。以下是一个示例代码： ```python from numpy import array from sklearn.model_selection import KFold # 数据样本 data = array([0.1, 0.2, 0.3, 0.4, 0.5, 0.6]) # 准备交叉验证 kfold = KFold(3, True, 1) # 枚举分割 for train, test in kfold.split(data): print('train: %s, test: %s' % (data[train], data[test])) ``` 运行上述代码，会输出每个训练集和测试集的具体观测值： ``` train: [0.1 0.4 0.5 0.6], test: [0.2 0.3] train: [0.2 0.3 0.4 0.6], test: [0.1 0.5] train: [0.1 0.2 0.3 0.5], test: [0.4 0.6] ``` ### 1.4 交叉验证的变体 k折交叉验证有多种变体，常见的有以下几种： - **训练/测试分割**：将k设为1，创建单个训练/测试分割来评估模型。