# 导入库 import pandas as pd from sklearn.ensemble import RandomForestRegressor from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error, r2_score # 加载数据（假设df_feature已存在） # df_feature = pd.read_csv("your_dataset.csv") # 数据预处理 X = df_feature.drop(columns=['target']) y = df_feature['target'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 处理缺失值 X_train = X_train.fillna(X_train.mean()) X_test = X_test.fillna(X_train.mean()) # 模型训练 rf_reg = RandomForestRegressor( n_estimators=200, max_depth=10, min_samples_split=5, random_state=42, n_jobs=-1 ) rf_reg.fit(X_train, y_train) # 评估 y_pred = rf_reg.predict(X_test) print(f"RMSE: {mean_squared_error(y_test, y_pred)**0.5:.2f}") print(f"R²: {r2_score(y_test, y_pred):.2f}") # 特征重要性 for name, importance in zip(X.columns, rf_reg.feature_importances_): print(f"{name}: {importance:.4f}")

<think>好的，用户让我介绍一下他提供的随机森林回归代码，并且可能希望我补充一些交叉验证的内容，因为之前他问过关于交叉验证的设计。现在我需要仔细分析他的代码，指出各个部分的作用，同时看看是否有可以优化的地方，特别是关于交叉验证的部分。 首先，用户导入了一些必要的库，包括pandas、随机森林回归器、数据分割函数和评估指标。这部分没问题，但可能需要检查是否有遗漏的库，比如用于交叉验证的库。 数据预处理部分，用户假设已经存在df_feature，并分割了训练集和测试集。处理缺失值时，他用训练集的均值填充了训练和测试集。这里需要注意的是，测试集的填充应该使用训练集的统计量，避免数据泄露。用户确实这么做了，这点正确。 模型训练部分，参数设置合理，包括n_estimators、max_depth等，n_jobs=-1可以加速训练。评估部分计算了RMSE和R²，正确使用了测试集进行评估。特征重要性部分也正确。 接下来，用户之前的需求是关于交叉验证的，所以现在可能需要指出当前代码缺少交叉验证，建议如何加入。例如，可以用交叉验证来更稳健地评估模型性能，而不仅仅是单次的训练测试分割。另外，可能在超参数调优时使用交叉验证，比如GridSearchCV。 需要检查用户当前的评估是否只是单次分割的结果，可能不够可靠。补充交叉验证的步骤能提高结果的可信度。例如，在模型训练后，使用cross_val_score进行交叉验证，输出平均RMSE和标准差。 另外，用户在处理缺失值时用了均值填充，但对于不同的数据分布，可能需要更复杂的方法，比如中位数或者插值，但用户的问题可能不在此处，所以暂时不需要深入。 特征重要性部分正确，但可能需要可视化来更直观，比如用图表展示重要性排序。 总结下来，用户的代码结构正确，但可以加入交叉验证来改进评估过程，同时可以提到超参数调优和可视化特征重要性作为进一步的优化建议。</think>--- ### **代码解析与交叉验证优化方案** 以下是您提供的随机森林回归代码的逐段解析，并补充 **交叉验证优化方案** 和 **改进建议**。 --- ### **一、代码解析** #### **1. 库导入** ```python import pandas as pd from sklearn.ensemble import RandomForestRegressor from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error, r2_score ``` - **功能说明**： - `pandas` 用于数据处理，`RandomForestRegressor` 是随机森林回归模型。 - `train_test_split` 分割数据集，`mean_squared_error` 和 `r2_score` 用于评估回归性能。 --- #### **2. 数据预处理** ```python X = df_feature.drop(columns=['target']) y = df_feature['target'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) ``` - **关键点**： - `test_size=0.2` 保留20%数据作为测试集，`random_state=42` 确保分割可复现。 - 需确保 `df_feature` 中 `target` 列存在。 --- #### **3. 缺失值处理** ```python X_train = X_train.fillna(X_train.mean()) X_test = X_test.fillna(X_train.mean()) # 正确：用训练集均值填充测试集 ``` - **注意事项**： - 测试集填充必须使用训练集的统计量（如均值/中位数），避免数据泄漏（Data Leakage）。 --- #### **4. 模型训练** ```python rf_reg = RandomForestRegressor( n_estimators=200, max_depth=10, min_samples_split=5, random_state=42, n_jobs=-1 # 并行加速 ) rf_reg.fit(X_train, y_train) ``` - **参数解释**： - `n_estimators=200`：树的数量，较大值通常性能更好（但计算成本高）。 - `max_depth=10`：限制树的最大深度，防止过拟合。 - `n_jobs=-1`：使用全部CPU核心加速训练。 --- #### **5. 模型评估** ```python y_pred = rf_reg.predict(X_test) print(f"RMSE: {mean_squared_error(y_test, y_pred)**0.5:.2f}") print(f"R²: {r2_score(y_test, y_pred):.2f}") ``` - **指标意义**： - `RMSE` 反映预测值与真实值的平均误差，越小越好。 - `R²` 表示模型解释的方差比例，$R^2 \in [0,1]$，越大越好。 --- #### **6. 特征重要性** ```python for name, importance in zip(X.columns, rf_reg.feature_importances_): print(f"{name}: {importance:.4f}") ``` - **原理**： - 特征重要性基于基尼不纯度减少量或均方误差减少量计算，值越大表示特征对预测贡献越大。 --- ### **二、交叉验证优化方案** 当前代码仅使用单次训练-测试分割，可能导致评估结果不稳定。以下是改进方案： #### **1. 加入K折交叉验证** ```python from sklearn.model_selection import cross_val_score # 定义RMSE评估函数 def rmse(y_true, y_pred): return np.sqrt(mean_squared_error(y_true, y_pred)) # 交叉验证（5折） cv_scores = cross_val_score( rf_reg, X_train.fillna(X_train.mean()), # 确保填充在每折内独立完成 y_train, cv=5, # 5折 scoring='neg_root_mean_squared_error' # 使用内置RMSE（Scikit-learn 0.23+） ) print("交叉验证RMSE均值:", -cv_scores.mean()) # 注意符号翻转 print("RMSE标准差:", cv_scores.std()) ``` #### **2. 交叉验证+超参数调优** ```python from sklearn.model_selection import GridSearchCV # 定义参数网格 param_grid = { 'n_estimators': [100, 200, 300], 'max_depth': [5, 10, 15], 'min_samples_split': [2, 5, 10] } # 网格搜索 grid_search = GridSearchCV( estimator=RandomForestRegressor(random_state=42, n_jobs=-1), param_grid=param_grid, cv=5, # 交叉验证折数 scoring='neg_root_mean_squared_error', verbose=2 # 显示进度 ) grid_search.fit(X_train.fillna(X_train.mean()), y_train) # 输出最优参数 print("最佳参数:", grid_search.best_params_) print("最佳RMSE:", -grid_search.best_score_) ``` --- ### **三、改进建议** 1. **数据预处理增强**： - 对数值特征进行标准化（如 `StandardScaler`）或归一化（如 `MinMaxScaler`）。 - 对类别特征使用独热编码（`OneHotEncoder`）或目标编码（`TargetEncoder`）。 2. **缺失值处理优化**： - 复杂场景可使用插值（如时间序列的线性插值）或模型预测填充（如KNN填充）。 3. **特征重要性可视化**： ```python import matplotlib.pyplot as plt # 提取特征重要性 importances = rf_reg.feature_importances_ features = X.columns # 排序并绘图 sorted_idx = np.argsort(importances)[::-1] plt.barh(range(X.shape[1]), importances[sorted_idx], align='center') plt.yticks(range(X.shape[1]), features[sorted_idx]) plt.xlabel("Feature Importance") plt.show() ``` 4. **模型可解释性**： - 使用SHAP值（`shap`库）或LIME解释单个样本的预测结果。 --- ### **四、完整优化后代码结构** ```python # 导入库（新增部分） import numpy as np import matplotlib.pyplot as plt from sklearn.preprocessing import StandardScaler from sklearn.pipeline import Pipeline # 数据预处理（示例） # 假设数据已加载为 df_feature X = df_feature.drop(columns=['target']) y = df_feature['target'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 构建流水线（包含标准化和模型） pipeline = Pipeline([ ('imputer', SimpleImputer(strategy='mean')), # 缺失值填充 ('scaler', StandardScaler()), # 标准化 ('model', RandomForestRegressor(n_estimators=200, random_state=42, n_jobs=-1)) ]) # 交叉验证评估 cv_scores = cross_val_score(pipeline, X_train, y_train, cv=5, scoring='neg_root_mean_squared_error') print(f"交叉验证RMSE均值: {-cv_scores.mean():.2f} ± {cv_scores.std():.2f}") # 训练最终模型 pipeline.fit(X_train, y_train) y_pred = pipeline.predict(X_test) print(f"测试集RMSE: {rmse(y_test, y_pred):.2f}") ``` --- 通过上述优化，您的模型将具备更鲁棒的评估流程和更高的可解释性。