随机森林笔记

最新推荐文章于 2024-04-02 01:16:14 发布

AlphaFinance

最新推荐文章于 2024-04-02 01:16:14 发布

阅读量3.5k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签：随机森林笔记机器学习

本文链接：https://blog.csdn.net/dragon_T1985/article/details/130121365

机器学习专栏收录该内容

87 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文探讨了随机森林模型中特征重要度的正负含义，指出其代表特征对预测性能的影响方向。同时，分析了n_estimators参数如何影响随机森林的随机性，揭示了模型中特征重要度得分的动态变化。当n_estimators较小，模型随机性增加，更多特征可能具有非零重要度得分。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在计算特征重要度时，正值表示该特征对模型预测目标的正向影响较大，即该特征的增加能够提高模型的预测性能；负值表示该特征对模型预测目标的负向影响较大，即该特征的减少能够提高模型的预测性能；零表示该特征对模型预测目标的影响较小，即该特征的变化对模型的预测性能影响不大。

如果一个特征的重要度为-0.1，另一个特征的重要度为+0.1，虽然它们的符号相反，但重要度的大小是相等的。

随机森林是由多个决策树组成的集成模型，它的随机性来源于两个方面：随机选择训练样本和随机选择特征。n_estimators是随机森林中决策树的数量，当n_estimators的取值较大时，每个基本决策树的建立过程中使用的特征和划分会趋于相似，因为它们都会看到训练数据集的完整特征。这会导致许多决策树都使用相同的特征和划分，导致较多的特征被剔除或重要度得分为0。

当n_estimators的取值较小时，每个基本决策树的建立都具有更强的随机性，因为它们只看到训练数据集的一个子集。这意味着，不同的决策树会使用不同的特征和划分，可能会导致更多的特征出现在分支中，从而使更多的特征具有非零的重要度得分。因此，当n_estimators较小时，随机森林的随机性增加，每个基本决策树使用的特征和划分更加不同，导致更多的特征出现在分支中，从而提高了这些特征的重要度得分。