机器学习集成学习作业.docx资源-CSDN下载

版权申诉

2 浏览量 2022-06-14 20:30:24 上传评论收藏 120KB DOCX 举报

资源详情

资源评论

资源推荐

机器学习作业：

1、试分析和总结随机森林（Random Forest）和梯度提升树

（GBDT）的区别（至少写出三条）。

随机森林对训练集一视同仁，GBDT 是基于权值的弱分类器的集成；

随机森林采用多数投票等，BDT 则是将所有结果累加起来，或者加权累加来。

2、解释随机森林预测算法的原理，并分析随机森林能够降低方

差的原因。

随机森林预测算法的原理：

① 从原始训练集中使用 Bootstraping 方法随机有放回采样选出 m 个样本，共进

行 n_tree 次采样，生成 n_tree 个训练集；

② 对于 n_tree 个训练集，分别训练 n_tree 个决策树模型；

③ 对于单个决策树模型，假设训练样本特征的个数为 n，那么每次分裂时根据信

息增益或信息增益比或基尼指数选择最好的特征进行分裂；

④ 每棵树都一直这样分裂下去，直到该节点的所有训练样例都属于同一类。在决

策树的分裂过程中不需要剪枝；

⑤ 将生成的多棵决策树组成随机森林。对于分类问题，按多棵树分类器投票决定

最终分类结果；对于回归问题，由多棵树预测值的均值决定最终预测结果。

原因：

随机性的引入使得随机森林模型不容易陷入过拟合，具有很好的抗噪能力。而且

随机性保证了各子模型间的多样性，子模型间差异越大，模型融合起来的效果会

越好，即降低方差的效果更好。

3、举例说明 AdaBoost 中误差率的变化过程。

4、假设已知训练集 T={(1, 5.5), (2, 6.5), (3,7.3), (4,8.5),

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余9页未读，立即下载

评论0

内容反馈

版权申诉

苦茶子12138

粉丝: 1w+

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip