决策树特征分裂为何不选择最小化训练误差?

本文探讨了线性回归、逻辑回归及决策树等算法中最小化训练误差的问题,指出决策树采用贪心策略生成树结构而非直接最小化训练误差的原因,并讨论了如何通过策略正则化来缓解过拟合。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在博客上看到有博主说是因为使用最小化训练误差可能会导致过拟合,所以没有选择,感觉理解的似乎有点问题,这边给出自己的一些理解。

1.首先一点,线性回归,逻辑回归等都是要基于最小化训练误差来做,应该是基本所有的分类算法都是要最小化训练误差的,只是损失函数的不同导致选择的目标函数不同的原因,不太会因为可能过拟合而不选择最小化训练误差。

2.第二点,决策树的生成是递归生成,并且是贪心地生成的,无法保证是全局最优树,所以本身就是一层层生成的,直接没办法使用最小化训练误差(最小化训练误差只有树结构确定时使用),当然最理想的情况是产生所有可能的子树,然后在子树上使用最小化训练误差来进行求解,但是这种做法的缺点是代价过高,对于时间代价与结果准确度上需要做取舍,所以选择局部最优贪心逼近。

3.第三点,决策树可以使用多种策略来进行正则化,如剪枝,对树结构复杂度做约束等,可以减轻过拟合的影响,所以如果可以方便获得全局最优结果,那么一般不太会考虑是过拟合带来的影响。

以上是个人看法,如果有误希望留言纠正,谢谢。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值