在博客上看到有博主说是因为使用最小化训练误差可能会导致过拟合,所以没有选择,感觉理解的似乎有点问题,这边给出自己的一些理解。
1.首先一点,线性回归,逻辑回归等都是要基于最小化训练误差来做,应该是基本所有的分类算法都是要最小化训练误差的,只是损失函数的不同导致选择的目标函数不同的原因,不太会因为可能过拟合而不选择最小化训练误差。
2.第二点,决策树的生成是递归生成,并且是贪心地生成的,无法保证是全局最优树,所以本身就是一层层生成的,直接没办法使用最小化训练误差(最小化训练误差只有树结构确定时使用),当然最理想的情况是产生所有可能的子树,然后在子树上使用最小化训练误差来进行求解,但是这种做法的缺点是代价过高,对于时间代价与结果准确度上需要做取舍,所以选择局部最优贪心逼近。
3.第三点,决策树可以使用多种策略来进行正则化,如剪枝,对树结构复杂度做约束等,可以减轻过拟合的影响,所以如果可以方便获得全局最优结果,那么一般不太会考虑是过拟合带来的影响。
以上是个人看法,如果有误希望留言纠正,谢谢。