决策树算法——拟合优化

张遥

于 2020-11-12 19:43:04 发布

阅读量4k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：数据分析文章标签：决策树 python 机器学习

本文链接：https://blog.csdn.net/echo666/article/details/109649164

本文介绍了决策树算法的原理，包括CART和ID3算法，并探讨了如何寻找决策树的最优参数。通过泰坦尼克号数据集，展示了手动调整和使用内置函数确定最佳树深度的过程，得出深度为3时的决策树具有较好的拟合效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、决策树算法原理

上一篇文章简单、直接、粗暴的使用了决策树算法对鸢尾花数据集进行分类，关于决策树算法的原理，以我的理解：就是用能最大概率的区分不同类别标签的特征值作为分裂节点。

常用的算法是：CART 和 ID3 算法。

CART 算法采用gini系数最小的来决定使用哪种特征来进行分裂；
ID3算法采用信息增益最大的特征来决定使用哪种特征来进行分裂；

二、决策树的最优参数

这次的数据集使用稍微复杂一点的泰坦尼克号预测生死的数据。
重复的代码不啰嗦，直接上

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

data=pd.read_csv(r'data.csv',index_col=0)
data.drop(['Cabin','Name','Ticket','Embarked'],inplace=True,axis=1)
data['Age']=data['Age'].fillna(data['Age'].mean())
data=data.dropna()
data['Sex']=data[

最低0.47元/天解锁文章