【Machine Learning·机器学习】决策树之ID3算法(Iterative Dichotomiser 3)

1、什么是决策树

决策树，就是一种把决策节点画成树的辅助决策工具，一种寻找最优方案的画图法。
如下图所示，从左图到右图就是一个简单的，利用决策树，辅助决策的过程。

2、如何构造一棵决策树？

2.1、基本方法

通过对不同特征的优先级区分判断后，优先选择优先级高的特征作为划分的特征。（如上图所示，假设优先级：学历>院校>工作经验。因此我们优先选择了学历作为分类依据，次而选择了院校作为分类依据，最后才选择了项目经验作为分类依据）。

那么，下一个问题来了，我们是怎样判断一个特征的优先级的？具体来说，就是我们在评价一个特征优先级时候的评价标准是什么。这个评价标准，在决策树中非常重要，一个合适评价标准，可以将不同的特征按照非常合理的方式进行优先级排序，从而能够构建出一颗比较完美的决策树。而一个不合适的评价标准则会导致最终构造的决策树出现种种问题。

2.2、评价标准是什么/如何量化评价一个特征的好坏？

在不同的决策树算法中，这个特征好坏的评价标准略有不同。比如，在问哦们今天讲的ID3算法中，评价标准是一个叫做 信息增益(Information Gain)