机器学习信息熵信息增益条件熵

### 信息熵、信息增益和条件熵的概念 #### 信息熵 (Entropy) 信息熵用于衡量系统的不确定性程度，在机器学习领域特别是决策树构建过程中起着重要作用。对于一个离散随机变量 \(X\) ，其概率分布为 \(\{p_1, p_2,...,p_n\}\)，则该随机变量的信息熵定义如下： \[ H(X) = -\sum_{i=1}^{n}{p_i \log_b(p_i)} \] 其中，\(b\) 是对数的底数，通常取值为2或者自然常数e；当某个事件的概率为0时，默认认为对应的项等于0。 在实际应用中，比如分类问题里，如果某类别的样本占比很大，则说明这个类别很容易被预测到，此时系统整体混乱度较低，相应的信息熵也较小；反之亦然[^1]。 ```python import math from collections import Counter def calc_entropy(data_set): num_entries = len(data_set) label_counts = {} for feat_vec in data_set: current_label = feat_vec[-1] if current_label not in label_counts.keys(): label_counts[current_label] = 0 label_counts[current_label] += 1 entropy = 0.0 for key in label_counts: prob = float(label_counts[key]) / num_entries entropy -= prob * math.log(prob, 2) return entropy ``` #### 条件熵 (Conditional Entropy) 设有一个数据集 \(D\) 和特征 \(A\) 。经验条件熵是指给定条件下子数据集中目标属性的平均不确定性。具体来说就是先按照特征的不同取值划分成若干个子集合，再分别求这些子集合中的信息熵并加权求和得到最终的结果。 \[ H(Y|X)=\sum _{{x}}P(x)\cdot H(Y|x), \] 这里 \(H(Y|x)\) 表示已知输入 \(x\) 的情况下输出 \(Y\) 的剩余混淆度量，而 \(P(x)\) 则代表各个可能情况发生的频率比例。 ```python def split_data_set(data_set, axis, value): ret_data_set = [] for feat_vec in data_set: if feat_vec[axis] == value: reduced_feat_vec = feat_vec[:axis] reduced_feat_vec.extend(feat_vec[axis+1:]) ret_data_set.append(reduced_feat_vec) return ret_data_set def calc_conditional_entropy(data_set, i): feature_list = [example[i] for example in data_set] unique_vals = set(feature_list) new_entropy = 0.0 for value in unique_vals: sub_data_set = split_data_set(data_set, i, value) prob = len(sub_data_set)/float(len(data_set)) new_entropy += prob * calc_entropy(sub_data_set) return new_entropy ``` #### 信息增益 (Information Gain) 信息增益用来评估某一特定特征的重要性，它反映了通过引入此特征所能减少多少关于结果的知识上的模糊性。简单来讲就是在考虑了新加入的因素之后整个体系变得更加有序的程度。计算方式是从原始的数据集总熵减去基于所选特征分割后的各部分熵之和得出差值即为信息增益。 \[ IG(D,A)=H(D)-H(D|A). \] 这里的 \(IG(D,A)\) 就是对于数据集 \(D\) 而言由特征 \(A\) 所带来的信息增益大小[^2]。 ```python def calc_info_gain(data_set, base_entropy, i): conditional_ent = calc_conditional_entropy(data_set, i) gain = base_entropy - conditional_ent return gain ```