Hoeffding’s Inequality (Wassily Hoeffding于1963年)
1. 如果我们选定一个二分分类器预测函数f, 假设将f按概率应用于整个样本空间， 某些预测会错误， 这样可以得到一个预测错误的比例，
这就是泛化误差。 因为我们实际上不可能测试无限的数据集，所以泛化误差实际是无法得到的。
当我们把f应用于一个已标记的测试集T， 同样可以得到一个预测错误的比例， 这个就是经验误差。
我们需要根据经验误差， 来估计泛化误差的范围， 从而确定f能否满足我们需要的精度。
2. 设测试集T的样本数量是n， 则每一个正确的预测， 对经验误差的贡献是0， 每一个错误的预测， 对经验误差的贡献是1/n.
所以如果错误的数量是t, 则总的经验误差就是 t/n.
即是: t/n = 0+0+...+1/n+0+...+1/n+0... (共n-t个0, t个1/n)
3. 假设f对样本正误的判断随机的，是独立的， 那么这就是一个伯努利过程，
其数学期望就是泛化误差， 而经验误差就是实验取值。
这样， 经验误差和泛化误差的偏离程度， 就可以用一个不等式来表示。
这个就是 “Hoeffding不等式”.
我们以此来根据 (1)测试集样本数量 (2)经验误差 来确定 (3)经验误差和泛化误差的差小于某个阈值 的 概率(置信度).
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
