计算学习理论基础

计算学习理论基础

基础知识

与计算理论类似，机器学习也有PAC可辨识，PAC可学习，高效PAC可学习的概念。

有限假设空间

在有限假设空间情形下，可以对PAC学习的样本复杂度在可分，不可分，不可知情形下做出估计。

VC维

增长函数

对于假设空间H，对于m个样本给出的最多标记情形数目称为假设空间的增长函数。
ΠH(m)=maxX{(h(x1),...,h(xm))∣h∈H}\Pi_H(m)=max_X\{(h(x_1),...,h(x_m))|h\in H\}ΠH​(m)=maxX​{(h(x1​),...,h(xm​))∣h∈H}

打散和VC维

若${\Pi }_H(m)=2^m$则称样本被打散了。
那么，VC为定义为能打散的最大样本集大小。
VC(H)=max⁡{m∣ΠH(m)=2m}VC(H)=\max\{m|\Pi_H(m)=2^m\}VC(H)=max{m∣ΠH​(m)=2m}

例题

例1

$VC(I(a<x<b))=2$
$h_{[a,b]}(x)=I(a<x<b)$的VC维为2，因为容易知道大小为3的数据打不散，因为$(x_1,+),(x_2,-),(x_3,+)$总是表示不出来。

例2

$VC(R^d)=d+1$

例3

$supVC(决策树)=+\inf$

例4

$VC(最邻近)=+\inf$

例题来自西瓜书例题或者习题，不是很困难，证明一下可以加强理解。

相关结论

${\Pi }_H(m)\le {\Sigma }_{i=0}^d{(}_i^m)$
${\Pi }_H(m)\le (\frac{em}{d}{)}^d$

也容易证明，可以作为练习。

Rademacher复杂度及与稳定性，VC维之间的联系

Rademacher复杂度是考虑了数据分布的复杂度。与稳定性，VC维之间存在联系。

定义为
${\mathcal{R}}_S(\mathcal{G})={\mathbb{E}}_{\mathbf{\sigma }}\left[{\sup }_{g\in \mathcal{G}}\frac{1}{m}{\sum }_{i=1}^m{\sigma }_{i}g({\mathbf{x}}_i,y_i)\right]$

计算学习理论基础部分还有VC维的例题还没仔细推导。