卷积网络之池化

​
​

活动地址：CSDN21天学习挑战赛

池化

最大池化与平均池化

池化是一种在几乎所有的卷积网络中都会用到的操作。

如下图所示：在第一级，卷积级，并行地计算若干个卷积产生一组线性激活响应（输入），传递到第二级；在第二级，探测级，每一个线性激活响应通过一个非线性的激活函数，传递到第三级；在第三级，池化层，通过池化函数进一步调整输出。

图1 卷积网络的典型层

池化函数

池化函数： 使用某一位置的相邻输出的总体统计特征来代替网络在该位置的输出。

• 最大池化(max pooling)函数(Zhou and Chellappa, 1988)：相邻矩形区域内的最大值，最大池化单元只对周围的最大值比较敏感，而不是对精确的位置。最大池化保留纹理特征，即最重要的信息。
• 平均池化，相邻矩形区域内的平均值。平均池化可以保留信息的完整性，保留较重要的信息。
• 此外池化函数还有$L^2$范数以及基于距中心像素距离的加权平均函数。

现有的算法多是采用最大池化，如

平移不变性

平移的不变性：对输入进行少量平移时，经过池化函数后的大多数输出并不会发生改变。
特别是局部平移不变性，当我们只关注某个特征是否会出现而不关心它出现的具体位置。

卷积与池化作为一种先验

卷积可以作为在网络中一层的参数中引入了一个无限强的先验概率分布，该层应该学到的函数只包含局部连接关系且对少量平移具有不变性。同样，池化也可以作为一个无限强的先验函数，每一个单元都具有平移不变性。

卷积和池化可能会导致欠拟合。卷积和池化只有当先验的假设合理并正确时才有用。如果一项任务依赖于保留精度的空间信息，那么使用池化会造成信息缺失，增大训练误差，特别是最大池化。如胶囊网络(Capsule Network)的作者Geoffrey Hinton认为图像中位置信息是应该保留的有价值信息。