随机采样池化--S3Pool: Pooling with Stochastic Spatial Sampling

S3Pool: Pooling with Stochastic Spatial Sampling
CVPR2017
https://github.com/Shuangfei/s3pool

本文将常规池化看作两个步骤：
1）以步长为1在特征图上滑动池化窗口，尺寸大小基本保持不变， leaves the spatial resolution intact
2）以一种 uniform 和 deterministic 的方式进行降采样
我们认为这种 uniform 和 deterministic 的降采样方式 对于学习来说不是最优的（ which aims for generalization to unseen examples ），对此我们提出一种随机采样方式，这种随机采样 像一个 strong regularizer，可以被看作 implicit data augmentation by introducing distortions in the feature maps

Stochastic pooling 可以看作在一个池化窗口内 对特征图数值进行归一化， 按照特征图归一化后的 概率值大小随机采样选择，即元素值大的被选中的概率也大

g being a hyperparameter named grid size

通过改变 grid size g 来控制 distortion/stochasticity

测试用的网络结构

NIN on CIFAR-10 and CIFAR-100

ResNet on CIFAR-10 and CIFAR-100

Effect of grid size

通过增加grid size 尺寸，训练误差变大，对应更多的随机性。测试误差先降低（ stronger regularization），后来升高（当训练误差太高时）。

This observation suggests a trade-off between the optimization feasibility and the generalization ability, which can be adjusted in different applications by setting the grid sizes of each S3Pool layer

Results on STL-10

训练样本数量和测试误差的关系