lenet
Gradient-Based learning Applied to Document Recognition
Lenet的网络结构
对S2到C3层的说明：
如下图所示，C3的前6个feature map分别对应S2的三个连续的feature map; C3的6个feature map分别对应S2的4个连续的feature map;C3的3个feature map分别对应S2的4个间隔的feature map;C3的1个feature map对应S2的6个feature map.
这样可以减少参数，通过不对称的组合连接，可以学习到多种组合的特征。
| 项目 | I0 | C1 | S2 | C3 | S4 | C4 | FC1 | FC2 |
|---|---|---|---|---|---|---|---|---|
| 尺寸 | 32x32 | 28x28 | 14x14 | 10x10 | 5x5 | 1x1 | 84x1 | 10x1 |
| 核的个数 | 1 | 6 | – | 16 | – | 120 | – | – |
| 核的尺寸 | – | 5x5 | 2x2 | 5x5 | 2x2 | 5x5 | – | – |
| stride | – | 1 | 2 | 1 | 2 | 1 | – | – |
| 可训练参数 | – | 6x(5x5+1)=156 | 6x2=12 | 6x(3x5x5+1)+6x(4x5x5+1)+3x(4x5x5+1)+1x(6x5x5+1)=1516 | 16x2 | 120x(16x5x5+1)=48120 | 84x(120+1)=10164 | 10x(84+1)=850 |
| 连接数 | – | 28x28x6x(5x5+1)=122304 | 14x14x6x(2x2+1)=5880 | 10x10x1516=151600 | 16x5x5x(2x2+1)=2000 | 1x1x48120 | 84x(120+1)=10164 | 10x(84+1)=850 |