LeNet-5

论文：《Gradient-Based Learning Applied to Document Recognition》

网络结构：

各层详解：

• INPUT：32×32

  • 属性：输入层
  • 功能：归一化为32×32的尺寸大小

• C1：28×28×6

  • 输入：32×32
  • 属性：卷积层。
  • 卷积核：5×[email protected]
  • 步长：1
  • 可训练参数：(5*5+1)*6=156，★每个滤波器有5*5个weight参数和1个bias参数
  • 连接数：156*28*28=122304

• S2：14×14×6

  • 输入：28×28×6
  • 属性：池化层、下采样层
  • 大小：2×[email protected]
  • 步长：2
  • 方式：4个输入相加，乘以weight参数再加上1个bias参数
  • 可训练参数：(1+1)*6=12
  • 连接数：5*14*14*6=5880，★每个输入都与weight参数相关且还有1个bias参数

• C3：10×10×16

  • 输入：14×14×6
  • 属性：卷积层。
  • 卷积核：5×[email protected]
  • 步长：1
  • 可训练参数：6*(3*5*5+1)+6*(4*5*5+1)+3*(4*5*5+1)+1*(6*5*5+1)=1516
  • 连接数：1516*10*10=151600
  • 连接方式：
    

• S4：5×5×16

  • 输入：10×10×16
  • 属性：池化层、下采样层
  • 大小：2×[email protected]
  • 步长：2
  • 方式：4个输入相加，乘以weight参数再加上1个bias参数
  • 可训练参数：(1+1)*16=32
  • 连接数：5*5*5*16=2000

• C5：120

  • 输入：5×5×16
  • 属性：卷积层
  • 卷积核：5×[email protected]（5×5×[email protected]）
  • 步长：1
  • 可训练参数：(5*5*16+1)*120 = 48120
  • 连接数：(5*5*16+1)*120 = 48120
  • 连接方式：每个卷积核都与16个图相连

• F6：84

  • 输入：120
  • 属性：全连接层
  • 方式：计算输入向量和weight向量之间的点积，再加上1个bias参数
  • 可训练参数：84*(120+1)=10164
  • 连接数：84*(120+1)=10164

• OUTPUT：10

  • 输入：84
  • 属性：全连接层
  • 可训练参数：10*(84+1)=850
  • 连接数：10*(84+1)=850

• 属性：全连接层

  • 可训练参数：10*(84+1)=850
  • 连接数：10*(84+1)=850