AlexNet
#conv1 (Convolution)kernel size:11 stride:4 pad:0 out_layer:96
#lrn
#relu
#pool1(MAX Pooling)kernel size :3 stride:2 pad:0
#conv2 (Convolution)kernel size:5 stride:1 pad:2 out_layer:256
#lrn
#relu
#pool2(MAX Pooling)kernel size :3 stride:2 pad:0
#conv3(Convolution)kernel size:3 stride:1 pad:1 out_layer:384
#conv4(Convolution)kernel size:3 stride:1 pad:1 out_layer:384
#conv5(Convolution)kernel size:3 stride:1 pad:1 out_layer:256
#pool5(MAX Pooling)kernel size:3 stride:2 pad:0
#fc6
#relu6
#drop6 out 4096
#fc7
#relu7
#drop7 out 4096
#fc8 out 1000
注意:
lrn在tensorflow中可用下面函数:
tf.nn.local_response_normalization(input, depth_radius=None, bias=None,alpha=None, beta=None, name=None)
除去name参数用以指定该操作的name,与方法有关的一共五个参数:
第一个参数input:这个输入就是feature map了,既然是feature map,那么它就具有[batch, height, width, channels]这样的shape
第二个参数depth_radius:这个值需要自己指定,就是上述公式中的n/2
第三个参数bias:上述公式中的k
第四个参数alpha:上述公式中的α
第五个参数beta:上述公式中的β