AlexNet

AlexNet流程如下:
AlexNet


实现细节:

#conv1 (Convolution)kernel size:11 stride:4 pad:0 out_layer:96

#lrn

#relu

#pool1(MAX Pooling)kernel size :3 stride:2 pad:0

 

#conv2 (Convolution)kernel size:5 stride:1 pad:2 out_layer:256

#lrn

#relu

#pool2(MAX Pooling)kernel size :3 stride:2 pad:0

 

#conv3(Convolution)kernel size:3 stride:1 pad:1 out_layer:384

 

#conv4(Convolution)kernel size:3 stride:1 pad:1 out_layer:384

 

#conv5(Convolution)kernel size:3 stride:1 pad:1 out_layer:256

#pool5(MAX Pooling)kernel size:3 stride:2 pad:0

 

#fc6

#relu6

#drop6 out 4096

 

#fc7

#relu7

#drop7 out 4096

 

#fc8 out 1000

 

注意:

lrn在tensorflow中可用下面函数:

tf.nn.local_response_normalization(input, depth_radius=None, bias=None,alpha=None, beta=None, name=None)

除去name参数用以指定该操作的name,与方法有关的一共五个参数:

第一个参数input:这个输入就是feature map,既然是feature map,那么它就具有[batch, height, width, channels]这样的shape

第二个参数depth_radius:这个值需要自己指定,就是上述公式中的n/2

第三个参数bias:上述公式中的k

第四个参数alpha:上述公式中的α

第五个参数beta:上述公式中的β