ResNet
上图,实曲线为维度相等可直接相加;虚线部分维度不相等,需用tf.pad()函数填充通道数(也即深度),需用池化将图像大小与下层大小相等。
下图分别展示了,18/34/50/101/152层ResNet的各层输出维度大小,大括号内为一个残差模块。
以50Layers为例,层数计算每个残差块为三层,
卷积层1层+池化1层+3*3(conv2_x)+4*3(conv3_x)+6*3(conv4_x)+3*3(conv5_x)+均值池化层1层+全连接1层=52;由于池化层没有训练参数,因此通常计算层数时不加池化层,因此,最终结果为50