理解bottleneck architecture

本篇博文主要是讨论为什么叫 bottleneck architecture
bottleneck architecture翻译过来叫做瓶颈结构，瓶颈结构的特点是一头大一头小。

这个是针对于网络结构中输入/输出的维度(dimensions)来讲的。
来看一下Deep Residual Learning for Image Recognition(ResNet)论文当中的一部分。对应结构为下图。


原文：
The three layers are 1X1, 3X3, and 1X1 convolutions, where the 1X1 layers are responsible for reducing and then increasing(restoring) dimensions, leaving the 3X3 layer a bottleneck with smaller input/output dimensions.

翻译过来为：
这三层结构是1X1,3X3和1X1卷积，其中1X1层负责减小然后增加（恢复）尺寸，使3X3层成为具有较小输入/输出尺寸的瓶颈。

理解一

根据结构图解释一下。
“bottleneck” building block中
输入：256d(dimensions、维度)

第一层1*1卷积：64d，即进行了降维（瓶子上边大下边小）

第二层3*3卷积：64d

第三层1*1卷积：256d，即进行了升维（瓶子上边小下边大）

输出：256d

这就可以理解成两个瓶颈。

理解二

整个结构还可以理解成一个瓶颈，它类似于一个沙漏。（个人更偏向于这种理解方式）

作者：GL3_24
来源：****
著作权归作者所有。转载请联系作者获得授权。