卷积核的优势-权值共享与局部感知能力

卷积核的优势-权值共享与局部感知能力

在读论文的时候一直读到一个名词“权值共享”,但心里对这个概念一直比较模糊,今天突然明白,记录一下。

1. 局部感知能力

这与卷积核的使用方式有关,卷积核在输入图像上是滑动运算的,卷积核在图像的不同位置提取特征这就是局部感知能力。

卷积核的优势-权值共享与局部感知能力

2. 权值共享

在介绍权值共享之前先分享一个小知识,以前的卷积网路模型在卷积层后面会设全连接层,在读论文的时候经常读到一个词“Flatten”。卷积层提取到的最终特征图在输入全连接层之前需要“展平”,比如说最终提取的特征图的大小为5×65 \times 6,那么你需要展平成1×301 \times 30,这样才可以输入全连接层。

权值共享 这个特点一般是用于与传统神经网络模型做比较的,举个计算例子:
卷积核的优势-权值共享与局部感知能力
假设你的输入图像是1024*760的大小,第一个隐藏层设置有1000个神经元,那么你的参数为:
1024×760×1000=778,240,0001024 \times 760 \times 1000 = 778,240,000

而对于卷积神经网络而言,一个卷积核在一张输入图像上提取特征时,这个卷积核的值是不变的。在上面的假设上layer1使用1000个5×55\times 5的卷积核,其参数的个数为:
5×5×1000=25,0005 \times 5 \times 1000 =25,000

权值共享的优势就显现出来了。