卷积神经网络中的卷积操作与信号系统中的卷积区别

本科期间信号系统中学习到了卷积概念,

卷积是两个变量在某范围内相乘后求和的结果。如果卷积的变量是序列x(n)和h(n),则卷积的结果

卷积神经网络中的卷积操作与信号系统中的卷积区别

卷积神经网络中的卷积操作与信号系统中的卷积区别其中星号*表示卷积。当时序n=0时,序列h(-i)是h(i)的时序i取反的结果;时序取反使得h(i)以纵轴为中心翻转180度,所以这种相乘后求和的计算法称为卷积和,简称卷积。另外,n是使h(-i)位移的量,不同的n对应不同的卷积结果。

图像卷积

卷积神经网络中的卷积操作与信号系统中的卷积区别


其实如图所示的是计算的相关系数,真实的卷积事先将卷积核绕中心旋转180度,然后使用旋转后的卷积核在原始图片上进行滑动计算。

比较而言,相关系数的计算过程则不会对filter进行旋转,而是直接在原始图片上进行滑动计算。

其实CNN卷积实际上计算的是相关系数,而不是数学意义上的卷积。但是,为了简化计算,我们一般把CNN中的这种“相关系数”就称作卷积运算。之所以可以这么等效,是因为滤波器算子一般是水平或垂直对称的,180度旋转影响不大;而且最终滤波器算子需要通过CNN网络梯度下降算法计算得到,旋转部分可以看作是包含在CNN模型算法中。总的来说,忽略旋转运算可以大大提高CNN网络运算速度,而且不影响模型性能。




卷积神经网络中的卷积操作与信号系统中的卷积区别卷积神经网络中的卷积操作与信号系统中的卷积区别