Structural Design of Convolutional Neural Networks for Steganalysis 阅读笔记
摘要
最近的研究表明,卷积神经网络(cnn)的体系结构为计算机视觉可能不是最适合图像隐写式密码解密。在这封信中,我们报告一个CNN架构,考虑隐写式密码解密的知识。在详细的体系结构中,我们取绝对值的元素特征图第一次卷积层产生的促进和改善后续的统计建模层;为了防止过度拟合,我们限制数据值的范围与双曲正切的饱和区域(双曲正切)在早期阶段的网络和减少建模的力量在深层使用1×1的隆起。虽然只从一种噪声残留,拟议的CNN是竞争的检测性能与系综分类器与SRM BOSSbase检测S-UNIWARD和HILL。结果暗示精心设计的cnn有潜力在未来提供更好的检测性能。
介绍
功能设计在传统的基于机器学习的隐写式密码解密[1]-[6]可能是次优的,当数据嵌入方法是有效的和复杂的[7]-[12]。强大的功能学习,卷积神经网络(cnn)[13],[14]自2012年以来取得了巨大的成就在计算机视觉[14]-[18]。这引起了研究人员的兴趣取证领域的信息,特别是在隐写式密码解密,在寻求隐写式密码解密的方式使用cnn[19]-[21],[26]。在他们的开创性工作,谭和李[20]提出了CNN包括三个阶段的交替卷积和马克斯池层,和乙状结肠非线性**。当检测雨果[7]的嵌入率0.4位/像素(bpp)BOSSbase[22],CNN实现误差与随机参数初始化率为48%;在涉及高通内核[3],[23]参数初始化的第一个卷积层,与无监督学习和pretraining所有的参数,他们设法减少错误率为31%,仍然远离14%的错误率通过系综分类器的SRM[3][25]。几个月后,钱学森等。[21]提出了CNN配备了高通滤波(高通滤波器)层,高斯非线性**和隐写式密码解密的平均分担。报告检测错误率高于2% - -5%通过SRM在BOSSbase图像规模从512×512到256×512,当雨果检测[7],哇[8],S-UNIWARD[9]。这是一个很大的性能提升,但仍不如SRM。这两件作品的研究表明,考虑到信息隐藏和隐写分析(域)的知识(如。,使用高通内核生成噪声残差)提高了cnn的检测性能。在传统的隐写式密码解密,领域知识嵌入到特征提取中。类似地,美国有线电视新闻网接受到网络的特征提取步骤,领域知识应该反映在网络架构。沿着这个方向,在这封信中,我们提出一个CNN,试图将隐写式密码解密的知识。在详细的体系结构中,我们取绝对值的元素特征图第一次卷积层产生的促进和改善后续的统计建模层,防止过度拟合,我们限制元素值的范围在早期阶段的网络和减少建模使用1×1的强度在深层隆起;此外,作为已经被证明是有效的在前面的作品[20],[21],[26],提出了CNN学习噪声残差的东西,并利用平均池。虽然提出了CNN既不大也不深,目前只可以从一种噪声残留,实验结果验证,其性能是比得上SRM的系综分类器。这个组织工作证实,深度学习与cnn对隐写式密码解密的确是一个强大的机器学习工具。结果也暗示一个设计良好的CNN将有可能提供一个更好的检测性能相比,传统的机器上优于隐写式密码解密。
架构介绍
在本节中,提出了CNN的总体架构介绍。然后,CNN的设计提出了改进统计建模。最后,我们讨论我们的设计考虑非线性**和空间大小的回旋的内核。
图1提出了一个CNN结构。每层的类型和变量大小和选择都展现在框内了。数据大小都展示在两边了。框内的卷积核的大小标识都遵守（内核数x高x宽x输入特征数）。数据的大小都遵守 映射特征数x高x宽
A 总体架构
图1 展示了整个CNN的总体架构。高通滤波层用了和应用在[21]和[26]里面相同，它的参数在训练过程中并没有优化，只是被放置在开始，将原始图像转化为噪声残差来提高信噪比/干扰比率。
整个CNN可分为一个卷积模块变换图像特征向量(128 - d),和一个线性分类模块(由一个完全连接(FC)层和软maxlayer)由特征向量转换输出概率为每个类。
卷积模块包括五层组(在图1显示为“Group1”“Group5”),每个始于一个卷积层生成特征图谱,并以平均池层执行当地平均以及二次抽样的特征图(5组除外)。
加强统计建模的力量,我们的CNN配备hyperbolictangent(双曲正切)(图3(a)]非线性**组1、组2,和修正的线性单元(ReLU)[24]**(无花果。3(b)组3组4,andGroup5。InsideGroup1绝对**(ABS)层插入力的统计建模考虑对称(迹象)[3]中存在噪声残差。防止CNN训练陷入局部最小值差,andlearn最优尺度特征图和偏见,批正常化(BN)[17]是每个非线性**层之前立即执行。
最后,通过正题平均,组5中的池化层合并每个空间映射到单个元素(128地图的大小32×32 - 128 - d功能)。通过这种方式,整个CNN约束执行相同的操作原始图像中的每个像素(或噪声残差),从而防止统计建模把握嵌入式像素的位置信息从训练数据。注意,最近的工作[26]解决了隐写式密码解密场景时嵌入关键是重用的所有图片,导致泄漏的嵌入位置。因此,它与这里报告的方法不一样。
B.改善整体模型
当分层计算过程深入的时候，CNN的精确建模过程很难解释。因此,我们站在一个更好的机会来提高性能通过聚焦更多的设计第一层组(组1)。
组1始于一个卷积层作为输入噪声残差产生的高通滤波器层。这个卷积层探讨了相邻像素的残差的关系并生成统计建模的特征图谱。协助统计建模的CNN,我们禁用默认的偏见学习在这个回旋的层,这样对零特征图是对称的(信号对称[3]);然后,我们插入一个ABS层后这个卷积层丢弃特征图中的元素的迹象。ABS的输出层之后送入十亿层。BN层第一个规范化元素在每个输入特性映射到零均值和单位方差,以确保初始输入在准线性双曲正切瀑布地区,图3所示(一个),因此梯度反向传播不会陷入局部最小值。
卷积模型中的数据有四个维度n ,k i j ，n表示了第N个输入的数据在输入阶段的Minibatch中，k表示了第k个特征映射， i 和j是在特征图中的空间高度和宽度
x^表示的是xk归一化后
gamma是缩放因子 belta是偏差值 Y的话就是每个归一化特征映射生成的输出结果，计算方式
所有正常化、缩放和移动处理在BN层是相同的在每个特征映射(在(1)),元素之间的空间相关性是保存完好,对比地,那些处理不同特征图谱,最佳比例和变化参数为每个特性映射可以学到的。因为偏见方面介绍了BN层,没有ABS层,符号对称元素的输出特征图的第一个卷积层将不再持有,造成干扰特征值之间的早期阶段统计建模。这个问题可以得到解决,一旦签署ABS被丢弃的信息层。
提供一些直观的理解功能组1,我们绘制在图2一个测试图像的分布后,通过卷积层,ABS层,BN层,和双曲正切**组1的一个训练有素的CNN(只有thefirsttwofeaturemapsaredisplayed)。因为我们残疾人偏见学习在第一卷积层,输出分布,在图2(一个),是对称的0。ABS的输出层,与图2中所示的分布(b),首先是归一化后(1)随着全球statistis storedduring训练而不是从输入minibatch统计获得。规范化特征图然后缩放和转移(偏见)最优统计建模;分布在这一步是显示在图2(c)。TableI记录优化缩放和所有八个特征图谱变化值在第一BN层。然后输出sof BN层映射和有界的双曲正切**,如图2所示(d)。
C.其他的设计考虑方案
在本节中,我们描述我们考虑两个CNN的其他部分的设计:卷积核的非线性**和空间大小。
在我们的CNN专为隐写式密码解密,混合的双曲正切和ReLU非线性**使用。我们发现使用双曲正切ReLU而不是更广泛的用作非线性**组1、组2中提高了性能。这可能归因于饱和区域的双曲正切,这有效地限制数据值的范围(见无花果。3(a)和2(d)]和防止深层建模大值,因为它们通常稀疏和统计上不显著。也发现,结果变得更糟的是当ReLUs深层被TanH所取代,可能由于梯度反向传播的难度与双曲正切[27]。基于传统机器学习隐写式密码解密模式的相关性模型在一个小残余元素的局部区域,采用一次性直方图池,防止建模更大地区[1]-[6]。相比之下,CNN是通过建模(交替卷积和汇聚层)关系的残余元素在整个图像。一方面,这种类型的建模是CNN的力量的根源,另一方面,如果没有有效控制,过度拟合(学习比隐藏噪声图像内容,和/或拟合训练数据中的隐藏噪音太好推广测试数据)可能发生隐写式密码解密。在意识到这个潜在的问题,提出了CNN,我们限制在深层卷积核的大小,即。的空间大小卷积层在过去三组仅限于1×1约束建模的力量。注意1×1卷积的选择不应该被认为是理所当然的。预计有更多的训练数据,大回旋的大小将是首选。