您的位置: 首页  >  文章  >  深度学习解决双图篡改问题（SDL）的一般性思路

深度学习解决双图篡改问题（SDL）的一般性思路

分类: 文章 • 2023-11-22 15:32:34

    我在前一篇博客媒体取证挑战挑战赛 2019 ：单图和双图篡改检测任务介绍中提到了图像篡改的问题，我主要关注的是双图篡改的问题。

    最近阅读了一些相关的文献和代码，对此类问题的深度学习解决方案做个简单的小结。

1 问题描述

    见我上篇博客

    传统的方法需要较强的假设，受限较多。

2 数据来源

  • the paired CASIA dataset [1]
  • the NIST-provided Nimble 2017 image splicing detection dataset [2]
  • MS COCO dataset [3]

3 网络设计

    基于文献 [4] 总结了一种可用的模型方案，如下图：

        深度学习解决双图篡改问题（SDL）的一般性思路

    给定查询图像Q和潜在的供体图像P，需要确定查询图像是否确实被拼接。

  • Feature extraction：提取输入图像的特征，可采用 AlexNet、Vgg、ResNet 等；
  • Correlation matching：执行两个输入图像之间的密集匹配，获得匹配特征图，并采取一定的池化措施；
  • Mask Deconvolution：将匹配特征图上采样后获得预测的掩模图，并输出预测的掩模图；
  • Consistency Validator：将预测的掩模送到一致性验证器模块中，获得掩模的 attention 图，通过 Siamese network 获得篡                                           改概率值。

4 模型训练策略

    从训练任务角度看，这是个单输入，多输出的多任务模型。两个任务分别为定位（localization ）和检测（detection）。

    文献 [4] 中提到，由于将拼接检测分支设计为预测拼接掩模上图像一致性验证器，因此除非定位分支产生有意义的拼接掩模，否则此分支输出可能不会产生有意义的梯度。 因此，首先只关注模型的 Probe 输出分支。 一旦这个定位分支收敛，我们冻结其权重，添加 Mask 输出分支，并训练检测分支直到它收敛。 我们最终解冻所有权重并训练整个模型。

5 评价指标

localization performance：IoU (Intersection over Union), MCC (Matthews Correlation Coefficient), NMM (Nimble Mask Metric).

detection performance：precision, recall, F1-score, AUC (Area Under Curve) and EER (Equal Error Rate).

6 展望

    对于 DSL 任务的关键之一在于相关性匹配。

    相关性匹配试图在图像之间找到高精度的对应关系，文献 [5] 中提到，对于远程高精度的物体匹配（long-range high-precision correspondences）还没有非常好的方法，不能直接采用那些最先进的深度匹配方法 [6] 或它们的专用技术。

 

参考文献

[1] Wei Wang, Jing Dong, and Tieniu Tan. 2010. Image tampering detection based on stationary distribution of Markov chain. In Image Processing (ICIP), 2010 17th IEEE International Conference on. IEEE, 2101–2104.

[2] National Institute of Standards and Technol-ogy (NIST), “Media forensics challenge 2018,” https://www.nist.gov/itl/iad/mig/media-forensics-challenge-2018,

[3] T. Lin, M. Maire, S. J. Belongie, J. Hays, P. Perona, D. Ramanan, P. Doll´ar, and C. L. Zitnick, “Microsoft COCO: common objects in context,” in Proc. Eur. Conf. Comput. Vis., Sep. 2014, pp. 740–755

[4] Y. Wu, W. Abd-Almageed, and P. Natarajan, “Deep matching and validation network: An end-to-end solution to constrained image splicing localization and detection,” in Proc. 25th ACM Int. Conf. Multimedia, Oct. 2017, pp. 1480–1502.

[5] Liu Y, Zhao X, Zhu X, et al. Adversarial Learning for Image Forensics Deep Matching with Atrous Convolution[J]. arXiv preprint arXiv:1809.02791, 2018.

[6] Rocco I, Arandjelovic R, Sivic J. Convolutional neural network architecture for geometric matching[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 6148-6157.

相关推荐