一种基于PID-Net的图像篡改检测方法

本发明涉及图像处理，具体涉及一种基于pid-net的图像篡改检测方法。

背景技术：

1、近年来，美图秀秀，醒图，photoshop各种软件的发展，使得图像的编辑随处可见。日常生活中人们对图像进行修改，是出于美化、娱乐的目的，并不会引起不良影响，但并不能避免有人恶意地对图像进行篡改以达到扭曲事实或谋取利益的目的，这将影响人们对客观事物的判断，对社会和国家带来严重的消极影响。图像篡改技术主要包含复制-移动和拼接以及移除三种，复制-移动是复制图像中某一部分副本并粘贴在同一图像中的某个区域；图像拼接是指将区域从一张真实图像复制并粘贴到其他图像中；图像移除是将图像里的某个区域抹掉并根据周围的像素进行修复，另外为了消除篡改后留下的痕迹，通常进行相关后处理操作来消除这些差异，比如压缩。

2、在计算机视觉领域，利用深度学习方法进行图像篡改检测是一个新的研究方向。大多数学者通过利用图像检测与分割，出现了许多优秀的深度学习框架。rao等人利用srm(steganalysis rich model)模型中的高通滤波器对cnn网络进行初始化，对图像进行隐写分析，有效地抑制了复杂图像内容对篡改检测的影响并加速了网络的融合速度，自此不少学者利用cnn网络实现了对图像进行篡改检测的同时对篡改区域进行定位。zhou等人利用rgb流和噪声流提取更加丰富的特征，不仅利用cnn网络，且开创双流思想，改进了模型对图像篡改检测的应用效果(zhou p,han x,morariu v i,davis l s.learning richfeatures for image manipulation detection[c]//proceedings of the ieeecomputer society conference on computer vision and pattern recognition,2018:1053-1061.)。bayar等首次使用约束卷积来提取篡改特征，学习边界差异，有效的抑制无关的图像语义信息，关注篡改相关的信息(bayar b,stamm m c.adeep learning approachto universal image manipulation dete ction using a new convolutional layer[c]//proceedings of the 4th acm workshop on infor mation hiding andmultimedia security,vigo,jun 20-22,2016.new york:acm,2016:5-10.)。chen等人利用边缘监督分支捕捉篡改区域与未篡改区域在边界处的微小差异；噪声流分支捕获篡改区域和未篡改区域之间的噪声不一致性，利用双流思想将篡改区域的边界特征和噪声特征结合，学习泛化性更强的语义无关信息(xinru chen,chengbo dong,jiaqi ji,juan cao,xirong li:image manipulation detection by multi-view multi-scale supervision[j]//international conference on computer vision(iccv),2021.)。

3、基于深度学习的数字图像篡改检测算法比传统的篡改检测有很大进步，但存在计算复杂度高、篡改区域检测性能不佳，连续采样会使得篡改特征丢失，精度下降；其次，篡改检测是针对一张图片没有特定区域，对于模型学习复杂度高，考虑给予一个侧重点，着重检测可疑区域，提高模型的效率和准确率。

技术实现思路

1、本发明所要解决的技术问题是提供一种基于pid-net的图像篡改检测方法，针对目前精确度不佳，传统的算法只能针对某一个特定的篡改类型，应用存在限制，以及获取空间特征信息不完善的问题，存在低级空间信息的丢失，边界信息丢失，造成模型学习特征困难，通用性差等问题；可以有效的获取图像异常的区域，提高检测性能和准确率；运用pid-net网络三分支进行特征提取机制，获取深层完整的空间特征信息和边界特征信息；最后再加入transformer机制与约束卷积来增强模型关注异常区域特征，加强模型的学习能力，提高模型的精确率。

2、为解决上述技术问题，本发明所采用的技术方案是：

3、一种基于pid-net的图像篡改检测方法，包括以下步骤：

4、step1、数据集的准备与处理；

5、step2、篡改模型的构建，基于pid-net网络结构，将其应用到图像篡改中，在此基础之上加入transformer，以及约束卷积；

6、step3、篡改模型的训练；

7、step4、篡改模型测试与评估。

8、上述的step1中数据集包括casia数据集、nist2016数据集、columbia数据集和coverage数据集；图像的大小统一缩放为256x256，且对各个数据集的篡改掩码图进行统一格式。

9、上述的step2中篡改模型的构建步骤为：

10、step2.1、构建基于pid-net的网络结构，pid-net网络是一个三分支的网络结构，三个分支的作用分别是获取细节信息，边界信息，以及上下文信息；

11、step2.2、融入transformer，采用multi-attention，可以增强篡改信息，有利于模型学习篡改特征，忽略与篡改无关的语义信息；

12、step2.3、利用约束卷积，学习篡改相关的语义信息而抑制无关的语义信息，学习篡改特征，抑制关注图像语义信息。

13、上述的step2.1中pid-net网络基于三分支搭建，一个分支获取图像特征图中的详细信息，一个分支获取上下文信息，最后一个分支预测边界区域，三个分支是并行的，需要将三个分支的特征图进行融合，一张图像输入之后，首先进行卷积操作，卷积核的大小为3×2，每个卷积后面都有一个batchnorm2d和relu操作，接下来是三个分支，三个分支分别采用kpe(t)、p,i,d代表三个分支，kp表示比例系数，ki表示积分时间，kd表示微分时间，e(t)表示输入与输出值的差值，三个分支分别进行比例，积分和微分三种运算；最后将三个分支的输出结果进行融合操作，三个分支的特性信息进行相互间的融合，得到一个较为全面的图像特征图信息。

14、上述的step2.2中multi-attention模块的多头注意力机制是由多个self-attention自注意力机制组成，多头注意力机制有多个query，keys，values向量，再分别计算各自的z矩阵，最后将z矩阵进行拼接，多头注意力机制，可以防止模型的过拟合，可以学习多个方面不同的特征，便于模型学习篡改特征：

15、

16、multihead(q,k,v)＝concat(head1,…,headh)wq (2)

17、whereheadi＝attention(qwiq,kwik,vwivy (3)

18、多头注意力机制的过程如下：首先输入一张图像，将图像分为多个单独的块；其次与权重wi相乘得到输入向量，形成qi，ki，vi，接着计算attention权重矩阵，最后将矩阵进行拼接。

19、上述的step2.3中约束卷积核的设置为核中心权值为-1，其余位置权值总和被归一化为1，整个核参数值总和为0，约束卷积的卷积核设置方式如下：

20、

21、其中，wk指约束卷积层的第k个卷积核，(0,0)指wk的中心位置坐标,将基于pid-net三分支分别加入约束卷积，将一张图像进行卷积操作，之后送入约束卷积中，进而再送入pid-net三分支。

22、上述的step3中篡改模型的训练的具体过程如下：

23、载入训练和验证数据集，设定实验的超参数batchsize、学习率、是否使用gpu、以及学习率的衰减方式、损失函数、优化器的选择，训练周期；batchsize设置为6，学习率为0.0001，将使用gpu设置为true，学习率采用训练周期为100时学习率衰减10倍，损失函数为交叉熵损失，优化器选用adam，训练周期设置为160；将训练过程中效果最好的权重信息保存下来，以便进行模型效果的评估与预测。

24、上述的step4中篡改模型的效果测试与结果评估具体步骤为：

25、step4.1、通过加载模型权重文件，在测试集上进行测试，使用f1、auc作为模型评估指标，评估指标公式如下：

26、

27、

28、

29、

30、m表示正样本个数，n表示负样本个数,p表示概率；tp即实际为正，预测也为正、fp即实际为负，预测为正、tn即实际为负，预测为负数、fn为实际为正，预测为负；

31、step4.2、对模型进行鲁棒性实验，鲁棒性实验通过jpeg压缩和高斯模糊使图片变得模糊，降低其清晰度；jpeg压缩处理，设置了四个质量因子，分别是20、40、60、80，质量因子越小图像清晰度越低；高斯模糊设置三个不同尺度的高斯核，分别是1、5、7，随着尺寸越大图像清晰度越差；将不同大小质量因子与不同尺度的高斯核的图像分别加载模型，通过评估指标是否稳定来判断模型是否具有良好的鲁棒性。

32、本发明提供的一种基于pid-net的图像篡改检测方法，具有如下有益效果：

33、(1)基于pid-net三分支结构，模型可以有效的获取边界信息，避免空间信息丢失，模型学习篡改特征困难。

34、(2)解决了传统篡改检测局限于某一个特定类型，本发明模型可以检测拼接、复制-粘贴、删除三种类型的篡改图像。

35、(3)基于multi-attention和约束卷积，增强篡改语义信息，抑制与篡改无关的图像语义信息，增强图像篡改特征，使得模型更加关注篡改特征，忽略无关的语义信息，提升模型的精度与准确度。