基于多特征融合网络的人脸伪造检测方法

本发明涉及计算机视觉，具体涉及一种基于多特征融合网络的人脸伪造检测方法。

背景技术：

1、深度伪造(deepfake)是指利用生成式对抗网络(generative adversarialnetworks，gan)生成虚假内容的人工智能技术。深度学习生成模型在图像合成和语音合成等领域取得了显著进展，但是深度学习生成模型的滥用现象带来一定的社会风险，例如，通过gan生成的虚假人脸图像人眼难以辨认，虚假人脸图像如图1所示。若有人恶意地操纵或制作虚假的图像或视频，则会损害个人和社会信任，导致社会产生混乱和不安，因此为了避免上述深度伪造产生的危害，人脸伪造检测在计算机视觉领域获得了极大的关注。

2、目前人脸伪造检测在分析输入图像时仅从全局纹理的角度提取图像特征，即通过捕获全局纹理特征来检测伪造图像，受外部环境等其他因素的影响，导致图像特征细节提取不完整，无法有效检测部分伪造，如deepfakes换脸操作，进而造成人脸伪造检测结果准确性低下。

技术实现思路

1、为了解决上述现有图像特征细节提取不完整，造成人脸伪造检测结果准确性低下的技术问题，本发明的目的在于提供一种基于多特征融合网络的人脸伪造检测方法，所采用的技术方案具体如下：

2、本发明一个实施例提供了一种基于多特征融合网络的人脸伪造检测方法，该方法包括以下步骤：

3、步骤s1，获取网络模型的训练数据集、验证数据集和测试数据集；

4、步骤s2，建立多特征融合网络模型；

5、步骤s3，将训练数据集输入到多特征融合网络模型中进行迭代训练，直至多特征融合网络模型收敛至最优的损失值，得到训练好的多特征融合网络模型；

6、步骤s4，将测试数据集输入到训练好的多特征融合网络模型中进行测试，得到多特征融合网络模型在检测人脸图像时的性能指标；根据性能指标对训练好的多特征融合网络模型进行优化，获得优化后的多特征融合网络模型；

7、步骤s5，获取faceforensic++数据集，基于所述faceforensic++数据集评估优化后的多特征融合网络模型。

8、进一步地，所述步骤s1包括：

9、获取真实人脸图像数据集；基于真实人脸图像数据集，利用不同的生成模型生成对应的虚假人脸图像数据集；

10、对真实人脸图像数据集和虚假人脸图像数据进行图像预处理，进而将预处理后的每张人脸图像的存储路径、图像名称和标签存入到txt文件中，获得包含图像信息和标签的数据清单；

11、基于数据清单，按照预设比例将预处理后的所有人脸图像分为训练数据集、验证数据集和测试数据。

12、进一步地，对真实人脸图像数据集和虚假人脸图像数据进行图像预处理，包括：

13、对于任一张人脸图像，使用dlib库追踪和定位人脸图像中的人脸，获得人脸位置信息；

14、基于人脸位置信息，对人脸图像进行裁剪获得裁剪后的图像，进而将裁剪后的图像调整为预设尺寸的图像；

15、对预设尺寸的图像进行归一化操作，获得归一化后的图像，将归一化后的图像作为预处理后的人脸图像。

16、进一步地，所述多特征融合网络模型包含三种不同数据流，数据流1、数据流2和数据流3；

17、在数据流1中，将训练数据集中的输入图像转换成rgb图像，基于rgb图像获取输入图像的颜色特征数据流；在数据流2中，将rgb图像进行gabor卷积后再输入到残差注意力模块组中，获得输入图像的局部纹理特征数据流；在数据流3中，将rgb图像输入到gram模块，获取输入图像的全局纹理特征数据流；

18、将颜色特征数据流、局部纹理特征数据流和全局纹理特征数据流进行通道层面的拼接，获得融合特征表示。

19、进一步地，所述残差注意力模块组包括3个3×3的卷积层、池化层、通道注意力机制、空间注意力机制、非线性激活层以及残差连接。

20、进一步地，所述步骤s3包括：

21、将将训练数据集分批次输入到多特征融合网络模型中进行迭代训练，并设定迭代次数、学习率、batch size和损失函数；

22、每训练预设数目次时，利用验证数据集对训练过程中的多特征融合模型进行验证，并保存训练过程中多特征融合模型的模型参数；

23、基于每次保存的模型参数确定训练好的多特征融合网络模型。

24、进一步地，所述损失函数为交叉熵损失函数，交叉熵损失函数的计算公式为：

25、l(b,p)＝-(b·log(p)+(1-b)·log(1-p))；式中，l为损失值，b为实际标签，p为多特征融合网络模型的预测概率，log为对数函数；其中，所述实际标签的数值为0或1。

26、进一步地，将测试数据集输入到训练好的多特征融合网络模型中进行测试，得到多特征融合网络模型在检测人脸图像时的性能指标，包括：

27、将测试数据集中的图像顺序打乱，按批次将图像顺序打乱后的测试数据集输入到训练好的多特征融合网络模型中，得到训练好的多特征融合网络模型在测试数据集上的预测结果；

28、根据所述预测结果，利用acc和ap两个评估指标对训练好的多特征融合网络模型进行性能评估。

29、本发明具有如下有益效果：

30、本发明提供了一种基于多特征融合网络的人脸伪造检测方法，该方法采用先进的深度学习技术，通过融合局部纹理、全局纹理特征和rgb(三原色)彩色空间信息，旨在通过该融合特征更准确地检测出局部伪造图像和整个合成图像，实现对人脸图像的高效检测，有助于提高伪造检测的准确性和鲁棒性；采用基于神经网络的多特征融合方法，使得系统能够从不同的特征维度中学习和提取关键信息，有效地应对各种人脸伪造技术，增强鲁棒性；通过综合考虑图像的纹理、颜色多个方面的特征，该方法能够更全面地分析人脸图像的真实性，有助于提高人脸伪造检测结果的准确性；本发明的人脸伪造检测方法通过结合深度学习和多特征融合的方法，为人脸伪造检测领域带来了新的突破，同时为社会和科技发展提供了更可靠的解决方案，本发明可以在多个领域中用于保护数字身份和信息安全。

技术特征：

1.一种基于多特征融合网络的人脸伪造检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于多特征融合网络的人脸伪造检测方法，其特征在于，所述步骤s1包括：

3.根据权利要求2所述的一种基于多特征融合网络的人脸伪造检测方法，其特征在于，对真实人脸图像数据集和虚假人脸图像数据进行图像预处理，包括：

4.根据权利要求1所述的一种基于多特征融合网络的人脸伪造检测方法，其特征在于，所述多特征融合网络模型包含三种不同数据流，数据流1、数据流2和数据流3；

5.根据权利要求4所述的一种基于多特征融合网络的人脸伪造检测方法，其特征在于，所述残差注意力模块组包括3个3×3的卷积层、池化层、通道注意力机制、空间注意力机制、非线性激活层以及残差连接。

6.根据权利要求1所述的一种基于多特征融合网络的人脸伪造检测方法，其特征在于，所述步骤s3包括：

7.根据权利要求6所述的一种基于多特征融合网络的人脸伪造检测方法，其特征在于，所述损失函数为交叉熵损失函数，交叉熵损失函数的计算公式为：

8.根据权利要求1所述的一种基于多特征融合网络的人脸伪造检测方法，其特征在于，将测试数据集输入到训练好的多特征融合网络模型中进行测试，得到多特征融合网络模型在检测人脸图像时的性能指标，包括：

技术总结
本发明涉及计算机视觉技术领域，具体涉及一种基于多特征融合网络的人脸伪造检测方法，包括：获取网络模型的训练数据集、验证数据集和测试数据集；建立多特征融合网络模型，训练多特征融合网络模型，得到训练好的多特征融合网络模型；将测试数据集输入到训练好的多特征融合网络模型中进行测试，得到在检测人脸图像时的性能指标，对训练好的多特征融合网络模型进行优化；基于获取的不同人脸伪造方式生成的人脸图像，评估优化后的多特征融合网络模型。本发明通过结合深度学习和多特征融合，提高了人脸伪造检测的准确性和鲁棒性。

技术研发人员：张磊,陈英健,牛亚坤,左宪禹,乔保军,张延锋
受保护的技术使用者：河南大学
技术研发日：
技术公布日：2024/5/12