基于高效微调视觉预训练模型的人脸伪造检测方法和系统

本发明涉及人脸伪造鉴别，具体地，涉及一种基于高效微调视觉预训练模型的人脸伪造检测方法、系统、终端和介质。

背景技术：

1、随着深度学习尤其是生成网络技术的发展，基于深度伪造技术生成的人脸伪造图像质量得到显著提升，使得难以依赖人类视觉或者传统识别技术进行有效鉴别。在社交媒体上传播和使用伪造人脸图像会对个人信息安全造成严重影响，甚至威胁国家和社会稳定发展。因此，为了尽可能降低伪造图像造成的影响，发展鉴别伪造图像的能力变得越来越重要。

2、近年来，大部分鉴别伪造技术都是基于人类先验知识设计网络结构，经过大量有标签的数据集下进行监督训练，使得网络具备对先验伪造特征的识别能力。

3、根据人类先验经验的不同，鉴别方法大致可以分为三种。

4、第一，基于真假图像的噪声统计特征(local noise statistics)之间易存在差异的先验知识，zhou等人(zhou，p.，han，x.，morariu，v.i.，davis，l.s.：two-stream neuralnetworks for tampered face detection.in：cvpr workshop(2017))设计了一个聚焦于提取局部噪声特征的网络结构，以提升鉴别伪造性能；

5、第二，基于真假图像的频域特征间易存在差异的先验知识，qian等人(qian，y.，yin，g.，sheng，l.，chen，z.，shao，j.：thinking in frequency：face forgery detectionby mining frequency-aware clues.in：eccv(2020))利用离散余弦变换(dct)等工具设计网络结构提取频域特征；

6、第三，基于伪造图像存在空间域伪影的先验知识，zhao等人(zhao，h.，wei，t.，zhou，w.，zhang，w.，chen，d.，yu，n.：multi-attentional deepfake detection.in：cvpr(2021))重新设计空间注意力模块以增强模型提取局部细微特征的能力。

7、虽然上述基于人类先验经验设计的检测网络可取得较强的鉴别伪造能力，但是由于需要根据先验知识重新设计检测网络结构，需要从零开始训练整个检测网络的千万级数量的全部参数，对训练数据集的数量规模以及gpu计算能力有更加严苛的要求。在面临仅提供少量训练数据集的实际场景下，上述方法取得的效果将大打折扣。

技术实现思路

1、针对现有技术中的依赖大量有标签的训练数据集对网络中全部参数重新训练的缺陷，本发明的目的是提供一种基于高效微调视觉预训练模型的人脸伪造检测方法、系统、终端和介质。

2、根据本发明的一个方面，提供一种基于高效微调视觉预训练模型的人脸伪造检测方法，包括：

3、获取初始视觉预训练模型convnext-v2；

4、将基于中心差分卷积算子的适配器插入所述初始视觉预训练模型convnext-v2的逆瓶颈模块中，获得微调convnext-v2模型；

5、获取任务训练数据，将其划分为训练集和验证集；

6、采用所述训练集对所述微调convnext-v2模型进行训练，采用所述验证集验证训练是否已完成；

7、将训练好的微调convnext-v2模型用于人脸伪造检测。

8、优选地，所述基于中心差分卷积算子的适配器包含参数θ、wup、wdown，θ∈r9表示适配器中的卷积算子的参数，wup∈rc’×c表示参数矩阵，wdown∈rc×c’表示参数矩阵。

9、优选地，所述将基于中心差分卷积算子的适配器插入所述初始视觉预训练模型convnext-v2的逆瓶颈模块中，获得微调convnext-v2模型，包括：

10、获取初始视觉预训练模型convnext-v2中的隐藏层特征h，h∈rh’×w’×c，h′，w′为高和宽，c为通道数；

11、利用参数矩阵wdown对隐藏层特征h进行线性变换降维，并使用非线性激活函数进行激活，得到hdown∈rh’×w’×c’；

12、利用中心差分卷积算子及参数θ对hdown进行中心差分卷积操作；

13、利用参数矩阵wup对hdown进行线性变换升维，并使用非线性激活函数进行激活，得到δh∈rh’×w’×c；

14、根据公式h←h+sδh，更新隐藏层特征h，其中，s是超参数系数。

15、优选地，获取的任务训练数据为faceforensics++、celeb-df的人脸伪造检测基准数据集。

16、优选地，采用所述训练集对所述微调convnext-v2模型进行训练，包括：

17、固定所述检测网络中除θ、wup、wdown外的全部参数，在训练集上对参数θ、wup、wdown进行迭代学习。

18、优选地，所述采用所述验证集验证是否完成训练，包括：

19、当验证集上当前轮次的负对数似然损失函数值相较于训练过程中的最小负对数似然损失函数值，增加超过设定值时，停止训练。

20、优选地，所述将训练好的微调convnext-v2模型用于人脸伪造检测，包括：

21、输入待检测的人脸图像至训练好的微调convnext-v2模型中，输出所述人脸图像的真假属性。

22、根据本发明的第二个方面，提供一种基于高效微调视觉预训练模型的人脸伪造检测系统，包括：

23、基础模块，该模块获取初始视觉预训练模型convnext-v2；

24、微调模块，该模块将基于中心差分卷积算子的适配器插入所述初始视觉预训练模型convnext-v2的逆瓶颈模块中，获得微调convnext-v2模型；

25、数据模块，该模块获取任务训练数据，将其划分为训练集和验证集；

26、训练模块，该模块采用所述训练集对所述微调convnext-v2模型进行训练，采用所述验证集验证训练是否已完成；

27、应用模块，该模块将训练好的微调convnext-v2模型用于人脸伪造检测。

28、根据本发明的第三个方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行任一项所述的方法，或，运行所述的系统。

29、根据本发明的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行任一项所述的方法，或，运行所述的系统。

30、与现有技术相比，本发明实施例至少具有如下的一种有益效果：

31、本发明实施例中的基于高效微调视觉预训练模型的人脸伪造检测方法和系统，创造性地设计出基于中心差分卷积算子的适配器(cdc-adapter)并引入到convnext-v2模型的逆瓶颈模块中，在人脸伪造检测场景下的convnext-v2模型的参数进行微调时，只需要对适配器模块(cdc-adapter)的参数进行微调，极大地降低了参数学习的规模。

32、本发明实施例中的基于高效微调视觉预训练模型的人脸伪造检测方法和系统，在faceforensics++以及celeb-df等基准数据集上进行了实验验证，结果显示，其能够降低对训练数据集的数量规模的要求，在面临仅提供少量训练数据集的实际场景下，该方法和系统大幅优于现有的基于先验经验的人脸伪造检测方法。

33、本发明实施例中的基于高效微调视觉预训练模型的人脸伪造检测方法和系统，不需要依赖人类先验经验设计复杂的框架结构。