一种基于人脸几何关系推理的深度伪造检测方法

本发明涉及视频取证，特别是一种基于人脸几何关系推理的深度伪造检测方法。

背景技术：

1、人工智能创作内容作为新兴技术被社交媒体广泛传播，但是人工智能内容生成技术的普及适得人脸视频篡改操作变得更易接触。深度伪造作为最初被广泛传播的人脸视频篡改技术，经过技术的发展，已经能够合成极为真实的人脸视频，人类难以直接分辨。若生成的深度伪造视频被滥用，将对隐私、政治和国家安全都带来严重风险。因此，深度伪造视频检测已经成为信息安全领域多媒体取证技术中重要的研究问题。由于真实人脸与伪造人脸之间的特征差异较小，存在的篡改痕迹难以利用现有深度学习模型识别。为提升检测的有效性，现有基于深度学习的深度伪造方法，利用多种特征注意力机制提升网络模型对细微差异的判别能力。但是深度伪造方法的不断发展，导致不同深度伪造模型生成的篡改痕迹存在较大差异。现有大部分方法，通常仅适用于单一或者少量种类的篡改痕迹，泛化性能有限，以发表于权威期刊ieee transactions on pattern analysis and machineintelligence 2022年第44卷，第10期中的文章deepfake detection based ondiscrepancies between faces and their context为例，该方法在以faseswap方法生成的人脸图像中取得了99.7的auc检测分数，但是难以检测改进版本的deepfakes生成的人脸图像，auc分数将会下降接近35％。针对新出现的深度伪造技术，需要进一步设计新的特征注意力模块才能够得到更好的检测效果。但是，社交媒体等实际应用环境下，需要应对时刻更新的深度伪造视频，更新模型成本较高，因此现有技术难以满足实际需求，亟须提升模型设计的泛化能力。

技术实现思路

1、本发明的目的在于解决上述局限性，提供一种基于人脸几何关系推理的深度伪造检测方法，进一步提高对深度伪造视频的检测的泛化能力。

2、实现本发明目的的技术方案如下：

3、一种基于人脸几何关系推理的深度伪造检测方法，利用transformer构建全局特征提取器，获取人脸图像全局特征图；在人脸全局特征图基础上，通过自监督学习机制定位高信息量区域并构建人脸隐式几何关系图；利用图卷积神经网络构建人脸内部几何关系推理模块，将人脸显式和隐式几何关系图进行特征联合，对待测试视频帧进行伪造检测，以提升人脸深度伪造视频检测的准确率，包括以下主要步骤：

4、步骤1：获取同时包含真伪样本的训练视频，对视频帧进行间隔采样，使用人脸检测器按帧提取人脸及少部分背景区域作为人脸图像；

5、步骤2：针对每帧人脸图像，使用人脸关键点检测器检测人脸468个三维关键点，并根据人脸面部关系构建人脸显式几何关系图；

6、步骤3：构造全局特征提取器，提取每帧人脸图像的全局特征；

7、步骤4：构造基于自监督学习方法的高信息量区域定位器，用于定位全局特征中信息量更高的特征区域，并构造特征区域间的人脸隐式几何关系图；

8、步骤5：构造人脸几何关系推理模块，基于图卷积神经网络提取人脸显式和隐式几何关系图特征，并匹配图节点关系；

9、步骤6：将测试集中连续帧中的连续人脸图像输入训练完成的模型，得到预测属于真伪的概率分数，并对全视频帧的分数进行平均，判断视频真伪。

10、进一步地，步骤1中，人脸图像获取的具体方法为：

11、(1)预设视频帧的采样间隔，由视频第一帧开始，以所述采样间隔提取从所述视频中提取视频帧；

12、(2)使用retinaface人脸检测器确定当前视频帧中的人脸候选框，在图像左上角建立笛卡尔坐标系，候选框坐标可以表示为(x，y，w，h)，其中(x，y)为候选框左上角坐标，w，h分别表示候选框的长宽；

13、(3)根据预设比例r扩大候选框范围，人脸候选框变为(x-r×w，y-r×h，w+r×w，h+r×h)，将候选框范围内图像截取作为人脸图像。

14、进一步地，在步骤2中，构建人脸显式几何关系图的具体方法为：

15、(1)将所述人脸图像输入预先训练的人脸三维关键点提取器mediapipe中，获得428个人脸关键点；

16、(2)将所述人脸关键点作为显式几何关系图的节点vl，根据人脸关键点在人脸中所在位置，将眉毛、瞳孔、眼眶、唇部和面部轮廓的节点依次连接，形成外观轮廓，然后再根据人脸几何结构，将所述五个部分的节点相互连接，构成人脸显式几何关系图gl。

17、进一步地，步骤3中，所述全局特征提取器为mobilevit或者其他基于visiontransformer实现的骨干网络。

18、进一步地，步骤4中，基于自监督学习方法的高信息量区域定位器的具体方法为：

19、(1)在所述人脸全局特征图中，利用区域提按网络获取m个感兴趣区域；

20、(2)将感兴趣区域的局部特征输入简单二分类器fp中，该分类器使用1层1×1卷积核将局部特征通道数降维为2通道，然后使用激活函数和批归一化层增加特征的非线性表达能力，得到局部语义信息特征利用全局平均池化将长与宽下采样为1；

21、(3)使用交叉熵损失函数计算每个局部特征的二分类结果与当前人脸真伪之间的损失值lp；

22、(4)将所述从每张图像中获得的全部损失值从大到小进行排列；

23、(5)将每个局部特征获得的损失值lp和对应的区域提案分数sp之间求平方差，得到全部平方差后计算均值，作为自监督学习的损失函数

24、进一步地，步骤4中，构建人脸隐式几何关系图gp具体方法为：

25、(1)根据高信息量区域定位器的信息量分数sp，选取分数最高的n个高信息量区域局部特征fp作为集合，将其中每个fp由尺寸为2×w×h的特征矩阵转换为尺寸为t×2的特征向量，其中t＝w×h，将转换后的特征向量集合作为人脸隐式几何关系图节点

26、(2)将节点集合的尺寸n×t×2转换为n×cp，其中cp＝t×2，利用softmax运算将节点集合转换为注意力向量vatt＝softmax(vp)；

27、(3)基于自注意力机制，计算vp和注意力向量转置的关系，得到隐式几何关系图节点连接的邻接矩阵其尺寸为n×n。

28、进一步地，步骤5中，几何关系推理模块构成包括显式人脸几何特征推理模块，隐式人脸几何特征推理模块，图特征匹配模块，以及图分类器：

29、(1)所述显式人脸几何特征推理模块，利用基于图卷积神经网络构建的点云分析模型，在人脸显式几何关系图gl的基础上，获得显式人脸几何关系的图特征表达ggr；

30、(2)所述隐式人脸几何特征推理模块，利用两层图卷积网络模型，在隐式几何关系图gp的基础上，获得隐式人脸几何关系的图特征表达gir；

31、(3)所述图特征匹配模块，利用两层交互式图卷积网络模型，在几何关系图ggr和gir的基础上，融合多视角几何关系，获得融合几何关系图gf；

32、(4)所述图分类器，利用全局平均池化和全局最大池化分别获得图节点特征的最大值和平均值，融合二种观测角度的图表示特征，基于多层感知机进行分类。

33、实施中，图特征匹配模块具体方法为：

34、(1)基于所述几何关系图ggr和gir包含的图节点特征集合vgr和vir，使用互注意力机制计算vgr和vir的转置的成对关系，得到ggr连接gir的邻接矩阵其尺寸为n×n；

35、(2)基于所述几何关系图ggr和gir包含的图节点特征集合vgr和vir，使用互注意力机制计算vir和vgr的转置的成对关系，得到ggr连接gir的邻接矩阵其尺寸为n×n；

36、(3)基于所述图节点特征集合vgr和vir，邻接矩阵agi和aig，使用交互式图卷积网络模型匹配图节点特征，推理深度伪造人脸图像存在的几何异常。

37、实施中，交互式图卷积网络模型计算过程具体为：

38、(1)提取ggr连接gir的隐式特征关系图节点特征表达：

39、vgi＝σ(w1×σ(agivgrwgi)+vgr)；

40、其中w1和wgi均为交互式图卷积网络可学习参数，σ(·)表示非线性激活函数，为relu或者leaky relu函数；

41、(2)提取gir连接ggr的隐式特征关系图节点特征表达：

42、vig＝σ(w2×σ(aigvirwig)+vir)；

43、其中w2和wig均为交互式图卷积网络可学习参数，σ(·)表示非线性激活函数，为relu或者leaky relu函数；

44、(3)将所述两个图节点特征表达vgi和vig拼接，获得多角度几何关系图节点特征表达。

45、实施中，步骤5中训练总损失函数为：

46、

47、其中，为二分类交叉熵损失函数，并使用标签平滑技术，为自监督损失函数。pp和pa分别为局部高信息量区域分类结果、全局几何关系图节点特征分类结果，sp为高信息量区域定位器的区域提案分数。

48、步骤6中，使用训练好的模型对全部视频帧进行预测，将全部分数平均作为对所述视频中人脸真伪的预测结果。

49、本发明利用深度学习技术保障包含人脸的视频内容安全。从人脸显式几何关系和隐式几何关系中提取特征，并推理基于人脸固有几何结构下存在的异常，用于判别当前图像是否存在伪造情况。

50、相对于现有技术，本发明的有益效果在于：

51、1.本发明利用三维人脸关键点构建人脸几何关系图作为人脸固有特征，并利用图卷积神经网络提取关系特征。

52、2.利用transformer网络提取全局特征，并使用自监督学习方法定位高信息量区域，与伪造方式无关，并利用自注意力机制构建隐式几何关系图。

53、3.匹配隐式几何关系和显式几何关系特征，并推理人脸几何异常，有效避免依赖特定的伪造痕迹，有效提升了深度伪造检测模型的泛化能力。