实现深度伪造人脸鉴别的方法、系统、装置、处理器及其计算机可读存储介质

本发明涉及数字图像，尤其涉及计算机视觉，具体是指一种基于rppg多尺度时空图和两阶段模型实现深度伪造人脸鉴别的方法、系统、装置、处理器及其计算机可读存储介质。

背景技术：

1、随着生成式深度模型的发展，深度人脸造假的技术门槛越来越低，人们可以通过公开的模型或工具，轻松创造出逼真的人脸伪造内容。深度伪造也可能被恶意用户滥用，制造虚假的政治信息或传播色情内容。作为一种防御机制，人脸伪造鉴别技术被开发并用以减轻深度伪造带来的风险。远程光电容积脉搏波描记技术(rppg)通过检查心脏活动引起的皮肤颜色的细微变化，从录制的视频中提取心脏跳动的信号。由于人脸造假过程不可避免地会破坏面部颜色的周期性变化，rppg被证明是一个可用于有效鉴别伪造人脸的生物指示信号。

2、然而，大多数现有的基于rppg信号深度人脸伪造鉴别方法仍然存在一些缺陷。比如：申请号为：cn202210572034.2的发明专利申请，在每帧人脸上取32个正方形小框提取心率信号，但这些roi区域相互重叠，且尺度单一；并且只使用一阶段的编码器对单个rppg时空图进行特征提取，没有考虑多个相邻rppg时空图的特征融合；且只使用二分类交叉熵损失，没有考虑像素级局部位置的注意力权重，导致检测性能有限。

技术实现思路

1、本发明的目的是克服了上述现有技术的缺点，提供了一种能够有效考虑多个相邻视频片段综合特征的基于rppg多尺度时空图实现深度伪造人脸鉴别的方法、系统、装置、处理器及其计算机可读存储介质。

2、为了实现上述目的，本发明的基于rppg多尺度时空图和两阶段模型实现深度伪造人脸鉴别的方法、系统、装置、处理器及其计算机可读存储介质如下：

3、该基于rppg多尺度时空图和两阶段模型实现深度伪造人脸鉴别的方法，其主要特点是，所述的方法包括以下步骤：

4、(1)采集深度伪造人脸视频数据集，并对视频数据进行预处理操作，得到裁剪后的人脸视频帧集合；

5、(2)根据裁剪后得到的人脸视频帧，生成rppg多尺度时空图；

6、(3)构建掩码引导的局部注意力模块，进行第一阶段训练，提取单个rppg时空图的特征；

7、(4)构建transformer模块，进行第二阶段训练，融合多个相邻rppg时空图的综合特征；

8、(5)构建分类头，对融合后的高维特征进行池化并进行分类识别处理，以得到目标图像的鉴别结果并构建总体损失函数。

9、较佳地，所述的步骤(2)具体包括以下步骤：

10、(2.1)将一个完整的视频以步长ω帧分成数个t帧的视频片段；

11、(2.2)对于每一帧，进行人脸对齐并提取人脸关键点；

12、(2.3)根据所述的人脸关键点，选择n个心跳信号信息区域，形成roi集合rt＝{r1t,r2t,…,rnt}；

13、(2.4)对于所述的roi集合rt中所有非空子集，计算每个非空子集内包含的所有像素的均值，得到2n-1个rgb三通道的像素均值；

14、(2.5)对于每个视频片段，其所包含的t帧都进行步骤(2.2)－(2.4)的操作，从而得到维度为t×(2n-1)×3的多尺度时空图，其中t为时间长度，2n-1为不同信息区域的组合方式数目，3为rgb通道数。

15、尤佳地，所述的(2.3)中n个信息区域分别为额头、下巴、左右上脸颊、左右下脸颊，具体区域如图2所示。

16、尤佳地，所述的步骤(3)具体包括以下步骤：

17、(3.1)构建efficientnet作为骨干网络f(·)，对于输入的rppg时空图经过骨干网络提取特征，并得到中层特征图fm＝fmid(x)∈rc×h×w，其中c，h，w分别代表特征图的通道数，列数和行数；

18、(3.2)构建掩码引导的局部注意力模块，以中层特征图fm为输入，得到注意力掩码amask：

19、amask＝sigmoid(conv(fm))

20、其中，conv(·)表示卷积运算；

21、(3.3)将所述的注意力掩码与中层特征图fm进行点乘处理，得到位置加权后的特征图f′＝amask·fm，并以f′为输入进行后续网络层的特征提取；

22、(3.4)计算所述的rppg时空图的像素级掩码标签agt：对于由假视频生成的rppg时空图，找到其对应的真实rppg时空图，进行逐像素作差得到残差时空图，再将残差时空图灰度化，进行0到1的归一化，并将其大小调整为与注意力掩码amask相同大小，以0.1为阈值进行二值化得到对应的像素级掩码标签agt；

23、(3.5)将所述的注意力掩码amask和对应的像素级掩码标签agt按照以下公式计算l1距离，作为掩码损失函数lmask：

24、

25、更佳地，所述的步骤(4)具体包括如下步骤：

26、(4.1)将k个时间上相邻的rppg时空图分别输入第一阶段训练好的骨干网络，得到k个全局高维特征fh，再进行全局平均池化，并叠加上分类编码和一维可学习位置编码，作为transformer的输入序列zin；

27、(4.2)构建基于transformer的多个rppg时空图的特征融合模块：将输入序列zin进行多头自注意力操作msa，并经过一个前馈网络ffn，并在执行完每个操作之后，均使用层归一化ln和残差连接来进一步调整输出，得到transformer的输出结果zout。

28、更佳地，所述的步骤(4.2)具体包括以下步骤：

29、(4.2.1)输入序列zin通过一个线性映射层，产生一个query矩阵一个key矩阵以及一个value矩阵接着再将三个矩阵传入多头自注意力机制msa中，如以下公式所示：

30、

31、其中，d为归一化常数，t为矩阵转置操作；

32、(4.2.2)通过一个多层感知机组成的前馈网络层ffn处理，得到经过transformer处理后的特征融合输出zout。

33、更佳地，所述的步骤(5)具体包括以下步骤：

34、(5.1)对第二阶段训练输出得到的融合后的综合特征zout进行全局平均池化g(·)，再使用一个全连接网络fc，将维度映射到类别数2，得到向量如以下公式所示：

35、z＝fc(g(zout))

36、(5.2)根据z计算softmax获得最终预测得分y′，并根据标签y，计算两分类交叉熵损失lce，如以下公式所示：

37、lce＝y log y′+(1-y)log(1-y′)

38、(5.3)构建总体损失函数lall，如以下公式所示：

39、lall＝lce+λlmask

40、其中，λ是用于平衡交叉熵损失与掩码损失的超参数。

41、该利用上述的方法的基于rppg多尺度时空图和两阶段模型实现深度伪造人脸鉴别的系统，其主要特点是，所述的系统包括：

42、rppg多尺度时空图生成模块，用于从人脸视频帧中计算rppg时空图；

43、掩码引导的局部注意力模块，与所述的rppg多尺度时空图生成模块相连接，用于加强局部信息的学习，提取单个rppg时空图的特征；

44、transformer模块，与所述的掩码引导的局部注意力模块相连接，用于融合多个相邻rppg时空图的综合特征；以及

45、分类头模块，与所述的transformer模块相连接，用于对所述的融合后的综合特征进行池化并进行分类识别处理，以得到目标图像的鉴别结果并构建总体损失函数。

46、该用于实现基于rppg多尺度时空图和两阶段模型的深度伪造人脸鉴别的装置，其主要特点是，所述的装置包括：

47、处理器，被配置成执行计算机可执行指令；

48、存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现上述所述的基于rppg多尺度时空图和两阶段模型实现深度伪造人脸鉴别的方法的各个步骤。

49、该用于实现基于rppg多尺度时空图和两阶段模型的深度伪造人脸鉴别的处理器，其主要特点是，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的基于rppg多尺度时空图和两阶段模型实现深度伪造人脸鉴别的方法的各个步骤。

50、该计算机可读存储介质，其主要特点是，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述所述的基于rppg多尺度时空图和两阶段模型实现深度伪造人脸鉴别的方法的各个步骤。

51、采用了本发明的该基于rppg多尺度时空图和两阶段模型实现深度伪造人脸鉴别的方法、系统、装置、处理器及其计算机可读存储介质，创新性地以心率信号rppg的多尺度时空图作为模型输入，使用经典的cnn模型(例如efficientnet)和transformer作为两阶段模型。为了加强模型对局部位置信息的感知，本发明还创新性地引入了掩码引导的局部注意力模块，通过像素级时空图掩码标签的指示，指导模型进一步分辨对真假时空图的不同模式。transformer模块则通过自注意力机制融合多个相邻rppg时空图的特征。本技术方案在faceforensics++数据集上进行实验验证，相较于基线模型，具有更为突出的分类识别效果。