基于双阶段由粗到细的多分类人脸防伪方法、装置及介质

本发明涉及计算机视觉领域，尤其涉及一种基于双阶段由粗到细的多分类人脸防伪方法、装置及介质。

背景技术：

1、随着ai时代的来临，智能化进程的不断推进，不少智能应用已经融入到我们的生活当中。其中，人脸识别系统是其中一个尤其重要的应用，已经出现在各种生活工作场景，比如刷脸支付，打卡考勤，出行的人脸验证等等。其带来便利的同时，也带来一定风险。由于人脸数据的便于获取，伪造成本低，关联利益大等原因，出现了不少通过利用伪造的人脸，比如人脸照片、重放视频、3d面具等来欺骗人脸识别系统。这样的表示攻击会直接或间接造成难以估计的利益损失，这使得人脸防伪尤其重要，该领域也是目前计算机视觉研究者致力于研究的重要方向。

2、为了解决人脸识别系统中的欺骗问题，许多学者展开深度的研究，各式各样的人脸防伪方法也被提出。要可以分为基于活性线索的方法，基于纹理线索的方法，基于伪深度图的方法，以及基于域适配或域生成的方法等。基于活性线索方法主要利用人类的一些行为特征与生理特征，包括显示的人像运动，如眨眼，嘴唇运动等，也包括隐示的生理特征，如利用远程光电容积脉搏波描记法来检测心率。基于纹理线索的方法主要利用人脸外观的局部特征，比如利用lbp算子和hog特征来表示人脸图像的纹理信息，相比于这些传统的手工特征，基于深度模型的方法通过卷积神经网络来自适应地提取纹理特征更高效，研究这些技术的研究者更关注于设计一个合适的神经网络来学习最好的纹理特征，而不是设计纹理特征本身。基于伪深度图的方法首先使用3d重建的方法得到单一的rgb图像的深度图作为标签，再训练另一个模型来预测人脸图像的深度图，进而进行真实与欺骗的区分。这三类人脸防伪的方法在类内测试可以达到可观的性能，同时具备可解释性。基于域适配或域生成的方法，在一定程度上解决了源域数据和目标域数据之间的特征分布不一致问题，其目的为了使算法能很好地泛化到不可见的场景，比如利用最小化最小平均差异来拉近源域与目标域的特征空间，另外一种方法是通过梯度反转层和对抗学习的策略来淡化不同样本域的边界。该类方法可以提升跨域测试的性能，符合实际场景的需求。

技术实现思路

1、为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种基于双阶段由粗到细的多分类人脸防伪方法、装置及介质。

2、本发明所采用的技术方案是：

3、一种基于双阶段由粗到细的多分类人脸防伪方法，包括以下步骤：

4、收集人脸防伪数据集，针对双阶段由粗到细的目标分别定义类别标签为二类以及多类；

5、在第一阶段中采用多损失函数作为监督，二分类作为目标初步训练特征生成器与二类分类器，将人脸图像中的真实特征与欺骗特征进行解纠缠，并利用重建网络进行重建，再利用鉴别器进行识别，对抗训练特征生成器；

6、对解纠缠的欺骗特征进行增强，再与真实信息进行融合生成欺骗增强的人脸图像；

7、在第二阶段中采用多损失函数作为监督，多分类作为目标，使用欺骗增强的人脸图像为训练数据，进一步训练特征生成器与多类分类器；

8、在测试阶段，将多分类器预测的结果归纳为真实与欺骗二类。

9、进一步地，所述针对双阶段由粗到细的目标分别定义类别标签为二类以及多类，包括：

10、在第一阶段二分类任务类别标签为真实与欺骗二类；在第二阶段多分类任务类别标签为真实，打印欺骗，视频重放欺骗以及3d人脸面具欺骗四类。

11、进一步地，联合使用二分类交叉熵损失，hessian损失作为监督函数进行训练特征生成器，学习人脸图像的真实特征与欺骗特征；

12、搭建特征生成器，所述特征生成器采用的结构为残差网络；

13、搭建二类分类器，所述二类分类器采用的结构为全连接网络；

14、搭建重建网络，所述重建网络与所述特征生成器为对称结构；

15、将真实特征与欺骗特征分别进行重建，再用鉴别器进行识别，采用生成对抗损失，交替训练特征生成器与鉴别器。

16、进一步地，针对生成器的监督函数如下：

17、

18、式中，m为样本数量，d为鉴别器，r为重建网络，f为特征生成器输出的特征，下标为1表示所属通道为真实特征，下标为2-4表示所属通道为欺骗特征；

19、针对鉴别器的监督函数如下：

20、

21、式中，n1为真实样本数量，n2为欺骗样本数量，i为输入样本。

22、进一步地，所述对解纠缠的欺骗特征进行增强，再与真实信息进行融合生成欺骗增强的人脸图像，包括：

23、对欺骗特征的特征值进行倍数放大；

24、利用1×1卷积将真实特征与放大的欺骗特征进行融合生成欺骗增强人脸图像，作为第二阶段的输入。

25、进一步地，所述在第二阶段中采用多损失函数作为监督，多分类作为目标，使用欺骗增强的人脸图像为训练数据，进一步训练特征生成器与多类分类器，包括：

26、联合使用多分类交叉熵损失，hessian损失，一致性损失作为监督函数进行训练特征生成器；其中第二阶段的特征生成器与第一阶段的特征生成器共享参数；

27、搭建多类分类器，所述多类分类器采用的结构为全连接网络。

28、进一步地，所述联合使用多分类交叉熵损失，hessian损失，一致性损失作为监督函数进行训练特征生成器，包括：

29、输入欺骗增强的人脸图像，使用与第一阶段结构一致的特征生成器，得到的分离特征中的f’1，f’2，f’3，f’4，由于欺骗增强人脸图像所拥有的真实部分是不变的，即通过特征生成器得到的第一个通道的特征图f1应该是不变的，通过一个像素级别的一致性损失来进行约束，如下所示：

30、lp＝||f1-f’1||

31、式中，f1表示第一阶段特征生成器得到的真实特征，f’1表示第二阶段特征生成器得到的真实特征；

32、在第二阶段，利用hessian损失进行监督，以保证特征生成器得到的真实特征和欺骗特征是解纠缠的；

33、采用多分类交叉熵损失作为监督函数来达成第二阶段多分类任务的目标，如下所示：

34、

35、其中，yi是样本标签的独热编码，当样本属于第i类别时，yi＝1，否则yi＝0。

36、进一步地，所述在测试阶段，将多分类器预测的结果归纳为真实与欺骗二类，包括：

37、若预测为真实类别，则直接输出；若预测为照片欺骗，视频重放欺骗或者3d面具欺骗，则输出为欺骗类别。

38、本发明所采用的另一技术方案是：

39、一种基于双阶段由粗到细的多分类人脸防伪装置，包括：

40、至少一个处理器；

41、至少一个存储器，用于存储至少一个程序；

42、当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。

43、本发明所采用的另一技术方案是：

44、一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。

45、本发明的有益效果是：本发明通过采用双阶段，从粗到细，即从二分类到多分类的任务指导网络学习，针对不同阶段使用不同的监督函数，在第一阶段使用二分类交叉熵损失，hessian损失，生成对抗损失初步学习解纠缠特征，为第二阶段提供基础；在第二阶段对欺骗特征进行增强，使用多分类交叉熵损失，hessian损失与一致性损失进一步指导模型学习。双阶段的设计更适合网络学习解纠缠的真实特征和欺骗特征，同时多分类的任务更能学习到具有判别性的特征，进而提高人脸防伪任务的识别准确度。