人脸防伪识别模型的训练方法、人脸防伪识别方法和装置

本技术涉及图像处理，更具体地，涉及一种人脸防伪识别模型的训练方法、人脸防伪识别方法和装置。

背景技术：

1、近年来, 人脸防伪模型的泛化能力引起了业界和学术界的关注。于所有研究问题中，领域转移和未知攻击是影响泛化性能最严重的问题。现有研究通常集中在解决上述问题之一。另外，与本发明最似的方法需要多个训练领域和已知的攻击类型来对其进行训练。在实际场景中，收集多个训练领域的数据为一项难题。此外，除已知类别外，推理领域中亦会有未知类别。

2、在实现本技术构思的过程中发现相关技术在人脸防伪识别时，其识别准确性较差，且识别效率较差。

技术实现思路

1、有鉴于此，本技术提供了一种人脸防伪识别模型的训练方法、人脸防伪识别方法、装置、电子设备、计算机可读存储介质、计算机程序产品。

2、本技术的一个方面提供了一种人脸防伪识别模型的训练方法，包括：

3、响应于训练指令，获取人脸防伪识别训练集，其中，上述人脸防伪识别训练集包括多个人脸防伪训练图像和类别标签集，上述类别标签集包括真实人脸类型标签和多种攻击类型标签；

4、利用预训练语言模型处理上述类别标签集，得到上下文向量集合，其中，上述上下文向量集合包括对应于不同类型标签的上下文提示向量；

5、利用参数提示生成网络处理上述上下文向量集合和上述类别标签集，生成文本提示集，其中，上述文本提示集包括对应不同类型标签的文本提示信息；

6、针对每个上述人脸防伪训练图像，利用编码器网络处理上述人脸防伪训练图像和上述文本提示集，分别生成图像特征和多个文本特征，其中，初始防伪识别模型包括上述预训练语言模型、上述参数提示生成网络和上述编码器网络；

7、计算上述图像特征和多个上述文本特征之间的样本相似信息，以根据多个上述样本相似信息生成目标损失值；

8、根据上述目标损失值迭代地调整上述参数提示生成网络的网络参数，从而得到经训练的人脸防伪识别模型。

9、根据本技术的实施例，上述攻击类型标签包括打印攻击类型标签、重播攻击类型标签和未知攻击类型标签；

10、其中，利用预训练语言模型处理上述类别标签集，得到上下文向量集合，包括：

11、针对任意一种类型标签，利用上述预训练语言模型处理上述攻击类型，得到多个上下文向量；

12、根据多个上述上下文向量，生成上述类型标签的上述上下文提示向量；

13、根据多个上述上下文提示向量和多个类别向量，生成上述上下文向量集合，其中，多个上述类别向量表征不同上述类别标签。

14、根据本技术的实施例，上述参数提示生成网络包括参数预测器和提示生成器。

15、根据本技术的实施例，利用参数提示生成网络处理上述上下文向量集合和上述类别标签集，生成文本提示集，包括：

16、利用上述参数预测器处理上下文向量集合，生成多个类别先验向量；

17、利用上述提示生成器处理多个上述类别先验向量和上述类别标签集，生成上述文本提示集。

18、根据本技术的实施例，利用上述参数预测器处理上下文向量集合，生成多个类别先验向量，包括：

19、针对任一上下文提示向量，利用上述参数预测器处理上述上下文提示向量，生成上述上下文提示向量的高斯分布集合，其中，上述高斯分布集合包括高斯分布数值、上述高斯分布数值的均值和方差，上述均值和方差表征类别先验信息；

20、根据上述类别先验信息和类别向量，生成上述上下文提示向量的上述类别先验向量。

21、根据本技术的实施例，利用上述提示生成器处理多个上述类别先验向量和上述类别标签集，生成上述文本提示集，包括：

22、利用上述提示生成器处理多个上述类别先验向量，得到多个文本标志信息；

23、针对每个上述文本标志信息，根据上述文本标志信息和与上述文本标志信息对应的类型标签，生成上述文本提示信息。

24、根据本技术的实施例，上述编码器网络包括图像编码器和文本编码器。

25、根据本技术的实施例，利用编码器网络处理上述人脸防伪训练图像和上述文本提示集，分别生成图像特征和多个文本特征，包括：

26、利用上述图像编码器处理上述人脸防伪训练图像，得到图像特征；

27、利用上述文本编码器处理上述文本提示集，得到多个文本特征。

28、根据本技术的实施例，上述攻击类型标签包括已知类型标签和未知类型标签。

29、根据本技术的实施例，计算上述图像特征和多个上述文本特征之间的样本相似信息，以根据多个上述样本相似信息生成目标损失值，包括：

30、针对每个上述文本特征，根据上述图像特征和上述文本特征，生成相似性向量和样本相似信息；

31、根据上述相似性向量和目标类型标签，生成已知类型损失值，其中，上述目标类型标签包括上述真实人脸类型标签和上述已知类型标签；

32、根据上述相似性向量和上述未知类型标签，生成未知类型损失值；

33、根据上述已知类型损失值和上述未知类型损失值，生成上述目标损失值。

34、本技术的另一个方面提供了一种人脸防伪识别方法，包括：

35、获取待识别人脸图像和类别集合，其中，上述类别集合包括真实人脸类型和多种攻击类型；

36、将上述待识别人脸图像和类别集合输入至人脸防伪识别模型，输出对应于不同类型的预测相似信息；

37、对多个上述预测相似信息进行归一化处理，得到多个预测概率；

38、将多个上述预测概率中最大值对应的类型确定为与上述待识别人脸图像对应的防伪识别类型。

39、本技术的另一个方面提供了一种人脸防伪识别模型的训练装置，包括：

40、第一获取模块，用于响应于训练指令，获取人脸防伪识别训练集，其中，上述人脸防伪识别训练集包括多个人脸防伪训练图像和类别标签集，上述类别标签集包括真实人脸类型标签和多种攻击类型标签；

41、第一处理模块，用于利用预训练语言模型处理上述类别标签集，得到上下文向量集合，其中，上述上下文向量集合包括对应于不同类型标签的上下文提示向量；

42、第二处理模块，用于利用参数提示生成网络处理上述上下文向量集合和上述类别标签集，生成文本提示集，其中，上述文本提示集包括对应不同类型标签的文本提示信息；

43、第三处理模块，用于针对每个上述人脸防伪训练图像，利用编码器网络处理上述人脸防伪训练图像和上述文本提示集，分别生成图像特征和多个文本特征，其中，初始防伪识别模型包括上述预训练语言模型、上述参数提示生成网络和上述编码器网络；

44、计算模块，用于计算上述图像特征和多个上述文本特征之间的样本相似信息，以根据多个上述样本相似信息生成目标损失值；

45、训练模块，用于根据上述目标损失值迭代地调整上述参数提示生成网络的网络参数，从而得到经训练的人脸防伪识别模型。

46、本技术的另一个方面提供了一种人脸防伪识别装置，包括：

47、第二获取模块，用于获取待识别人脸图像和类别集合，其中，上述类别集合包括真实人脸类型和多种攻击类型；

48、得到模块，用于将上述待识别人脸图像和类别集合输入至人脸防伪识别模型，输出对应于不同类型的预测相似信息；

49、归一化模块，用于对多个上述预测相似信息进行归一化处理，得到多个预测概率；

50、确定模块，用于将多个上述预测概率中最大值对应的类型确定为与上述待识别人脸图像对应的防伪识别类型。

51、本技术的另一个方面提供了一种电子设备，包括：

52、一个或多个处理器；

53、存储器，用于存储一个或多个程序，

54、其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。

55、本技术的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

56、本技术的另一方面提供了一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

57、根据本技术的实施例，通过利用预训练语言模型处理类别标签集，得到上下文向量集合，利用参数提示生成网络处理上下文向量集合和类别标签集，生成文本提示集，针对每个人脸防伪训练图像，利用编码器网络处理人脸防伪训练图像和文本提示集，分别生成图像特征和多个文本特征。此后计算图像特征和多个文本特征之间的样本相似信息，以根据多个样本相似信息生成目标损失值，由此根据目标损失值迭代更新以得到人脸防伪识别模型。本技术利用预训练语言模型和参数提示生成网络所生成的人脸防伪识别模型能够有效提高不同攻击类型的识别准确性，同时提高了识别效率。