活体检测方法、装置、终端设备和存储介质与流程

1.本申请属于图像处理技术领域，尤其涉及一种活体检测方法、装置、终端设备和存储介质。


背景技术：

2.活体检测是在一些身份验证场景确定对象真实生理特征的方法，一般利用一种或者多种数据类型(rgb、深度、红外)来区分真实样本和攻击样本。将该检测应用到身份识别中，能够提身份脸识别系统的鲁棒性与安全性。
3.目前常用的活体检测方法主要有种思路：1)基于深度估计的方法，通过引入深度先验假设来约束神经网络学习指定的深度图；2)基于异常检测的方法，利用自动编码器建模图像上的异常线索。
4.然而，这些方法都引入了不确定的先验假设来控制中间差异图的生成，容易使解空间被压缩到一个小的局部范围，降低活体检测的鲁棒性。


技术实现要素：

5.有鉴于此，本申请实施例提供了一种活体检测方法、装置、终端设备和存储介质，提高活体检测的鲁棒性。
6.第一方面，本申请实施例提供了一种活体检测方法，包括：
7.获取待检测图像；
8.将所述待检测图像输入预先训练完成的活体检测模型，得到所述待检测图像的活体检测结果；
9.其中，所述活体检测模型通过以下步骤获得：
10.获取查询样本集合，所述查询样本集合包含第一样本图像和第二样本图像，所述第一样本图像为摄像机拍摄后获得的未经二次处理的图像，所述第二样本图像为摄像机拍摄后经二次处理获得的图像；
11.提取所述第一样本图像的第一特征图像和所述第二样本图像的第二特征图像，并提取所述第一特征图像的第一特征向量和所述第二特征图像的第二特征向量；
12.将所述第一特征向量和所述第二特征向量输入初始检测模型的图像分类器，得到所述第一样本图像和所述第二样本图像的类别预测结果；
13.获取预先采集的未经二次处理的参考图像；
14.采用预设的对抗网络模型将所述第一特征图像和所述第二特征图像分别融合到所述参考图像中，得到第一目标样本图像和第二目标样本图像；
15.采用所述对抗网络模型检测所述第一目标样本图像的图像特征和所述第一样本图像的图像特征之间的第一图像特征差异，以及所述第二目标样本图像的图像特征和所述第二样本图像的图像特征之间的第二图像特征差异；
16.根据所述类别预测结果、所述第一图像特征差异以及所述第一图像特征差异对所
述初始检测模型的参数进行优化更新，得到所述活体检测模型。
17.本申请实施例通过获取待检测图像输入预先训练完成的活体检测模型，得到待检测图像的活体检测结果；其中，活体检测模型通过以下步骤获得：分别对查询样本图像进行特征提取，得到特征图像，然后提取特征图像的特征向量，通过初始检测模型的图像分类器根据特征向量对查询样本图像的类别进行预测，得到预测结果；接着将特征图像分别和参考样本图像进行融合目标样本图像，之后利用对抗网络模型检测查询样本图像和目标样本图像之间的图像特征差异，最终利用类别预测结果以及图像特征差异对初始检测模型的模型参数进行优化更新，得到活体检测模型。其中利用图像特征差异优化初始检测模型的参数，能够减小目标样本图像和查询样本图像之间的差异，使得活体检测模型能够准确提取出不同查询样本所独有的特征；通过类别预测结果优化初始检测模型的参数，能够放大第一样本图像和第二样本图像之间的差异，以使得到的活体检测模型能够提高预测待检测图像检测结果的准确性，即利用本申请优化得到的活体检测模型进行活体检测，能够提高活体检测方法的鲁棒性。
18.进一步的，提取所述第一样本图像的第一特征图像和所述第二样本图像的第二特征图像，包括：
19.对所述第一样本图像和所述第二样本图像分别执行序列化卷积处理，得到所述第一样本图像的第一特征信息和所述第二样本图像的第二特征信息；
20.将所述第一特征信息映射得到第一特征图像，将所述第二特征信息映射得到第二特征图像。
21.通过对查询样本图像执行序列化卷积处理，能够得到查询样本图像的特征信息，之后将特征信息通过映射即可得到对应的特征图像。
22.进一步的，提取所述第一特征图像的第一特征向量和所述第二特征图像的第二特征向量，包括：
23.对所述第一特征图像和所述第二特征图像分别执行图像的卷积处理和残差处理，得到所述第一样本图像的第一精细特征信息和所述第二样本图像的第二精细特征信息；
24.将所述第一精细特征信息映射成所述第一特征向量，以及将所述第二精细特征信息映射成所述第二特征向量。
25.对特征图像执行图像的卷积处理和残差处理后，可以提取出像素级别的精细特征信息，接着可以将精细特征信息通过映射得到特征向量，根据该特征向量对查询样本图像类别的预测，能够提高检测初始检测模型类别预测的准确性。
26.进一步的，对所述第一特征图像和所述第二特征图像分别执行图像的卷积处理和残差处理，得到所述第一样本图像的第一精细特征信息和所述第二样本图像的第二精细特征信息，包括：
27.对所述第一特征图像执行两次图像的卷积处理，其中第一次图像的卷积处理得到第一卷积特征图，第二次图像的卷积处理得到第二卷积特征图；
28.对所述第二特征图执行两次图像的卷积处理，其中第一次图像的卷积处理得到第三卷积特征图，第二次图像的卷积处理得到第四卷积特征图；
29.对所述第一卷积特征图与所述第二卷积特征图作差后，执行图像的残差操作，得到第一残差特征图，以及对所述第二卷积特征图执行图像的残差操作，得到第二残差特征
图；
30.对所述第三卷积特征图与所述第四卷积特征图作差后，执行图像的残差操作，得到第三残差特征图，以及对所述第四卷积特征图执行图像的残差操作，得到第四残差特征图；
31.将所述第一残差特征图和所述第二残差特征图叠加，得到所述第一精细特征信息；
32.将所述第三残差特征图和所述第四残差特征图叠加，得到所述第二精细特征信息。
33.对特征图像执行图像的卷积处理和残差处理，具体的，可以先对特征图像执行两次卷积处理，将第二次卷积处理得到的结果执行第一残差操作，并将第一次卷积处理得到的结果和第二次卷积处理得到的结果做差，将做差的结果执行第二残差操作；最后两次残差操作得到的结果进行叠加，即可获得像素级别的精细特征信息，之后将精细特征信息映射成向量，能够提高初始检测模型预测的准确性。
34.进一步的，所述图像分类器包含第一图像分类器和第二图像分类器，将所述第一特征向量和所述第二特征向量输入初始检测模型的图像分类器，得到所述第一样本图像和所述第二样本图像的类别预测结果，包括：
35.将所述第一特征向量和所述第二特征向量输入所述第一图像特征分类器，得到所述第一样本图像的第一类别预测结果以及所述第二样本图像的第二类别预测结果；
36.将所述第一特征向量和所述第二特征向量输入所述第二图像特征分类器，得到所述第一样本图像的第三类别预测结果以及所述第二样本图像的第四类别预测结果；
37.根据所述类别预测结果、所述第一图像特征差异以及所述第一图像特征差异对初始检测模型的参数进行优化更新，得到所述活体检测模型，包括：
38.根据所述第一类别预测结果、第二类别预测结果、第三类别预测结果、所述第四类别预测结果、所述第一图像特征差异以及所述第一图像特征差异对初始检测模型的参数进行优化更新，得到所述活体检测模型。
39.本实施列中初始检测模型的分类器有两类，因此每种查询样本图像都会被分别输送到这两类分类器中进行对应类别的预测，并得到四个类别预测结果，最终可以通过四种类别预测结果和两个图像特征差异对初始检测模型进行网络参数的优化，得到活体检测模型，以提高活体检测模型的鲁棒性。
40.进一步的，所述对抗网络模型包括对抗生成网络模型，采用预设的对抗网络模型将所述第一特征图像和所述第二特征图像分别融合到所述参考图像中，得到第一目标样本图像和第二目标样本图像，包括：
41.采用所述对抗生成网络将所述第一特征图像和所述第二特征图像分别和所述参考图像进行色彩通道合并，得到第一融合图像和第二融合图像；
42.对所述第一融合图像执行图像下采样处理和图像上采样处理，得到所述第一目标样本图像；
43.对所述第二融合图像执行图像下采样处理和图像上采样处理，得到所述二目标样本图像。
44.通过对抗生成网络模型先将特征图像和参考图像进行色彩通道融合，以得到融合
图像，之后接着对融合图像执行下采样和上采样处理，即可得到目标样本图像。
45.进一步的，所述对抗网络模型还包括对抗判别网络模型，采用所述对抗网络模型检测所述第一目标样本图像的图像特征和所述第一样本图像之间的第一图像特征差异，以及所述第二目标样本图像的图像特征和所述第二样本图像之间的第二图像特征差异，包括：
46.将所述第一样本图像、所述第二样本图像以及所述目标样本图像输入所述对抗判别网络模型，得到用于表征所述第一图像特征差异的第一分数矩阵以及用于表征所述第二图像特征差异的第二分数矩阵；
47.所述根据所述类别预测结果、所述第一图像特征差异以及所述第一图像特征差异对所述初始检测模型的参数进行优化更新，得到所述活体检测模型，包括：
48.根据所述第一分数矩阵和所述第二分数矩阵计算所述对抗网络模型的对抗损失函数，根据所述所述类别预测结果以及所述对抗损失函数对所述初始检测模型的参数进行优化更新，得到所述活体检测模型。
49.在检测出参考样本图像和特征样本图像之间的图像特征差异之后，可以将图像特征差异以分数矩阵的形式呈现，之后即可通过分数矩阵计算出对抗网络模型的对抗损失函数，最终通过对抗损失函数和类别预测结果优化更新初始检测模型的参数，就能够得到活体检测模型。
50.第二方面，本申请实施例提供了一种活体检测装置，包括：
51.待检测图像获取模块，用于获取待检测图像；
52.活体检测模块，用于将所述待检测图像输入预先训练完成的活体检测模型，得到所述待检测图像的活体检测结果；
53.其中，所述装置还包括：
54.查询样本获取模块，用于获取查询样本集合，所述查询样本集合包含第一样本图像和第二样本图像，所述第一样本图像为摄像机拍摄后获得的未经二次处理的图像，所述第二样本图像为摄像机拍摄后经二次处理获得的图像；
55.查询样本预处理模块，用于提取所述第一样本图像的第一特征图像和所述第二样本图像的第二特征图像，并提取所述第一特征图像的第一特征向量和所述第二特征图像的第二特征向量；
56.查询样本预测模块，用于将所述第一特征向量和所述第二特征向量输入初始检测模型的图像分类器，得到所述第一样本图像和所述第二样本图像的类别预测结果；
57.参考图像获取模块，用于获取预先采集的未经二次处理的参考图像；
58.图像融合模块，用于采用预设的对抗网络模型将所述第一特征图像和所述第二特征图像分别融合到所述参考图像中，得到第一目标样本图像和第二目标样本图像；
59.图像特征差异检测模块，用于采用所述对抗网络模型检测所述第一目标样本图像的图像特征和所述第一样本图像的图像特征之间的第一图像特征差异，以及所述第二目标样本图像的图像特征和所述第二样本图像的图像特征之间的第二图像特征差异；
60.初始检测模型优化模块，用于根据所述类别预测结果、所述第一图像特征差异以及所述第一图像特征差异对所述初始检测模型的参数进行优化更新，得到所述活体检测模型。
61.第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例第一方面提出的活体检测方法。
62.第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请实施例第一方面提出的活体检测方法。
63.本申请实施例与现有技术相比存在的有益效果是：能够提高活体检测方法的鲁棒性。
附图说明
64.为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
65.图1是本申请实施例提供的一种活体检测方法的流程图；
66.图2是本申请实施例提供的活体检测模型的训练流程图；
67.图3是本申请实施例提供的一种活体检测装置的结构图；
68.图4是本申请实施例提供的一种终端设备的示意图。
具体实施方式
69.以下描述中，为了说明而不是为了限定，提出了诸如特定装置结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
70.以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a、b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
71.本申请实施例提供的活体检测方法可以应用于手机、平板电脑、医疗设备、可穿戴设备、车载设备、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、笔记本电脑、超级移动个人计算机(ultra
‑
mobile personal computer，umpc)、上网本、个人数字助理(personal digital assistant，pda)等终端设备或者服务器上，本申请实施例对终端设备和服务器的具体类型不作任何限制。
72.为了兼顾人脸识别算法的鲁棒性与应用的安全性，活体检测作为一种生物防伪技术已经受到了越来越多研究人员的关注。它通常是利用一种或多种数据类型(rgb，深度，红外)来区分真实样本和攻击样本。而一个实用的人脸识别系统不仅被要求可以应对来自目
标的扰动攻击，如姿态，表情变化等，还要可以应对来自数据的扰动攻击，如曝光度，分辨率，风格变化等，但这种要求往往会导致人脸识别系统极易受到非法的攻击而造成重大的经济损失。
73.目前，现有的单模态活体检测方法主要有两个思路：1)基于深度估计的方法，通过引入深度先验假设来约束神经网络学习指定的深度图；2)基于异常检测的方法，利用自动编码器建模图像上的异常线索。然而，这些方法都引入了不确定的先验假设来控制中间差异图的生成，容易使解空间被压缩到一个小的局部范围，降低活体检测的鲁棒性。针对这个问题，本申请提出一种活体检测方法，在不引入先验假设的前提下，可以利用对抗网络模型训练活体检测模型挖掘不同的样本图像之间的差异特征，能够提高活体检测的鲁棒性。
74.请参阅图1，图1示出了本申请提供的一种活体检测方法的流程图，包括：
75.101、获取待检测图像；
76.首先，获取待检测图像，该检测图像可以是由检测终端获取的单张图像，或者检测终端获取的视屏中的单帧图像，对于图像的来源，本申请中不作限定。其中待检测图像包括真实图像和攻击图像，举例说明，如真人进行人脸识别时检测终端获得的图像即为真实图像；对人脸照片打印后，进行人脸识别时检测终端获得的图像即为攻击图像。从该例子可以看出，真实图像和攻击图像的区别在于相机成像的次数，即真实图像可以理解为仅经过一次拍摄后获得的未经二次处理的图像，实质上是一次拍摄所获得的结果；而攻击图像可以理解为相机拍摄后经二次处理获得的图像，实质上是二次拍摄所获得的结果；其中，二次处理可以包含多种形式，例如照片冲印、彩色打印等。
77.102、将所述待检测图像输入预先训练完成的活体检测模型，得到所述待检测图像的活体检测结果；
78.在获得待检测图像之后，可以将该图像输入到预先训练完成的活体检测模型进行检测，检测完成后，即可输出活体检测结果。当待检测图片为真实图像时，活体检测的结果为活体；当待检测图片为攻击图像时，活体检测的结果则为非活体。应用在人脸识别上，两种图像分别可以得到验证成功或者验证失败两种结果。
79.对于人眼来说，真实图像和攻击图像之间的差异是很小的，几乎不能通过人眼来对真实图像和攻击图像进行辨别，而要准确辨别两个图像，可以找出一次拍摄和二次拍摄之间的差异，通过该差异来对两个图像进行判别，在不引入先验假设的前提下，如果仅通过训练分类模型对真实样本和攻击样本进行识别，那么得到的检测模型会存在两个弊端：1)提取精细的纹理差异，单纯的分类网络往往会造成很严重的过拟合问题；2)softmax分类器具有封闭性，对于未见的攻击类型会产生很大的性能衰退。
80.为了解决这两个问题，本申请引入生成式对抗网络(gan，generative adversarial networks)，即对抗网络模型对活体检测模型进行辅助训练。在训练前，先假设真实图像和攻击图像是有区别的，且真实图像中存在区别于攻击图像的一致性特征，攻击图像也同样存在区别于真实图像的一致性特征，所谓一致性特征，可以理解为是一种拍摄风格，即真实图像具备一次拍摄风格，攻击样本图像具备二次拍摄风格。由于攻击图像是基于一次拍摄得到的图像经过处理后得到的，对于攻击样本的拍摄风格，除了二次拍风格，还具备一次拍摄风格。基于这个假设，可以将活体检测模型的训练转化为一种风格迁移过程，如果活体检测模型能够准确提取出一次拍摄风格和二次拍摄风格，那么将一次拍摄风
格和二次拍摄风格分别迁移到具备一次拍摄风格的参考图像上，可以得到两种效果图，一种是将提取的一次拍摄风格迁移到参考图像上得到的具备一次拍摄风格的效果图，另一种是将提取的二次拍摄风格迁移到参考图像上得到的具备二次拍摄风格的效果图。其中，需要注意的是，一次拍摄风格具体表现为第一样本特征图，二次拍摄风格具体表现为第二样本特征图像。
81.要让初始检测模型能够准确识别并提取一次拍摄风格和二次拍摄风格，可以先通过对查询样本进行特征提取得到特征图像，并对提取出来的特征图像向量化得到特征向量，将特征向量输入初始检测模型的图像分类中进行类别预测，也即识别对应的每个查询样本图像是活体还是非活体，并输出对应的类别预测结果；之后利用对抗网络模型将提取得到的特征图像融合到参考图像中，得到目标样本图，接着再次利用对抗网络模型检测目标样本图像和查询样本图像之间的图像特征差异，最终根据类别预测结果和图像特征差异同时对初始检测模型进行优化，以得到能够准确识别并提取第一次拍摄风格和第二次拍摄风格的活体检测模型，其中根据图像特征差异对初始检测模型进行优化，能够减小目标样本图像和查询样本图像之间的差异，以使得到的活体检测模型能够准确提取出第一次拍摄风格和第二次拍摄风格；通过类别预测结果对初始检测模型进行优化，能够放大第一样本图像和第二样本图像之间的差异，以使得到的活体检测模型能够更准确的预测出待检测图像所属的类别。通过该方法能够让对活体检测模型能够主动挖掘出一次拍摄和二次拍摄之间的区别，从而优化检测模型的参数，提高检测模型图像辨别的准确性。
82.具体的，活体检测模型可以通过以下步骤获得：
83.201、获取查询样本集合，所述查询样本集合包含第一样本图像和第二样本图像，所述第一样本图像为摄像机拍摄后获得的未经二次处理的图像，所述第二样本图像为摄像机拍摄后经二次处理获得的图像；
84.在进行训练之前，需要先获取查询样本集合，查询样本集合是预先构建的，集合中包含第一样本图像和第二样本图像，具体的，第一样本图像代表真实图像，第二样本图像代表攻击图像。由于摄像机拍摄后经过不同的二次处理，可以获得不同的第二样本图像，例如，同一张照片，经过冲印和经过打印，由于操作不同，纸张不同，导致最终获得的第二样本图像之间存在差异，因此可以根据不同的二次处理对获得的第二样本图像进行攻击类型分类。执行该分类后，能够让活体检测模型检测出多种攻击类型的样本，提高活体检测模型的鲁棒性。需要注意的是，由于查询样本集合中的图像主要目的是为了让活体检测模型准确识别不同查询样本件所独有的图像特征从而实现活体检测，因此查询样本集合中的图像都是经过手工标注的，标注会有两种，第一种，所有样本图像都具有的活体或非活体标签；第二种，对于第二样本图像，还会有攻击类型的标签，例如冲印、打印等。
85.202、提取所述第一样本图像的第一特征图像和所述第二样本图像的第二特征图像，并提取所述第一特征图像的第一特征向量和所述第二特征图像的第二特征向量；
86.在获得查询样本图像之后，提取每个查询样本图像的特征获得对应的特征图像，并依据特征图像生成对应的特征向量。具体的，对于第一样本图像，可以提取出第一特征图像，对于第二样本图像，可以提取出第二特征图像，并分别将第一特征图像转化为第一特征向量，将第二特征图像转化为第二特征向量。
87.具体的，在一个实施例中，提取所述第一样本图像的第一特征图像和所述第二样
本图像的第二特征图像，包括：
88.对所述第一样本图像和所述第二样本图像分别执行序列化卷积处理，得到所述第一样本图像的第一特征信息和所述第二样本图像的第二特征信息；
89.将所述第一特征信息映射得到第一特征图像，将所述第二特征信息映射得到第二特征图像。
90.先通过图像的序列化卷积处理，提取出样本图像的特征信息，即提取出第一样本图像的第一特征信息和第二样本图像的第二特征信息。在获得特征信息之后，可以将特征信息映射得到特征图像，即第一特征信息映射得到第一特征图像，第二特征信息映射得到第二特征图像。具体的，该特征图可以通过一系列的上采样和下采样操作完成。
91.在实际应用中，当初始检测模型在获得一组查询样本(x
*
)之后，会生成一组特征图m
m
＝m1，m2，m3，...，m
n
}和四组中间特征{f1，f2，f3，f4}，具体的，中间特征的组数由上采样操作次数决定，例如，在获取特征图的过程中，经过了四次上采样操作，那么中间特征就会有四组。其中，每组中间特征其中每组中间特征f
*
又是由n个特征图组成，如为了让得到的特征图像的向量对象转换为三通道的向量对象，可以通过下述损失函数来约束：
[0092][0093]
其中，b
r
，b
f
分别代表在一个训练样本集合中第一样本图像和第二样本图像的数量，表示选择第k组中间特征中第i个第一样本图像的特征图作为锚(anchor)和积极的(positive)，表示选择第k组中间特征中第j个第一样本图像的特征图作为消极的(negative)，ε是超参数，用来控制积极样本与消极样本之间的最小间隔。
[0094]
在一个实施例中，提取所述第一特征图像的第一特征向量和所述第二特征图像的第二特征向量，包括：
[0095]
对所述第一特征图像和所述第二特征图像分别执行图像的卷积处理和残差处理，得到所述第一样本图像的第一精细特征信息和所述第二样本图像的第二精细特征信息；
[0096]
将所述第一精细特征信息映射成所述第一特征向量，以及将所述第二精细特征信息映射成所述第二特征向量。
[0097]
在获得特征图像之后，可以通过对特征图像执行图像的卷积处理以及残差处理，提取样本图像的像素级别纹理特征即精细特征信息，以转化为对应的特征向量。
[0098]
具体的，在一个实施例中，对所述第一特征图像和所述第二特征图像分别执行图像的卷积处理和残差处理，得到所述第一样本图像的第一精细特征信息和所述第二样本图像的第二精细特征信息，包括：
[0099]
对所述第一特征图像执行两次图像的卷积处理，其中第一次图像的卷积处理得到第一卷积特征图，第二次图像的卷积处理得到第二卷积特征图；
[0100]
对所述第二特征图执行两次图像的卷积处理，其中第一次图像的卷积处理得到第三卷积特征图，第二次图像的卷积处理得到第四卷积特征图；
[0101]
对所述第一卷积特征图与所述第二卷积特征图作差后，执行图像的残差操作，得
到第一残差特征图，以及对所述第二卷积特征图执行图像的残差操作，得到第二残差特征图；
[0102]
对所述第三卷积特征图与所述第四卷积特征图作差后，执行图像的残差操作，得到第三残差特征图，以及对所述第四卷积特征图执行图像的残差操作，得到第四残差特征图；
[0103]
将所述第一残差特征图和所述第二残差特征图叠加，得到所述第一精细特征信息；
[0104]
将所述第三残差特征图和所述第四残差特征图叠加，得到所述第二精细特征信息。
[0105]
在本申请实施例中，会对特征图像执行两次卷积处理，并将第一次卷积处理得到的结果和第二次卷积处理得到的结果进行做差；然后将第二次卷次处理得到的结果执行第一残差操作，并将做差得到的结果执行第二残差操作；最终将两次残差操作的结果进行叠加，得到像素级别的精细特征信息。该过程中，对特征图像执行图像的卷积操作后，再经过经过残差处理，可以提取出更加精细的图像特征信息即精细特征信息，将精细特征信息转化成向量有助于强化宏观中较小的差异，即能够将攻击图像和真实图像的差异放大，以提高活体检测模型检测的准确性。
[0106]
203、将所述第一特征向量和所述第二特征向量输入初始检测模型的图像分类器，得到所述第一样本图像和所述第二样本图像的类别预测结果；
[0107]
在得到特征向量后，即可将特征向量输入初始检测模型的图像分类器中进行类别预测，虽然，要实现活体检测可以仅采用一个真伪图像分类器，实现对真实样本和攻击样本的区分，但是该方法容易使得攻击样本的攻击类型单一化，会降低活体检测模型对未见攻击的鲁棒性。因此初始检测模型还设置了第二图像分类器，在一个实施例中，所述图像分类器包含第一图像分类器和第二图像分类器，将所述第一特征向量和所述第二特征向量输入初始检测模型的图像分类器，得到所述第一样本图像和所述第二样本图像的类别预测结果，包括：
[0108]
将所述第一特征向量和所述第二特征向量输入所述第一图像特征分类器，得到所述第一样本图像的第一类别预测结果以及所述第二样本图像的第二类别预测结果；
[0109]
将所述第一特征向量和所述第二特征向量输入所述第二图像特征分类器，得到所述第一样本图像的第三类别预测结果以及所述第二样本图像的第四类别预测结果。
[0110]
第一图像分类器是真伪分类器，可以检测出样本图片是活体还是非活体；第二图像分类器是为了区分第二样本图像的攻击类型，通过攻击类型的分类，能够避免初始检测模型在训练过程中，攻击类型单一，降低活体检测模型的鲁棒性。将不同的查询样本对应的特征向量分别输入两种分类器中，即可获得对应的类别预测结果，在后续步骤中，会根据此处获得的类别预测结果对初始检测模型进行优化。
[0111]
204、获取预先采集的未经二次处理的参考图像；
[0112]
参考图像是真实图像，是摄像机拍摄后未经二次处理的图像，但是图像中的内容不做限定，例如活体检测模型是应用在人脸识别方面的，但是参考图像中的内容可以是风景、人物、动物或者其他，只要是未经二次处理的图像就可以作为参考图像。
[0113]
205、采用预设的对抗网络模型将所述第一特征图像和所述第二特征图像分别融
合到所述参考图像中，得到第一目标样本图像和第二目标样本图像；
[0114]
在得到参考图像之后，即可采用对抗网络模型将该图像特征融合到参考图像中。对应的，第一特征图像和参考图像进行融合，可以得到第一目标样本图像，第二特征图像和参考样本图像融合，可以得到第二目标样本图像。
[0115]
具体的，在一个实施例中，所述对抗网络模型包括对抗生成网络模型，采用预设的对抗网络模型将所述第一特征图像和所述第二特征图像分别融合到所述参考图像中，得到第一目标样本图像和第二目标样本图像，包括：
[0116]
采用所述对抗生成网络将所述第一特征图像和所述第二特征图像分别和所述参考图像进行色彩通道合并，得到第一融合图像和第二融合图像；
[0117]
对所述第一融合图像执行图像下采样处理和图像上采样处理，得到所述第一目标样本图像；
[0118]
对所述第二融合图像执行图像下采样处理和图像上采样处理，得到所述二目标样本图像。
[0119]
对抗网络模型是一种深度学习模型，该模型通过生成器(generative model)和判别器(discriminative model)的互相博弈学习获得好的输出。在将特征图像融合到参考图像中，得出目标样本图像，所采用的就是对抗网络模型中的生成器，即对抗生成网络模型，该模型先将特征图和参考图像进行色彩通道合并，得到融合图像，之后再对融合图像执行下采样和上采样处理后即可获得目标样本图像。在该过程中，对抗生成网络模型的目的是探索潜在的数据分布，生成满足要求的目标样本图像，以混淆对抗网络模型的判别器，即后续步骤中会用到的对抗网络判别模型。
[0120]
206、采用所述对抗网络模型检测所述第一目标样本图像的图像特征和所述第一样本图像的图像特征之间的第一图像特征差异，以及所述第二目标样本图像的图像特征和所述第二样本图像的图像特征之间的第二图像特征差异；
[0121]
要判别是否完成风格迁移，可以通过目标样本图像和查询样本图像之间的图像特征差异进行判断。
[0122]
具体的，在一个实施例中，所述对抗网络模型还包括对抗判别网络模型，采用所述对抗网络模型检测所述第一目标样本图像的图像特征和所述第一样本图像之间的第一图像特征差异，以及所述第二目标样本图像的图像特征和所述第二样本图像之间的第二图像特征差异，包括：
[0123]
将所述第一样本图像、所述第二样本图像以及所述目标样本图像输入所述对抗判别网络模型，得到用于表征所述第一图像特征差异的第一分数矩阵以及用于表征所述第二图像特征差异的第二分数矩阵。
[0124]
要检测目标样本图像和查询样本图像之间的图像特征差异，可以通过对抗网络模型的对抗判别网络来检测，并将图像特征差异采用分数矩阵的形式来表示。在此处，需要说明的是，对于第一样本图像以及根据第一图像特征信息得到的第一目标样本图像会单独输入对抗判别网络模型的一个模块来完成检测，对于第二样本图像以及根据第二图像特征信息得到的第二目标样本图像会单独输入对抗判别网络模型的另一个模块来完成检测。
[0125]
207、根据所述类别预测结果、所述第一图像特征差异以及所述第一图像特征差异对所述初始检测模型的参数进行优化更新，得到所述活体检测模型。
[0126]
在得到类别预测结果和图像特征差异之后，即可对初始检测模型的参数进行优化，以获得活体检测模型。通过类别预测结果优化初始检测模型的参数，能够放大第一样本图像和第二样本图像之间的差异，以使得到的活体检测模型能够更准确的预测出第一样本图像和第二样本图像所属的类别。
[0127]
具体的，在一个实施例中，利用类别预测结果可以对初始检测模型的参数进行优化更新根据以下步骤实现：
[0128]
采用第一图像分类器预测所述第一特征向量的第一类别结果和所述第二特征向量的第二类别结果，采用第二图像分类器预测所述第一特征向量的第三类别结果和所述第二特征向量的第四类别结果；
[0129]
计算所述第一类别预测结果和所述第一特征向量的真实类别结果之间的第一交叉熵，以及计算所述第二类别预测结果和所述第二特征向量的真实类别结果之间的第二交叉熵；
[0130]
计算所述第三类别预测结果和所述第一特征向量的真实类别结果之间的第三交叉熵，以及计算所述第四类别预测结果和所述第二特征向量的真实类别结果之间的第四交叉熵；
[0131]
根据所述第一交叉熵，所述第二交叉熵，所述第三交叉熵和所述第四交叉熵对所述初始检测模型的参数进行优化更新。
[0132]
将查询样本图像输入到任一图像分类其中，能够得到一个预测结果，可以将预测结果和真实类别结果进行计算出交叉熵，从而利用交叉熵来优化初始检测模型。其中交叉熵(cross entropy)是香农(shannon)信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。交叉熵可以对比模型的预测结果和图像的真实标签，随着预测越来越准确，交叉熵的值越来越小，如果预测完全正确，交叉熵的值就为零。因此将交叉熵作为图像分类器的损失函数，能够得到优化初始检测模型的参数，让初始检测模型对活体识别的准确性越来越高。
[0133]
具体的，初始检测模型中的两个图像分类器的损失函数如下：
[0134][0135]
其中，b是批量大小(batch
‑
size)，即一次训练所选取的样本数的大小，f
i
是样本图像的特征向量，是攻击类型的标签信息，是活体、非活体的标签信息，c
m
，c
b
是指相应任务的类别数量，w
*
是权重矩阵，b
*
是偏差向量。
[0136]
根据类别预测结果训练初始检测模型的同时，还可以根据图像特征差异对初始检测模型的参数进行优化更新。具体的，利用步骤206中得到的分数矩阵对初始检测模型的参数进行优化更新，先根据第一分数矩阵和第二分数矩阵计算出对抗网络模型的对抗损失函数，然后根据梯度下降原理，利用对抗损失函数对初始检测模型的参数进行优化，最终得到训练完成的活体检测模型。
[0137]
由于对抗网络模型都是由一个生成器和一个判别器组成。其中，生成器的目标是探索潜在的数据分布，生成满足要求的图片，并利用生成的图片去混淆判别器；判别器的目的是尽可能正确区分出真实数据和生成数据的差异。当二者到达纳什均衡点时，生成器就
会生成比较令人满意的伪造数据，而判别器也无法区分真实数据和伪造数据的差异。因此对抗网络模型的损失函数如下：
[0138][0139]
其中，p
data
指目标域中一次拍摄风格和二次拍摄风格的分布，p
z
指高斯分布的噪声图。理论上讲，l
gan
目的是确保生成器生成数据的分布与真实数据分布相同。但由于很难动态平衡生成器和判别器的收敛速度，所以原始对抗网络模型通常会在平衡点附近震荡。
[0140]
进一步的，为了充分发挥对抗网络模型的优势来挖掘一次拍摄特征和二次拍摄特征之间的差异信息，还可以如下损失函数：
[0141][0142]
其中，x1是指参考样本集合，x
m
是查询样本集合，m1是一次拍摄特征图，m
m
是精细特征差异图，d1，d2是风格对抗判别器中的两个判别器，g是对抗网络模型的生成器，需要生成器g可是可以实现将一次拍摄风格和二次拍摄风格迁移到参考图像上。此外，还增加了cycle consistence损失来确保生成风格的稳定，具体损失函数如下：
[0143]
l
mutual_cyc
＝mse(x
m
，g(x1|m
m
))+mse(x1，g(x
m
|m1))
[0144]
l
self_cyc
＝mse(x1，g(x1|m1))+mse(x
m
，g(x
m
|m
m
))
[0145]
进一步地，为了保证身份的像素不变性，进一步加入了像素级别的重构损失来进行约束：
[0146][0147]
其中，x1是指一次拍摄数据集，x
m
是指一次拍摄和二次拍摄混合数据集，m1是一次拍摄差异图，m
m
是混合数据差异图，d1，d2是判别器中的两个子判别器，g是生成器。
[0148]
为了尽可能区分生成器生成图像，对抗网络模型中的判别器与传统gan判别器不同，该判别器由两个结构相同的子判别器构成，分别负责一次拍摄风格和二次拍摄风格的鉴别。采用2种判别器可以潜意识的增强差异图中的判别性，具体损失函数如下：
[0149][0150]
最后，即可得到训练需要的对抗网络模型的损失函数：
[0151]
l
g
＝l
g_adv
+l
cyc
+l
recon
+αl
cls
+βl
triplet
[0152]
l
d
＝l
d_adv
[0153]
其中，α，β是超参数，用来平衡各个损失重要程度。
[0154]
本申请通过先通过初始检测模型对查询样本进行类别预测得出类别预测结果，然后利用对抗网络模型训练活体检测模型挖掘不同的样本图像之间的图像特征差异，最终利用类别预测结果和图像特征差异同步对初始检测模型进行优化，其中利用图像特征差异优化初始检测模型的参数，能够减小目标样本图像和查询样本图像之间的差异，以使得到的活体检测模型能够准确提取出不同查询样本所独有的特征；通过类别预测结果优化初始检测模型的参数，能够放大第一样本图像和第二样本图像之间的差异，以使得到的活体检测模型能够更准确的预测出第一样本图像和第二样本图像所属的类别，因此，利用优化得到
的活体检测模型对待检测图像进行活体检测，能够提高检测结果的准确性，提高检测方法的鲁棒性。
[0155]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
[0156]
图3示出了本申请实施例提供的活体检测装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
[0157]
参照图3，该装置包括：
[0158]
待检测图像获取模块301，用于获取待检测图像；
[0159]
活体检测模块302，用于将所述待检测图像输入预先训练完成的活体检测模型，得到所述待检测图像的活体检测结果；
[0160]
其中，所述装置还包括：
[0161]
查询样本获取模块，用于获取查询样本集合，所述查询样本集合包含第一样本图像和第二样本图像，所述第一样本图像为摄像机拍摄后获得的未经二次处理的图像，所述第二样本图像为摄像机拍摄后经二次处理获得的图像；
[0162]
查询样本预处理模块，用于提取所述第一样本图像的第一特征图像和所述第二样本图像的第二特征图像，并提取所述第一特征图像的第一特征向量和所述第二特征图像的第二特征向量；
[0163]
查询样本预测模块，用于将所述第一特征向量和所述第二特征向量输入初始检测模型的图像分类器，得到所述第一样本图像和所述第二样本图像的类别预测结果；
[0164]
参考图像获取模块，用于获取预先采集的未经二次处理的参考图像；
[0165]
图像融合模块，用于采用预设的对抗网络模型将所述第一特征图像和所述第二特征图像分别融合到所述参考图像中，得到第一目标样本图像和第二目标样本图像；
[0166]
图像特征差异检测模块，用于采用所述对抗网络模型检测所述第一目标样本图像的图像特征和所述第一样本图像的图像特征之间的第一图像特征差异，以及所述第二目标样本图像的图像特征和所述第二样本图像的图像特征之间的第二图像特征差异；
[0167]
初始检测模型优化模块，用于根据所述类别预测结果、所述第一图像特征差异以及所述第一图像特征差异对所述初始检测模型参数进行优化更新，得到所述活体检测模型。
[0168]
进一步的，所述查询样本预处理模块可以包括：
[0169]
特征信息提取单元，用于对所述第一样本图像和所述第二样本图像分别执行序列化卷积处理，得到所述第一样本图像的第一特征信息和所述第二样本图像的第二特征信息；
[0170]
特征信息映射单元，用于将所述第一特征信息映射得到第一特征图像，将所述第二特征信息映射得到第二特征图像。
[0171]
进一步的，所述查询样本预处理模块还可以包括：
[0172]
精细特征信息提取单元，用于对所述第一特征图像和所述第二特征图像分别执行图像的卷积处理和残差处理，得到所述第一样本图像的第一精细特征信息和所述第二样本图像的第二精细特征信息；
[0173]
特征向量转化单元，用于将所述第一精细特征信息映射成所述第一特征向量，以及将所述第二精细特征信息映射成所述第二特征向量。
[0174]
进一步的，所述精细特征信息提取单元可以包括：
[0175]
第一卷积子单元，用于对所述第一特征图像执行两次图像的卷积处理，其中第一次图像的卷积处理得到第一卷积特征图，第二次图像的卷积处理得到第二卷积特征图；
[0176]
第二卷积子单元，用于对所述第二特征图执行两次图像的卷积处理，其中第一次图像的卷积处理得到第三卷积特征图，第二次图像的卷积处理得到第四卷积特征图；
[0177]
第一残差子单元，用于对所述第一卷积特征图与所述第二卷积特征图作差后，执行图像的残差操作，得到第一残差特征图，以及对所述第二卷积特征图执行图像的残差操作，得到第二残差特征图；
[0178]
第一残差子单元，用于对所述第三卷积特征图与所述第四卷积特征图作差后，执行图像的残差操作，得到第三残差特征图，以及对所述第四卷积特征图执行图像的残差操作，得到第四残差特征图；
[0179]
图像第一叠加子单元，用于将所述第一残差特征图和所述第二残差特征图叠加，得到所述第一精细特征信息；
[0180]
图像第二叠加子单元，用于将所述第三残差特征图和所述第四残差特征图叠加，得到所述第二精细特征信息。
[0181]
进一步的，所述图像分类器包含第一图像分类器和第二图像分类器，所述查询样本预测模块可以包括：
[0182]
第一样本图像类别预测模块，用于将所述第一特征向量和所述第二特征向量输入所述第一图像特征分类器，得到所述第一样本图像的第一类别预测结果以及所述第二样本图像的第二类别预测结果；
[0183]
第一样本图像类别预测模块，用于将所述第一特征向量和所述第二特征向量输入所述第二图像特征分类器，得到所述第一样本图像的第三类别预测结果以及所述第二样本图像的第四类别预测结果；
[0184]
所述初始检测模型优化模具体可以用于：根据所述第一类别预测结果、第二类别预测结果、第三类别预测结果、所述第四类别预测结果、所述第一图像特征差异以及所述第一图像特征差异对初始检测模型参数进行优化更新，得到所述活体检测模型。
[0185]
进一步的，所述对抗网络模型包括对抗生成网络模型，所述图像融合模块具体可以用于：
[0186]
采用所述对抗生成网络将所述第一特征图像和所述第二特征图像分别和所述参考图像进行色彩通道合并，得到第一融合图像和第二融合图像；对所述第一融合图像执行图像下采样处理和图像上采样处理，得到所述第一目标样本图像；
[0187]
对所述第二融合图像执行图像下采样处理和图像上采样处理，得到所述二目标样本图像。
[0188]
本申请实施例还提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请提出的各个活体检测方法的步骤。
[0189]
进一步地，所述对抗网络模型还包括对抗判别网络模型，图像特征差异检测模块
具体可以用于：
[0190]
将所述第一样本图像、所述第二样本图像以及所述目标样本图像输入所述对抗判别网络模型，得到用于表征所述第一图像特征差异的第一分数矩阵以及用于表征所述第二图像特征差异的第二分数矩阵；
[0191]
进一步地，所述所述初始检测模型优化模具体可以用于：根据所述第一分数矩阵和所述第二分数矩阵计算所述对抗网络模型的对抗损失函数，根据所述类别预测结果以及所述对抗损失函数对所述初始检测模型的参数进行优化更新，得到所述活体检测模型。
[0192]
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请提出的各个活体检测方法的步骤。
[0193]
本申请实施例还提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行本申请提出的各个活体检测方法的步骤。
[0194]
图4为本申请一实施例提供的终端设备的结构示意图。如图4所示，该实施例的终端设备4包括：至少一个处理器40(图4中仅示出一个)处理器、存储器41以及存储在所述存储器41中并可在所述至少一个处理器40上运行的计算机程序42，所述处理器40执行所述计算机程序42时实现上述任意浏览器驱动的配置方法实施例中的步骤。
[0195]
所述终端设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备，以及智能手表、智能手环等可穿戴设备。该终端设备可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是终端设备4的举例，并不构成对终端设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
[0196]
所称处理器40可以是中央处理单元(central processing unit，cpu)，该处理器40还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0197]
所述存储器41在一些实施例中可以是所述终端设备4的内部存储单元，例如终端设备4的硬盘或内存。所述存储器41在另一些实施例中也可以是所述终端设备4的外部存储设备，例如所述终端设备4上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储操作装置、应用程序、引导装载程序(bootloader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
[0198]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的
单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0199]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0200]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
[0201]
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0202]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0203]
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0204]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0205]
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。