人脸图像质量评估方法、装置及电子设备与流程

1.本技术涉及计算机技术领域，尤其涉及一种人脸图像质量评估方法、装置及电子设备。


背景技术：

2.在实际工业生产中，评估人脸图像的质量非常重要。一般地，一个人脸系统的输入是随机的，存在多种噪声(如模糊、遮挡、光照等)，也存在各种人脸攻击。如果不加入人脸质量控制环节，就会造成后续人脸识别、比对、检索等任务中的错误识别、错误接受。
3.目前的人脸图像质量评估方法，分为手工法和深度学习法。手工法对人脸图像特征进行手工设计，如计算一张人脸图像的模糊度和对比度，计算人脸图像的眼间距离等，这种方法往往只考虑单一因素的影响，无法全面考虑所有影响，并且需要人工参与，降低人脸图像质量评估的效率。深度学习方法是通过搭建神经网络来回归计算人脸图像的质量分，但是训练神经网络的人脸图像的质量分一般采用人工来打分，凭标注人员的经验和感觉，导致神经网络的评估结果的可信度较低。


技术实现要素：

4.有鉴于此，本技术实施例提供了一种人脸图像质量评估方法、装置及电子设备，以解决现有技术存在的无法全面考虑所有影响，降低人脸图像质量评估的效率，神经网络的评估结果的可信度较低的问题。
5.本技术实施例的第一方面，提供了一种人脸图像质量评估方法，包括：获取预训练后的第一人脸识别网络，确定第一人脸识别网络中包含的残差网络的层数；按照预设的随机丢弃概率，对每一层残差网络中的参数进行随机丢弃，在经过至少两次随机丢弃后，得到至少两个丢弃后的第二人脸识别网络；分别利用每个第二人脸识别网络对同一人脸图像进行处理，得到每个第二人脸识别网络对应的特征向量；计算第二人脸识别网络对应的特征向量之间的距离，基于距离以及阈值，对人脸图像的质量进行评估。
6.本技术实施例的第二方面，提供了一种人脸图像质量评估装置，包括：获取模块，被配置为获取预训练后的第一人脸识别网络，确定第一人脸识别网络中包含的残差网络的层数；丢弃模块，被配置为按照预设的随机丢弃概率，对每一层残差网络中的参数进行随机丢弃，在经过至少两次随机丢弃后，得到至少两个丢弃后的第二人脸识别网络；处理模块，被配置为分别利用每个第二人脸识别网络对同一人脸图像进行处理，得到每个第二人脸识别网络对应的特征向量；评估模块，被配置为计算第二人脸识别网络对应的特征向量之间的距离，基于距离以及阈值，对人脸图像的质量进行评估。
7.本技术实施例的第三方面，提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述方法的步骤。
8.本技术实施例采用的上述至少一个技术方案能够达到以下有益效果：
9.通过获取预训练后的第一人脸识别网络，确定第一人脸识别网络中包含的残差网
络的层数；按照预设的随机丢弃概率，对每一层残差网络中的参数进行随机丢弃，在经过至少两次随机丢弃后，得到至少两个丢弃后的第二人脸识别网络；分别利用每个第二人脸识别网络对同一人脸图像进行处理，得到每个第二人脸识别网络对应的特征向量；计算第二人脸识别网络对应的特征向量之间的距离，基于距离以及阈值，对人脸图像的质量进行评估。本技术利用随机丢弃后得到的第二人脸识别网络对同一人脸图像进行处理，并基于人脸图像的特征向量之间的距离评估人脸图像质量，不仅能全面考虑所有影响，还提升了人脸图像质量评估的效率，评估结果的可信度高，评估过程快速方便。
附图说明
10.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
11.图1是本技术实施例提供的人脸图像质量评估方法的流程示意图；
12.图2是本技术实施例提供的鲁棒回归网络的训练流程示意图；
13.图3是本技术实施例提供的人脸图像质量评估装置的结构示意图；
14.图4是本技术实施例提供的电子设备的结构示意图。
具体实施方式
15.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
16.在实际工业生产中，评估人脸图像的质量非常重要。一般地，一个人脸系统的输入是随机的，存在多种噪声(如模糊、遮挡、光照等)，也存在各种人脸攻击。如果不加入人脸质量控制环节，就会造成后续人脸识别、比对、检索等任务中的错误识别、错误接受。
17.目前的人脸图像质量评估方法，分为手工法和深度学习法。手工法对人脸图像特征进行手工设计，如计算一张人脸图像的模糊度和对比度，计算人脸图像的眼间距离等，这种方法往往只考虑单一因素的影响，无法全面考虑所有影响，并且需要人工参与，降低人脸图像质量评估的效率。深度学习方法是通过搭建神经网络来回归计算人脸图像的质量分，但是训练神经网络的人脸图像的质量分一般采用人工来打分，凭标注人员的经验和感觉，导致神经网络的评估结果的可信度较低。
18.有鉴于此，本技术实施例为解决人脸图像的质量评估问题，通过对第一人脸识别网络中的每一层残差网络中的参数进行随机丢弃，得到多个丢弃后的第二人脸识别网络，利用每个第二人脸识别网络分别对同一人脸图像进行处理，得到人脸图像对应的特征向量，最后通过计算两两特征向量之间的距离，根据距离以及预设的阈值，实现人脸图像的质量评估。下面结合附图以及具体实施例对本技术技术方案的内容进行详细描述。
19.图1是本技术实施例提供的人脸图像质量评估方法的流程示意图。图1的人脸图像质量评估方法可以由服务器执行。如图1所示，该人脸图像质量评估方法具体可以包括：
20.s101，获取预训练后的第一人脸识别网络，确定第一人脸识别网络中包含的残差网络的层数；
21.s102，按照预设的随机丢弃概率，对每一层残差网络中的参数进行随机丢弃，在经过至少两次随机丢弃后，得到至少两个丢弃后的第二人脸识别网络；
22.s103，分别利用每个第二人脸识别网络对同一人脸图像进行处理，得到每个第二人脸识别网络对应的特征向量；
23.s104，计算第二人脸识别网络对应的特征向量之间的距离，基于距离以及阈值，对人脸图像的质量进行评估。
24.具体地，本技术实施例的第一人脸识别网络可以采用任意常规的人脸识别神经网络，人脸识别神经网络的结构中包含多层残差网络，例如：可以将人脸识别神经网络的结构设计成经典的50层残差网络(ir50)，人脸识别神经网络的输入是一张被剪裁后的人脸图像，比如将原始人脸图像裁剪为宽高(112，112)的人脸图片，人脸识别神经网络的输出可以是一个512维度的特征向量。
25.进一步地，本技术实施例的随机丢弃是指按照预设的随机丢弃概率对人脸识别神经网络(此处为第一人脸识别网络)中的每一层残差网络所包含的参数进行随机丢弃，需要说明的是，每一层残差网络对应的随机丢弃概率可以是不同的，当全部的残差网络执行完一次随机丢弃后，就得到一个随机丢弃后的人脸识别神经网络(即第二人脸识别网络)，如此重复操作几次，就可以得到若干个第二人脸识别网络。
26.在一些实施例中，按照预设的随机丢弃概率，对每层残差网络中的参数进行随机丢弃，包括：为第一人脸识别网络中的每一层残差网络设置随机丢弃概率区间，从随机丢弃概率区间内随机选择一个随机丢弃概率作为对残差网络的参数进行随机丢弃的概率；按照每一层残差网络的随机丢弃概率，对每一层残差网络中的参数进行随机丢弃，得到丢弃后的第二人脸识别网络。
27.具体地，在一种可选的示例中，将第一人脸识别网络记为n1，该网络的结构是经典的50层残差网络(ir50)。即第一人脸识别网络n1中包含50层的残差网络，为每一层残差网络设置一个随机丢弃概率区间，在执行随机丢弃操作时，按照每一层残差网络对应的随机丢弃概率区间，从随机丢弃概率区间中随机选择一个概率值作为随机丢弃的概率，依次对每个残差网络的参数进行随机丢弃，将随机丢弃的参数设置为0，这样就能够得到一个新的第二人脸识别网络。
28.例如：对0-0.5进行50等分，作为每一层的随机丢弃下限；对0.1-0.6进行50等分，作为每一层随机丢弃的上限。也就是说，对于网络第1层，随机丢弃概率从(0，0.1)中随机取，网络第2层，随机丢弃概率从(0.01，0.11)中随机取，
……
以此类推，网络第49层，随机丢弃概率从(0.49，0.59)中随机取，网络第50层，随机丢弃概率从(0.50，0.60)中随机取。
29.采用以上等分设置的原因在于，人脸识别网络越浅，细节信息多而杂，丢弃概率如果大，则对人脸图像质量判定的影响大；人脸识别网络越深，语义越丰富凝练，即使保留较少的特征也可以有很强的判别性，因此可以将随机丢弃概率设置的大一些。
30.在一种具体示例中，按照上述随机丢弃的方式，残差网络的1-50层中每一层都设有随机丢弃的概率，且概率随着层变深而变大。通过将第一人脸识别网络n1随机丢弃100次，得到100个变种网络(即第二人脸识别网络)，之后再将同一张人脸图像，经过这100个变
种网络，便可得到100个特征向量：v1，v2......v
100
。
31.需要说明的是，第一人脸识别网络n1被随机丢弃的次数至少为2次，例如将第一人脸识别网络n1进行一次随机丢弃(dropout)得到第二人脸识别网络n2，再进行另一次随机丢弃可以得到另一个第二人脸识别网络n3。应当理解的是，为了降低计算的复杂度，本技术实施例可以只进行两次随机丢弃，得到两个不同的第二人脸识别网络，基于两个第二人脸识别网络对同一人脸图像进行处理得到的两个特征向量，计算这两个特征向量之间的距离，利用距离来评估人脸图像质量的高低。但是应当理解的是，本技术实施例不限于进行两次随机丢弃，超过两次随机丢弃依然成立，比如将第一人脸识别网络n1随机丢弃100次，这样就能得到100个不同的第二人脸识别网络，每个第二人脸识别网络都能够输出一个特征向量，此时需要改为计算两两特征向量之间的距离来评估人脸图像质量。
32.在实际应用中，如果一张人脸图像在第一人脸识别网络n1中是高质量的图像，那么认为该人脸图像是鲁棒的，因此将第一人脸识别网络n1进行一次随机丢弃得到第二人脸识别网络n2，并进行另一次随机丢弃得到第二人脸识别网络n3，同一张人脸图像经过第二人脸识别网络n2和第二人脸识别网络n3处理后得到的两个特征向量应该是一样的，即两个特征向量之间的距离应当接近于0。
33.在一些实施例中，分别利用每个第二人脸识别网络对同一人脸图像进行处理，得到每个第二人脸识别网络对应的特征向量，包括：按照预设的宽度和高度对人脸图像进行裁剪，将裁剪后的人脸图像分别输入到每个第二人脸识别网络中，利用每个第二人脸识别网络分别输出裁剪后的人脸图像对应的特征向量。
34.具体地，在一种可选的示例中，将人脸图像剪裁为宽高(112，112)的人脸图片，将裁剪后的人脸图像表示为img，将人脸识别网络n2和人脸识别网络n3输出的特征向量表示为v1和v2，那么存在以下公式：
35.n2＝dropout(n1)
36.v1＝n2(img)
37.n3＝dropout(n1)
38.v2＝n3(img)
39.其中，n2是通过对n1进行随机丢弃得到的人脸识别网络，同理n3是通过对n1进行另一次随机丢弃得到的人脸识别网络，v1是将裁剪后的人脸图像输入到人脸识别网络n2后，由人脸识别网络n2输出的特征向量，v2是将裁剪后的人脸图像输入到人脸识别网络n3后，由人脸识别网络n3输出的特征向量。
40.需要说明的是，本技术实施例是以两次随机丢弃为例进行说明的，人脸识别网络n1经过两次随机丢弃后得到人脸识别网络n2和人脸识别网络n3，因此每个随机丢弃后的人脸识别网络均输出一个特征向量，但是当随机丢弃的次数更多时，比如将人脸识别网络n1进行100次的随机丢弃，此时得到的第二人脸识别网络的数量为100个，相应的第二人脸识别网络共输出100个特征向量。
41.在一些实施例中，计算第二人脸识别网络对应的特征向量之间的距离，基于距离以及阈值，对人脸图像的质量进行评估，包括：计算第二人脸识别网络输出的特征向量之间的内积，将内积作为特征向量之间的距离，计算全部距离对应的均值和标准差；基于均值和标准差，计算人脸图像的网络鲁棒值，将网络鲁棒值与鲁棒阈值进行比较，根据比较结果评
估人脸图像的质量。
42.具体地，在得到每个第二人脸识别网络输出的特征向量之后，使用内积的方式计算两两特征向量的距离，特征向量的距离计算公式如下：
43.dist＝dot(norm(v1)，norm(v2))
44.其中，dist表示特征向量之间的距离，d0t表示内积，norm表示对特征向量进行归一化。如果一张人脸图像的质量越高，则dist就越小，反之，如果dist越大，则说明该人脸图像的质量就越低，即人脸图像和第一人脸识别网络之间的鲁棒性较差。
45.在一种具体示例中，假设有100个特征向量，两两使用内积计算距离，得到100*99＝9900个距离值。这些距离值构成一个分布，通过以下方式计算这个分布对应的均值和标准差。
46.通过以下公式对100个特征向量相加求平均，得到“图像-网络鲁棒性”的均值：
[0047][0048]
通过以下公式求“图像-网络鲁棒性”的标准差：
[0049][0050]
最终，人脸图像的网络鲁棒值的计算公式为：
[0051]nrob
＝1-0.5*n_mean+0.5*n_std
[0052]
其中，n
rob
越大，即人脸图像的网络鲁棒值越高，均值和标准差越低，表明人脸图像的网络鲁棒性越好，则表明人脸图像质量越高。本技术实施例采用人脸图像的网络鲁棒值来衡量人脸图像在人脸识别网络中的鲁棒性，不仅提升了人脸图像质量评估的效率，并且评估结果的可信度高，评估过程快速方便。
[0053]
在另外的一些实施例中，该方法还包括：将每个人脸图像对应的均值、标准差和网络鲁棒值作为人脸图像的标签，利用人脸图像以及标签组成的训练集，对预先配置的回归网络进行训练，得到训练拟合后的回归网络；其中，回归网络的结构中包含四个阶段，每个阶段分别用于输出一个特征图，在最后一个阶段的后方设置一个鲁棒值回归模块。
[0054]
具体地，在前述实施例中，一张人脸图像要经过100次计算(经过100个第二人脸识别网络的计算)才能最终计算得到网络鲁棒值，导致计算用时太长，为此，本技术实施例通过将上述计算得到的人脸图像的均值、标准差和网络鲁棒值作为标签，利用人脸图像和标签组成的训练集，训练回归网络，使训练拟合后的回归网络能够经过一次计算得到人脸图像的网络鲁棒值，从而减少计算耗时，加快计算速度。
[0055]
进一步地，在一种具体示例中，假设有50万张人脸图像所组成的一批人脸训练数据集。首先利用前述实施例提供的技术方案，分别计算这50万张人脸图像的网络鲁棒的均值和标准差，例如：将每张人脸图像经过随机丢弃后的人脸识别网络计算得到1个特征向量，那么经过100个随机丢弃后的人脸识别网络就能得到100个特征向量，将这100个特征向量两两计算内积求均值、标准差和网络鲁棒值，将均值、标准差和网络鲁棒值作为人脸图像
的标签。
[0056]
进一步地，在一种具体示例中，搭建一个包含18层残差网络(ir18)的回归网络nr，主干架构使用经典的ir18结构，包含四个阶段(stage)，18层网络。回归网络输入的人脸图像宽高为(112，112)，4个阶段的分别输出4个特征图f1，f2，f3，f4，维度分别是(56，56，64)，(28，28，128)，(14，14，256)，(7，7，512)。
[0057]
其中，在上述第4个特征图f4的后面，增加一个鲁棒值回归模块r，用以回归鲁棒数值。网络方差含3个核为3x3的卷积，每个卷积后面会有一个批量归一化(bn)和激活函数(relu)。后接一个全局平均池化，接1个维度为(512，256)的矩阵计算和1个维度为(256，128)，再接一个sigmoid函数(激活函数)。可以得到128个值，从这128个值中，可以计算出它们的均值和标准差，进而得到网络鲁棒值。
[0058]
需要说明的是，在使用人脸训练数据集对回归网络进行训练时，使用了以下两个网络损失函数，两个网络损失函数具体包括以下内容：
[0059]
第一，需要使用n1识别网络来约束nr回归网络第一阶段、第二阶段的输出特征图。即nr回归网络的第一阶段、第二阶段的输出特征图f1，f2，需要和n1识别网络的第一阶段、第二阶段的输出特征图f
1-1
，f
1-2
尽量一致，这就构成了第一个网络损失函数，损失函数为两个网络的特征图相减求绝对值的平均值。公式为：
[0060]
loss1＝mean(|f
1-f
1-1
|)+mean(|f
2-f
1-2
|)
[0061]
第二，回归网络的回归模块r输出的均值、标准差和鲁棒值，均需要和图片的标签做一个smooth_l1损失(即第二损失函数)。公式为：
[0062]
loss2＝smoothl1(mean-mean
′
)+smoothl1(std-std
′
)+smoothl1(rob-rob
′
)
[0063]
其中，上述公式种带撇的为回归模块输出，不带撇的为标签。
[0064]
经过上述训练过程进行训练拟合后，可以得到训练拟合后的回归网络，在推理一张人脸图片时，就不需要再经过100个人脸识别网络进行100次计算，而只需要使用训练拟合后的回归网络，进行一次计算即可得到网络鲁棒值。
[0065]
在一些实施例中，在得到训练拟合后的回归网络之后，该方法还包括：将待评估的人脸图像输入到训练拟合后的回归网络中，利用训练拟合后的回归网络输出待评估的人脸图像对应的网络鲁棒值，将网络鲁棒值与鲁棒阈值进行比较，根据比较结果对待评估的人脸图像的质量进行评估。
[0066]
具体地，将需要评估质量的人脸图像输入到训练拟合后的回归网络(即鲁棒值回归网络)，经过鲁棒值回归网络的计算，即可得到该人脸图像对应的网络鲁棒值，将人脸图像的网络鲁棒值与鲁棒阈值进行比较，从而判断人脸图像的质量。
[0067]
进一步地，在前述实施例中分别提出了两种计算鲁棒值的方式，即第一种是基于人脸识别网络的鲁棒值计算，第二种是利用鲁棒回归网络来直接回归鲁棒值。在接下来的实施例中，本技术实施例将回归网络本身进行鲁棒性衡量。图2是本技术实施例提供的鲁棒回归网络的训练流程示意图。如图2所示，该鲁棒回归网络的训练过程具体可以包括：
[0068]
s201，将回归网络中的每一层残差网络的参数进行随机丢弃，经过多次丢弃后，得到多个丢弃后的回归网络；
[0069]
s202，将同一张人脸图像作为多个丢弃后的回归网络的输入，得到多个丢弃后的回归网络对应的多个网络鲁棒值；
[0070]
s203，计算多个网络鲁棒值对应的丢弃鲁棒均值，基于丢弃鲁棒均值以及原鲁棒值，计算得到质量鲁棒值，将质量鲁棒值作为人脸图像的标签；
[0071]
s204，利用人脸图像以及标签组成的训练集，对预先配置的鲁棒回归网络进行训练，得到训练拟合后的鲁棒回归网络；
[0072]
其中，鲁棒回归网络是在回归网络的最后一个阶段的后方增加一个质量回归模块得到的神经网络，在对鲁棒回归网络进行训练时，将除质量回归模块外的其他部分冻结，仅对质量回归模块进行参数调整。
[0073]
在一个具体示例中，通过对回归网络进行100次随机丢弃(dropout)，那么，同一张人脸图片经过100次不同丢弃后的回归网络，得到的鲁棒值会不同。因为存在信息丢弃，这100次的“鲁棒值”和“原鲁棒值”相比一定是降低的。如果降低不多，则说明整体质量较高，如果降低很多，则说明整体质量较差。
[0074]
经过100次网络回归，得到100个鲁棒值，对鲁棒值求平均，得到“丢弃鲁棒均值”rob2，将原鲁棒值rob1和rob2相减，再由1减去，得到“质量鲁棒值”rob3：
[0075]
rob3＝1-(rob
1-rob2)
[0076]
通过对训练集中的人脸图片计算质量鲁棒值，得到每张人脸图片的质量鲁棒值的标签。
[0077]
进一步地，将质量鲁棒值作为人脸图片的标签，利用人脸图像以及标签组成的训练集，对预先配置的鲁棒回归网络进行训练，鲁棒回归网络与前述实施例的回归网络相比，是通过在回归网络的第四个特征图f4后面，再加一个质量回归模块qr，质量回归模块qr的结构与鲁棒值回归模块r的结构一致，最后再加上一个(128，1)的矩阵，加一个sigmoid函数(激活函数)，得到可以回归出质量鲁棒值的鲁棒回归网络。在对鲁棒回归网络训练时，鲁棒回归网络中的其他部分均要进行冻结，只有qr部分不做冻结，可以对其进行参数调整，训练时的损失函数使用smooth_l1损失(即上述第二损失函数)。
[0078]
在一些实施例中，在得到训练拟合后的鲁棒回归网络之后，该方法还包括：将待评估的人脸图像输入到训练拟合后的鲁棒回归网络中，利用训练拟合后的鲁棒回归网络输出待评估的人脸图像对应的网络鲁棒值和质量鲁棒值；基于网络鲁棒值和质量鲁棒值计算质量分，将质量分与质量分阈值进行比较，根据比较结果对待评估的人脸图像的质量进行评估。
[0079]
具体地，在训练得到了鲁棒值回归网络后，这个鲁棒值回归网络的主干部分由ir18构成，并带两个回归模块r和qr。r输出128个值，可以进一步计算人脸图像的网络鲁棒值q1，qr输出一个值，即人脸图像的质量鲁棒值q2。最终人脸图像的质量分q可以通过以下公式计算：
[0080]
q＝q1*(q2*0.2+0.8)
[0081]
将计算得到的人脸图像对应的质量分q与预设的质量分阈值进行比较，从而判断该人脸图像的质量是否合格。
[0082]
需要说明的是，在以上实施例中，对人脸识别网络或者回归网络的随机丢弃也可以更改为对人脸图像进行随机像素擦除，或者也可以直接丢弃某一层或某几层的残差网络。具体采用何种丢弃方式可根据实际需求确定，上述对人脸识别网络或者回归网络的随机丢弃方式不构成对本技术技术方案的限定。
[0083]
下述为本技术装置实施例，可以用于执行本技术方法实施例。对于本技术装置实施例中未披露的细节，请参照本技术方法实施例。
[0084]
图3是本技术实施例提供的人脸图像质量评估装置的结构示意图。如图3所示，该人脸图像质量评估装置包括：
[0085]
获取模块301，被配置为获取预训练后的第一人脸识别网络，确定第一人脸识别网络中包含的残差网络的层数；
[0086]
丢弃模块302，被配置为按照预设的随机丢弃概率，对每一层残差网络中的参数进行随机丢弃，在经过至少两次随机丢弃后，得到至少两个丢弃后的第二人脸识别网络；
[0087]
处理模块303，被配置为分别利用每个第二人脸识别网络对同一人脸图像进行处理，得到每个第二人脸识别网络对应的特征向量；
[0088]
评估模块304，被配置为计算第二人脸识别网络对应的特征向量之间的距离，基于距离以及阈值，对人脸图像的质量进行评估。
[0089]
在一些实施例中，图3的丢弃模块302为第一人脸识别网络中的每一层残差网络设置随机丢弃概率区间，从随机丢弃概率区间内随机选择一个随机丢弃概率作为对残差网络的参数进行随机丢弃的概率；按照每一层残差网络的随机丢弃概率，对每一层残差网络中的参数进行随机丢弃，得到丢弃后的第二人脸识别网络。
[0090]
在一些实施例中，图3的处理模块303按照预设的宽度和高度对人脸图像进行裁剪，将裁剪后的人脸图像分别输入到每个第二人脸识别网络中，利用每个第二人脸识别网络分别输出裁剪后的人脸图像对应的特征向量。
[0091]
在一些实施例中，图3的评估模块304计算第二人脸识别网络输出的特征向量之间的内积，将内积作为特征向量之间的距离，计算全部距离对应的均值和标准差；基于均值和标准差，计算人脸图像的网络鲁棒值，将网络鲁棒值与鲁棒阈值进行比较，根据比较结果评估人脸图像的质量。
[0092]
在一些实施例中，图3的训练模块305将每个人脸图像对应的均值、标准差和网络鲁棒值作为人脸图像的标签，利用人脸图像以及标签组成的训练集，对预先配置的回归网络进行训练，得到训练拟合后的回归网络；其中，回归网络的结构中包含四个阶段，每个阶段分别用于输出一个特征图，在最后一个阶段的后方设置一个鲁棒值回归模块。
[0093]
在一些实施例中，图3的评估模块304在得到训练拟合后的回归网络之后，将待评估的人脸图像输入到训练拟合后的回归网络中，利用训练拟合后的回归网络输出待评估的人脸图像对应的网络鲁棒值，将网络鲁棒值与鲁棒阈值进行比较，根据比较结果对待评估的人脸图像的质量进行评估。
[0094]
在一些实施例中，图3的训练模块305将回归网络中的每一层残差网络的参数进行随机丢弃，经过多次丢弃后，得到多个丢弃后的回归网络；将同一张人脸图像作为多个丢弃后的回归网络的输入，得到多个丢弃后的回归网络对应的多个网络鲁棒值；计算多个网络鲁棒值对应的丢弃鲁棒均值，基于丢弃鲁棒均值以及原鲁棒值，计算得到质量鲁棒值，将质量鲁棒值作为人脸图像的标签；利用人脸图像以及标签组成的训练集，对预先配置的鲁棒回归网络进行训练，得到训练拟合后的鲁棒回归网络；其中，鲁棒回归网络是在回归网络的最后一个阶段的后方增加一个质量回归模块得到的神经网络，在对鲁棒回归网络进行训练时，将除质量回归模块外的其他部分冻结，仅对质量回归模块进行参数调整。
[0095]
在一些实施例中，图3的评估模块304在得到训练拟合后的鲁棒回归网络之后，将待评估的人脸图像输入到训练拟合后的鲁棒回归网络中，利用训练拟合后的鲁棒回归网络输出待评估的人脸图像对应的网络鲁棒值和质量鲁棒值；基于网络鲁棒值和质量鲁棒值计算质量分，将质量分与质量分阈值进行比较，根据比较结果对待评估的人脸图像的质量进行评估。
[0096]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0097]
图4是本技术实施例提供的电子设备4的结构示意图。如图4所示，该实施例的电子设备4包括：处理器401、存储器402以及存储在该存储器402中并且可以在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
[0098]
示例性地，计算机程序403可以被分割成一个或多个模块/单元，一个或多个模块/单元被存储在存储器402中，并由处理器401执行，以完成本技术。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序403在电子设备4中的执行过程。
[0099]
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，电子设备还可以包括输入输出设备、网络接入设备、总线等。
[0100]
处理器401可以是中央处理单元(central processing unit，cpu)，也可以是其它通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0101]
存储器402可以是电子设备4的内部存储单元，例如，电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备，例如，电子设备4上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。存储器402还可以用于暂时地存储已经输出或者将要输出的数据。
[0102]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模
块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0103]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0104]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0105]
在本技术所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0106]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0107]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0108]
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0109]
以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。