人脸图片质量评估方法、装置及存储介质与流程

本发明涉及图片处理技术领域，具体而言，涉及一种人脸图片质量评估方法、装置及存储介质。

背景技术：

人脸识别技术在最近几年飞速发展，有着广阔的应用前景。

在安防领域，视频监控是一个重要的应用场景，真实场景中抓拍的人脸图片往往是复杂多样的，会受到人脸姿态、光照、遮挡等因素影响，人脸图片质量的好坏也参差不齐。另外，在抓拍过程中同一个人也会产生很多张图片，如果对每一张图片都进行识别往往耗时较多，而且如果对误检的非人脸图片或质量差的人脸图片进行识别会引起误报。

因此，如何从一系列人脸图片中选出质量好的图片用于识别，从而提升人脸识别的速度和精度，是目前亟待解决的问题。

技术实现要素：

本发明实施例提供了一种人脸图片质量评估方法、装置及存储介质，以至少解决如何有效准确地进行人脸图片质量评估的问题。

根据本发明的一个实施例，提供了一种人脸图片质量评估方法，包括：获取待评估的目标图片；通过质量评分网络对所述目标图片进行质量评估，其中，所述质量评分网络包括分类部分和回归部分，所述分类部分用于确定所述目标图片对应的图片类别，所述图片类别包括：误检图片和非误检图片，所述回归部分用于确定所述目标图像对应的质量评分。

在至少一个示例性实施例中，通过质量评分网络对所述目标图片进行质量评估之前，所述方法还包括：通过去误检分类网络确定所述目标图片是否为误检图片，其中，所述去误检分类网络是采用残差网络基于第一训练样本图片训练得到的，所述第一训练样本图片包括：检测出的人脸图片和误检出的非人脸图片；在确定所述目标图片不是误检图片的情况下，控制执行通过所述质量评分网络对所述目标图片进行质量评估的操作，否则，将所述目标图片作为误检图片过滤掉。

在至少一个示例性实施例中，通过质量评分网络对所述目标图片进行质量评估包括：通过所述质量评分网络的所述分类部分确定所述目标图片对应的图片类别，以及通过所述质量评分网络的所述回归部分确定所述目标图片对应的质量评分。

在至少一个示例性实施例中，通过质量评分网络对所述目标图片进行质量评估之后，所述方法还包括以下至少之一：在所述目标图片对应的图片类别是误检图片的情况下，将所述目标图片作为误检图片过滤掉；在所述目标图片对应的质量评分低于预定阈值的情况下，将所述目标图片作为误检图片过滤掉。

在至少一个示例性实施例中，所述质量评分网络基于包括多个卷积层、多个池化层和两个全连接层的卷积神经网络，所述两个全连接层中的一个全连接层用于输出所述分类部分的图片类别的结果，另一个全连接层用于通过sigmoid层输出所述回归部分的质量评分的结果，所述分类部分和所述回归部分共享所述卷积神经网络的权重。

在至少一个示例性实施例中，所述质量评分网络中所述分类部分对应的损失函数采用focal_loss；和/或，所述质量评分网络中所述回归部分对应的损失函数采用smoothl1loss。

在至少一个示例性实施例中，所述分类部分是基于第二训练样本图片和所述第二训练样本图片对应的分类标签训练得到的，所述回归部分是基于所述第二训练样本图片和所述第二训练样本图片对应的质量分标签训练得到的。

在至少一个示例性实施例中，所述第二训练样本图片包括以下至少之一：原始图片；对原始图片进行随机裁剪后的图片；对原始图片进行分辨率尺寸缩放后的图片。

在至少一个示例性实施例中，对所述原始图片进行随机裁剪后的图片对应的质量分标签与所述原始图片对应的质量分标签相同。

在至少一个示例性实施例中，对所述原始图片进行分辨率尺寸缩放后的图片对应的质量分标签根据所述原始图片对应的质量分标签和缩放后的分辨率计算。

在至少一个示例性实施例中，对所述原始图片进行分辨率尺寸缩放后的图片对应的质量分标签根据所述原始图片对应的质量分标签和缩放后的分辨率计算包括：根据缩放后的分辨率size’计算缩放因子y=(2x-x²)^1/2，其中，x=size’/m，m为卷积神经网络的数据层输入尺寸；将所述原始图片对应的质量分标签和所述缩放因子y相乘得到对所述原始图片进行分辨率尺寸缩放后的图片对应的质量分标签。

在至少一个示例性实施例中，在待评估的所述目标图片为多张目标图片的情况下，在通过质量评分网络对所述目标图片进行质量评估之后，所述方法还包括：根据所述多张目标图片的质量评估的结果对所述多张图片进行排序，或确定所述多张目标图片中的最优图片。

根据本发明的另一个实施例，提供了一种人脸图片质量评估装置，包括：获取模块，用于获取待评估的目标图片；质量评估模块，用于通过质量评分网络对所述目标图片进行质量评估，其中，所述质量评分网络包括分类部分和回归部分，所述分类部分用于确定所述目标图片对应的图片类别，所述图片类别包括：误检图片和非误检图片，所述回归部分用于确定所述目标图像对应的质量评分。

在至少一个示例性实施例中，所述装置还包括：误检分类模块，用于通过去误检分类网络确定所述目标图片是否为误检图片，其中，所述去误检分类网络是采用残差网络基于第一训练样本图片训练得到的，所述第一训练样本图片包括：检测出的人脸图片和误检出的非人脸图片；过滤模块，用于在确定所述目标图片不是误检图片的情况下，控制执行通过所述质量评分网络对所述目标图片进行质量评估的操作，否则，将所述目标图片作为误检图片过滤掉。

在至少一个示例性实施例中，所述装置还包括：结果确定模块，用于根据所述多张目标图片的质量评估的结果对所述多张图片进行排序，或确定所述多张目标图片中的最优图片。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，由于通过基于分类结合回归的方式进行训练的质量评分网络对所述目标图片进行质量评估，兼顾了去误检和质量评分，而且通过深度训练的方式避免了复杂的特征选择问题，不用考虑各种影响人脸图片质量的因素。因此，可以解决如何有效准确地进行人脸图片质量评估的问题，达到了准确快速地实现人脸图片质量评估的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例1的人脸图片质量评估方法的流程图；

图2是根据本发明实施例2的人脸图片质量评估装置的结构框图；

图3是根据本发明实施例2的人脸图片质量评估装置的详细结构框图一；

图4是根据本发明实施例2的人脸图片质量评估装置的详细结构框图二；

图5是根据本发明实施例4的人脸图片质量评估方法的详细流程图；

图6是根据本发明实施例4的质量评分网络结构的示意图；

图7是根据本发明实施例4的卷积神经网络结构的示意图；

图8是根据本发明实施例4的人脸优选流程的示例图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

实施例1

在本实施例中提供了一种人脸图片质量评估方法，图1是根据本发明实施例1的人脸图片质量评估方法的流程图，如图1所示，该流程包括如下步骤：

步骤s102，获取待评估的目标图片；

步骤s104，通过质量评分网络对所述目标图片进行质量评估，其中，所述质量评分网络包括分类部分和回归部分，所述分类部分用于确定所述目标图片对应的图片类别，所述图片类别包括：误检图片和非误检图片，所述回归部分用于确定所述目标图像对应的质量评分。

通过上述步骤，由于通过基于分类结合回归的方式进行训练的质量评分网络对所述目标图片进行质量评估，兼顾了去误检和质量评分，而且通过深度训练的方式避免了复杂的特征选择问题，不用考虑各种影响人脸图片质量的因素。因此，可以解决如何有效准确地进行人脸图片质量评估的问题，达到了准确快速地实现人脸图片质量评估的效果。

可选地，上述步骤的执行主体可以为监控设备、视频监控平台或服务器等，但不限于此。

在执行质量评估之前，可以先初步进行误检图片的过滤，以减少质量评估的计算资源占用，提高整体质量评估的效率。为此，在至少一个示例性实施例中，通过质量评分网络对所述目标图片进行质量评估之前，所述方法还可以包括：

通过去误检分类网络确定所述目标图片是否为误检图片，其中，所述去误检分类网络是采用残差网络基于第一训练样本图片训练得到的，所述第一训练样本图片包括：检测出的人脸图片和误检出的非人脸图片；

在确定所述目标图片不是误检图片的情况下，控制执行通过所述质量评分网络对所述目标图片进行质量评估的操作，否则，将所述目标图片作为误检图片过滤掉。

也就是说，通过上述方法，在初步确认是误检图片的情况下即可将当前目标图片过滤掉，在初步确认不是误检图片的情况下，可以继续进入质量评分网络进行质量评估。

在至少一个示例性实施例中，步骤s104可以包括：通过所述质量评分网络的所述分类部分确定所述目标图片对应的图片类别，以及通过所述质量评分网络的所述回归部分确定所述目标图片对应的质量评分。通过该方式，可以通过质量评分网络同时进行误检过滤和质量评分，兼顾了去误检和质量评分两种维度的质量评估。

在至少一个示例性实施例中，通过质量评分网络对所述目标图片进行质量评估之后，所述方法还可以包括以下至少之一：

在所述目标图片对应的图片类别是误检图片的情况下，将所述目标图片作为误检图片过滤掉，通过该方法，可以基于所述分类部分进行二次误检过滤，当二次误检确定目标图片是误检图片的情况下，可以将误检图片过滤掉，不再参与排序或图片选优过程，对于非误检图片，可以基于其质量评分确定较优的图片；

在所述目标图片对应的质量评分低于预定阈值的情况下，将所述目标图片作为误检图片过滤掉，通过该方法，可以通过质量评分找到误检图片，从而过滤掉误检图片，不再参与排序或图片选优过程，对于非误检图片，可以基于其质量评分确定较优的图片。

基于上述描述可以看出，质量评分网络的训练准确性影响着质量评估的效果。以下对于质量评分网络的构建进行详细的说明。

在至少一个示例性实施例中，所述质量评分网络基于包括多个卷积层、多个池化层和两个全连接层的卷积神经网络，所述两个全连接层中的一个全连接层用于输出所述分类部分的图片类别的结果，另一个全连接层用于通过sigmoid层输出所述回归部分的质量评分的结果，所述分类部分和所述回归部分共享所述卷积神经网络的权重。通过该网络结构，质量评分网络可以准确实现对目标图片的质量评估。

在至少一个示例性实施例中，所述质量评分网络中所述分类部分对应的损失函数采用focal_loss，从而解决正负样本比例失衡的问题，同时可以减小易分样本的损失权重，增加难分样本的损失权重，使模型在训练时更专注于难分类的样本。

在至少一个示例性实施例中，所述质量评分网络中所述回归部分对应的损失函数采用smoothl1loss，从而便于收敛，让网络对异常值更加鲁棒。

在至少一个示例性实施例中，所述分类部分是基于第二训练样本图片和所述第二训练样本图片对应的分类标签训练得到的，所述回归部分是基于所述第二训练样本图片和所述第二训练样本图片对应的质量分标签训练得到的。

在至少一个示例性实施例中，所述第二训练样本图片包括以下至少之一：

原始图片；

对原始图片进行随机裁剪后的图片，在至少一个示例性实施例中，对所述原始图片进行随机裁剪后的图片对应的质量分标签与所述原始图片对应的质量分标签相同；

对原始图片进行分辨率尺寸缩放后的图片，在至少一个示例性实施例中，对所述原始图片进行分辨率尺寸缩放后的图片对应的质量分标签根据所述原始图片对应的质量分标签和缩放后的分辨率计算。对所述原始图片进行分辨率尺寸缩放后的图片对应的质量分标签根据所述原始图片对应的质量分标签和缩放后的分辨率计算可以包括以下处理：根据缩放后的分辨率size’计算缩放因子y=(2x-x²)^1/2，其中，x=size’/m，m为卷积神经网络的数据层输入尺寸；将所述原始图片对应的质量分标签和所述缩放因子y相乘得到对所述原始图片进行分辨率尺寸缩放后的图片对应的质量分标签。

在至少一个示例性实施例中，在待评估的所述目标图片为多张目标图片的情况下，在通过质量评分网络对所述目标图片进行质量评估之后，所述方法还可以包括：根据所述多张目标图片的质量评估的结果对所述多张图片进行排序，或确定所述多张目标图片中的最优图片。通过该方法，可以基于本实施例中的去误检分类网络和/或质量评分网络实现对目标图片的评估，并对一系列目标图片进行排序或筛选，得到最优的图片。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如rom/ram、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种人脸图片质量评估装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图2是根据本发明实施例2的人脸图片质量评估装置的结构框图，如图2所示，该装置包括：

获取模块22，用于获取待评估的目标图片；

质量评估模块24，用于通过质量评分网络对所述目标图片进行质量评估，其中，所述质量评分网络包括分类部分和回归部分，所述分类部分用于确定所述目标图片对应的图片类别，所述图片类别包括：误检图片和非误检图片，所述回归部分用于确定所述目标图像对应的质量评分。

通过上述装置，由于通过基于分类结合回归的方式进行训练的质量评分网络对所述目标图片进行质量评估，兼顾了去误检和质量评分，而且通过深度训练的方式避免了复杂的特征选择问题，不用考虑各种影响人脸图片质量的因素。因此，可以解决如何有效准确地进行人脸图片质量评估的问题，达到了准确快速地实现人脸图片质量评估的效果。

图3是根据本发明实施例2的人脸图片质量评估装置的详细结构框图一，如图3所示，在至少一个示例性实施例中，所述装置还可以包括：

误检分类模块32，用于通过去误检分类网络确定所述目标图片是否为误检图片，其中，所述去误检分类网络是采用残差网络基于第一训练样本图片训练得到的，所述第一训练样本图片包括：检测出的人脸图片和误检出的非人脸图片；

过滤模块34，用于在确定所述目标图片不是误检图片的情况下，控制执行通过所述质量评分网络对所述目标图片进行质量评估的操作，否则，将所述目标图片作为误检图片过滤掉。

图4是根据本发明实施例2的人脸图片质量评估装置的详细结构框图二，如图4所示，在至少一个示例性实施例中，所述装置还可以包括：

结果确定模块42，用于根据所述多张目标图片的质量评估的结果对所述多张图片进行排序，或确定所述多张目标图片中的最优图片。

本实施例的人脸图片质量评估装置用于实现实施例1的人脸图片质量评估方法，相关的实施细节请参见实施例1的描述，在此不再赘述。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

步骤s1，获取待评估的目标图片；

步骤s2，通过质量评分网络对所述目标图片进行质量评估，其中，所述质量评分网络包括分类部分和回归部分，所述分类部分是基于第二训练样本图片和所述第二训练样本图片对应的分类标签训练得到的，所述回归部分是基于所述第二训练样本图片和所述第二训练样本图片对应的质量分标签训练得到的。

可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器（read-onlymemory，简称为rom）、随机存取存储器（randomaccessmemory，简称为ram）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

实施例4

本实施例的方案要解决的问题是如何避免考虑各种影响人脸图片质量因素，如何保证序列图片中没有误检的非人脸图片，如何增强质量评分的稳定性和合理性。本方案通过深度学习的方法避免了复杂的特征选择问题，不用考虑各种影响人脸图片质量的因素。通过级联网络的方式首先用去误检分类网络进行误检图片的过滤，然后用质量评分网络进行二次误检过滤和质量评估。在质量评分网络中使用分类结合回归的方式进行训练，兼顾了去误检和质量评分。在质量评分网络中加入了随机裁剪的样本，增强了质量评分的稳定性。在质量评分网络中加入了不同级别分辨率的样本进行训练，确保高分辨率的图片质量分高。

图5是根据本发明实施例4的人脸图片质量评估方法的详细流程图。如图5所示，本方法主要涉及去误检分类网络和质量评分网络的训练，以及使用这两个网络组成的级联网络进行去误检和质量评分，最终优选出质量最好的图片。去误检分类网络是使用残差网络训练的，质量评分网络是采用分类结合回归的方式进行训练的，同时加入随机裁剪的样本和不同级别分辨率的样本，增强质量评分的稳定性和合理性。训练完成之后，用这两个网络组成级联网络对序列图片进行处理，首先通过去误检分类网络过滤误检图片，然后通过质量评分网络进行二次误检过滤和质量评分，选出得分最高的图片作为最终优选图片。

（1）去误检分类网络和质量评分网络的训练

本实施例中所使用的去误检分类网络是采用残差网络，训练样本包含检测出的人脸和误检出的非人脸两类，网络经过训练之后具有良好的特征提取能力，能对人脸和非人脸具有一定的区分性。

质量评分网络采用的也是卷积神经网络的方式。图6是根据本发明实施例4的质量评分网络结构的示意图，如图6所示，在网络中采用了分类结合回归的方式，在经过训练之后，分类部分用来区分人脸和误检非人脸，回归部分用来输出质量评分。

质量评分网络的回归部分与分类部分共享卷积神经网络（cnn）权重。图7是根据本发明实施例4的卷积神经网络结构的示意图，如图7所示，本实施例的cnn结构由五个卷积层（conv）、两个池化层(pool)堆叠而成，然后分为两个分支，连接两个全连接层(fc)，一条分支输出类别，另一条分支通过sigmoid层输出质量分，范围为[0,1]。

因为训练样本中人脸和非人脸数量不均匀，并且区分的难易程度也不同。所以质量评分网络的分类部分使用了focal_loss，focal_loss可以解决正负样本比例失衡的问题，同时可以减小易分样本的损失权重，增加难分样本的损失权重，使模型在训练时更专注于难分类的样本。

质量评分网络的回归部分的质量分标签是根据训练样本分为了六个级别的回归分数，0.9代表质量极好的人脸，0.8代表质量较好的人脸，0.6代表质量中的人脸，0.4代表质量较差的人脸，0.3代表质量极差的人脸，0代表误检非人脸。

网络的输入图片尺寸为96*96，回归部分的输入有三个，原始输入、随机裁剪后的输入和多分辨率的输入，实际场景中往往因为检测框的偏移会导致质量分波动较大，训练中加入随机裁剪的输入样本可以模拟检测框的偏移，通过相同的质量分标签保证分数波动不大，增强质量分的稳定性。

实际质量评分过程中，往往会出现大图质量分低而小图的质量分高的问题，所以网络的输入增加了多分辨率的训练样本，并且根据分辨率的大小对其质量分标签进行了缩放，首先对训练样本中分辨率size大于96的随机缩放到20到96之间的大小，对分辨率size在20到96之间的样本随机缩放到20到size之间，对分辨率size小于20的样本缩放到20，缩放之后的样本作为多分辨率样本输入网络。根据图片缩放后的分辨率size’计算分数缩放因子，缩放因子为y=(2x-x²)^1/2，其中x=size’/96（此处96为卷积神经网络的数据层输入尺寸），然后用缩放因子y乘以该人脸图片的标签分数，得到用来回归的缩放后多分辨率分数标签。使用多分辨率标签和样本进行训练能保证尺寸大的图片质量分高，尺寸小的图片质量分低。

质量评分网络的回归部分使用了三个smoothl1loss来监督回归的输出分数和对应标签。smoothl1loss结合了l2loss收敛更快，且在0点有导数，便于收敛的好处。也在边界区域结合了l1loss的好处，让网络对异常值更加鲁棒。

图6网络用于训练，经过三种输入的联合训练，得到cnn（图7网络）的网络层参数。实际测试时，采用图7网络，输入单张原图就可得到图片类别和质量得分。

（2）级联网络的人脸序列优选

图8是根据本发明实施例4的人脸优选流程的示例图。如图8所示，去误检分类网络和质量评分网络训练完成之后，对图片序列首先使用去误检分类网络过滤误检序列和图片，然后使用质量评分网络进行二次误检过滤和质量评分，输出每张图片的质量分，选择质量分最高的作为最终优选图片。

综上，本实施例的方案提出了一种级联网络的方式，可以有效地过滤误检样本并优选出质量最好的图片。质量评分网络采用了分类结合回归的方式，可以同时进行二次过滤和质量评分。质量评分网络中加入了随机裁剪的样本输入，可以增强质量评分的稳定性。质量评分网络中加入了多分辨率的样本输入，可以保证分辨率高的质量评分高。

本方案采用的是深度学习的方法，避免了复杂的特征选择问题，不用考虑各种影响人脸质量的因素，可以通过端到端的训练直接输出质量评分。

本方案中采用了级联网络的方式，通过第一级去误检分类网络过滤误检图片，然后经过第二级质量评分网络进行二次误检过滤和质量评分。可以有效地去除误检的人脸图片，避免误报，同时可以根据质量评分选出质量最好的图片。

本方案的质量评分网络中加入了随机裁剪的输入样本，可以有效地减小因为检测框的偏移导致的质量分数的大幅波动。另外还加入了多分辨率的输入样本，可以保证分辨率高的图片质量得分高。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。