图像质量评估、人脸识别、标签生成及确定方法和装置与流程

本发明涉及图像处理，尤其涉及一种图像质量评估、人脸识别、标签生成及确定方法和装置。

背景技术：

1、人脸识别是基于人脸部特征信息进行身份识别的生物识别技术。在无约束场景下，图像采集设备采集到的大部分人脸图像的质量较低，导致人脸识别的效果较差。对待识别的人脸图像的质量进行评估对于提升人脸识别的效率和准确率具有重要的作用。

2、相关技术中，采用基于无监督的图像质量评估方法来自动生成人脸图像的质量分数。然而，相关技术中的图像质量评估方法未考虑人脸图像本身的质量，质量评估的效果有待提高。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种图像质量评估方法，可以有效提高对人脸图像本身的质量的评估的准确性。

2、本发明的第二个目的在于提出一种标签生成方法。

3、本发明的第三个目的在于提出一种人脸质量评估模型训练方法。

4、本发明的第四个目的在于提出另一种图像质量评估方法。

5、本发明的第五个目的在于提出一种人脸识别方法。

6、本发明的第六个目的在于提出一种标签确定方法。

7、本发明的第七个目的在于提出一种图像质量评估装置。

8、本发明的第八个目的在于提出一种标签生成装置。

9、本发明的第九个目的在于提出一种人脸质量评估模型训练装置。

10、本发明的第十个目的在于提出另一种图像质量评估装置。

11、本发明的第十一个目的在于提出一种人脸识别装置。

12、本发明的第十二个目的在于提出一种标签确定装置。

13、本发明的第十三个目的在于提出一种计算机设备。

14、本发明的第十四个目的在于提出一种芯片。

15、本发明的第十五个目的在于提出一种计算机可读存储介质。

16、为达到上述目的，本发明第一方面实施方式提出了一种图像质量评估方法，所述方法包括：获取针对同一目标对象进行拍摄得到的人脸图像集合；其中，所述人脸图像集合中包括若干待评估人脸图像；确定所述待评估人脸图像的视觉特征评估数据和人脸特征评估数据；其中，所述视觉特征评估数据是基于从所述待评估人脸图像中提取的低层特征确定的，所述低层特征用于描述所述待评估人脸图像的视觉层语义；所述人脸特征评估数据用于描述所述待评估人脸图像的概念层语义的质量情况；根据所述待评估人脸图像的视觉特征评估数据和人脸特征评估数据进行人脸图像质量评估，得到所述待评估人脸图像的人脸图像评估数据。

17、根据本发明的一个实施方式，所述视觉特征评估数据的确定方式，包括：根据所述若干待评估人脸图像的低层特征，得到所述目标对象的代表低层特征；基于所述待评估人脸图像的低层特征和所述代表低层特征进行相似度计算，得到所述待评估人脸图像的所述视觉特征评估数据。

18、根据本发明的一个实施方式，所述人脸特征评估数据是基于从所述待评估人脸图像中提取的高层特征确定的；所述高层特征用于描述所述待评估人脸图像的概念层语义；所述低层特征和所述高层特征的确定方式，包括：将所述待评估人脸图像输入至训练好的人脸识别模型进行特征提取，得到所述低层特征和所述高层特征。

19、根据本发明的一个实施方式，所述人脸特征评估数据包括第一特征评估数据；所述高层特征包括所述人脸识别模型在不同的随机丢弃模式下提取到的多个第一高层特征；所述人脸特征评估数据的确定方式，包括：根据所述多个第一高层特征进行相似度计算，得到所述待评估人脸图像的所述第一特征评估数据；其中，所述第一特征评估数据用于描述所述待评估人脸图像的高层特征的鲁棒性情况。

20、根据本发明的一个实施方式，所述待评估人脸图像是所述若干待评估人脸图像中的指定人脸图像；所述高层特征包括所述人脸识别模型提取到的第二高层特征；所述人脸特征评估数据包括第二特征评估数据；所述人脸特征评估数据的确定方式，包括：根据所述指定人脸图像的第二高层特征和其他人脸图像的第二高层特征进行相似度计算，得到所述指定人脸图像和所述其他人脸图像之间的相似度数据；其中，所述其他人脸图像是所述若干待评估人脸图像中除所述指定人脸图像以外的其他待评估人脸图像；根据所述相似度数据，得到所述指定人脸图像的所述第二特征评估数据；其中，所述第二特征评估数据用于描述所述指定人脸图像的识别性情况。

21、根据本发明的一个实施方式，所述人脸特征评估数据包括第一特征评估数据和第二特征评估数据；所述根据所述待评估人脸图像的视觉特征评估数据和人脸特征评估数据进行人脸图像质量评估，得到所述待评估人脸图像的人脸图像评估数据，包括：根据所述视觉特征评估数据、所述第一特征评估数据和所述第二特征评估数据进行人脸图像质量评估，得到所述人脸图像评估数据。

22、为达到上述目的，本发明第二方面实施方式提出了一种标签生成方法，所述方法包括：获取针对同一目标对象进行拍摄得到的人脸图像集合；其中，所述人脸图像集合中包括若干待标注人脸图像；确定所述待标注人脸图像的视觉特征评估数据和人脸特征评估数据；其中，所述视觉特征评估数据是基于从所述待标注人脸图像中提取的低层特征确定的，所述低层特征用于描述所述待标注人脸图像的视觉层语义；所述人脸特征评估数据用于描述所述待标注人脸图像的概念层语义的质量情况；基于所述视觉特征评估数据和所述人脸特征评估数据进行人脸图像质量评估，得到所述待标注人脸图像的人脸图像评估数据；将所述人脸图像评估数据作为所述待标注人脸图像的标签。

23、为达到上述目的，本发明第三方面实施方式提出了一种人脸质量评估模型训练方法，所述方法包括：构建第一训练样本集；其中，所述第一训练样本集包括若干第一人脸图像样本，所述第一人脸图像样本具有基于权利要求7中的标签生成方法得到的标签；利用所述第一训练样本集对初始评估模型进行训练，得到所述人脸质量评估模型。

24、根据本发明的一个实施方式，所述初始评估模型是在完成训练的人脸识别学生模型的基础上进行迁移得到的；所述人脸识别学生模型对应有人脸识别老师模型；所述人脸质量评估模型训练方法还包括：构建第二训练样本集；其中，所述第一训练样本集包括若干第二人脸图像样本，所述第二人脸图像样本具有对象类别标签；将所述第二人脸图像样本输入至所述人脸识别老师模型进行人脸识别，得到第一人脸识别特征和第一预测类别；将所述第二人脸图像样本输入至所述人脸识别学生模型进行人脸识别，得到第二人脸识别特征和第二预测类别；基于所述第一人脸识别特征、所述第一预测类别、所述第二人脸识别特征、所述第二预测类别和所述对象类别标签确定所述人脸识别学生模型的损失数据；基于所述人脸识别学生模型的损失数据对所述人脸识别学生模型进行参数更新，直至满足模型训练停止条件。

25、为达到上述目的，本发明第四方面实施方式提出了另一种图像质量评估方法，所述方法包括：获取待评估人脸图像；将所述待评估人脸图像输入至通过前述任一项实施方式所述的人脸质量评估模型训练方法训练得到的人脸质量评估模型中，得到所述待评估人脸图像的质量评估数据。

26、为达到上述目的，本发明第五方面实施方式提出了一种人脸识别方法，所述方法包括：获取针对目标对象进行拍摄得到的待识别人脸图像集合；其中，所述待识别人脸图像集合包括若干待识别人脸图像；将所述待识别人脸图像输入至通过前述任一项实施方式所述的人脸质量评估模型训练方法训练得到的人脸质量评估模型中，得到所述待识别人脸图像的质量评估数据；根据所述待识别人脸图像的质量评估数据在所述待识别人脸图像集合中确定质量满足要求的目标人脸图像；基于所述目标人脸图像对所述目标对象进行人脸识别，得到人脸识别结果。

27、为达到上述目的，本发明第六方面实施方式提出了一种标签确定方法，所述方法包括：获取针对指定对象进行拍摄得到的对象图像集合；其中，所述对象图像集合中包括若干待标注对象图像；确定所述待标注对象图像的视觉特征评估数据和对象特征评估数据；其中，所述视觉特征评估数据是基于从所述待标注对象图像中提取的低层特征确定的，所述低层特征用于描述所述待标注对象图像的视觉层语义；所述对象特征评估数据用于描述所述待标注对象图像的概念层语义的质量情况；根据所述待标注对象图像的视觉特征评估数据和对象特征评估数据进行图像质量评估，得到所述待标注对象图像的评估数据，作为所述待标注对象图像的标签。

28、为达到上述目的，本发明第七方面实施方式提出了一种图像质量评估装置，所述装置包括：第一人脸图像集合获取模块，用于获取针对同一目标对象进行拍摄得到的人脸图像集合；其中，所述人脸图像集合中包括若干待评估人脸图像；第一特征评估数据确定模块，用于确定所述待评估人脸图像的视觉特征评估数据和人脸特征评估数据；其中，所述视觉特征评估数据是基于从所述待评估人脸图像中提取的低层特征确定的，所述低层特征用于描述所述待评估人脸图像的视觉层语义；所述人脸特征评估数据用于描述所述待评估人脸图像的概念层语义的质量情况；第一图像评估数据获取模块，用于根据所述待评估人脸图像的视觉特征评估数据和人脸特征评估数据进行人脸图像质量评估，得到所述待评估人脸图像的人脸图像评估数据。

29、根据本发明的一个实施方式，所述第一特征评估数据确定模块，还用于根据所述若干待评估人脸图像的低层特征，得到所述目标对象的代表低层特征；基于所述待评估人脸图像的低层特征和所述代表低层特征进行相似度计算，得到所述待评估人脸图像的所述视觉特征评估数据。

30、根据本发明的一个实施方式，所述人脸特征评估数据是基于从所述待评估人脸图像中提取的高层特征确定的；所述高层特征用于描述所述待评估人脸图像的概念层语义；所述第一特征评估数据确定模块，还用于将所述待评估人脸图像输入至训练好的人脸识别模型进行特征提取，得到所述低层特征和所述高层特征。

31、根据本发明的一个实施方式，所述人脸特征评估数据包括第一特征评估数据；所述高层特征包括所述人脸识别模型在不同的随机丢弃模式下提取到的多个第一高层特征；所述第一特征评估数据确定模块，还用于根据所述多个第一高层特征进行相似度计算，得到所述待评估人脸图像的所述第一特征评估数据；其中，所述第一特征评估数据用于描述所述待评估人脸图像的高层特征的鲁棒性情况。

32、根据本发明的一个实施方式，所述待评估人脸图像是所述若干待评估人脸图像中的指定人脸图像；所述高层特征包括所述人脸识别模型提取到的第二高层特征；所述人脸特征评估数据包括第二特征评估数据；所述第一特征评估数据确定模块，还用于根据所述指定人脸图像的第二高层特征和其他人脸图像的第二高层特征进行相似度计算，得到所述指定人脸图像和所述其他人脸图像之间的相似度数据；其中，所述其他人脸图像是所述若干待评估人脸图像中除所述指定人脸图像以外的其他待评估人脸图像；根据所述相似度数据，得到所述指定人脸图像的所述第二特征评估数据；其中，所述第二特征评估数据用于描述所述指定人脸图像的识别性情况。

33、为达到上述目的，本发明第八方面实施方式提出了一种标签生成装置，所述装置包括：第二人脸图像集合获取模块，用于获取针对同一目标对象进行拍摄得到的人脸图像集合；其中，所述人脸图像集合中包括若干待标注人脸图像；第二特征评估数据确定模块，用于确定所述待标注人脸图像的视觉特征评估数据和人脸特征评估数据；其中，所述视觉特征评估数据是基于从所述待标注人脸图像中提取的低层特征确定的，所述低层特征用于描述所述待标注人脸图像的视觉层语义；所述人脸特征评估数据用于描述所述待标注人脸图像的概念层语义的质量情况；第二图像评估数据获取模块，用于基于所述视觉特征评估数据和所述人脸特征评估数据进行人脸图像质量评估，得到所述待标注人脸图像的人脸图像评估数据；第一人脸图像标签获取模块，用于将所述人脸图像评估数据作为所述待标注人脸图像的标签。

34、为达到上述目的，本发明第九方面实施方式提出了一种人脸质量评估模型训练装置，所述装置包括：第一样本集构建模块，用于构建第一训练样本集；其中，所述第一训练样本集包括若干第一人脸图像样本，所述第一人脸图像样本具有基于前述实施方式中的标签生成方法得到的标签；初始评估模型训练模块，用于利用所述第一训练样本集对初始评估模型进行训练，得到所述人脸质量评估模型。

35、根据本发明的一个实施方式，所述初始评估模型是在完成训练的人脸识别学生模型的基础上进行迁移得到的；所述人脸识别学生模型对应有人脸识别老师模型；所述人脸质量评估模型训练装置还包括：第二样本集构建模块，用于构建第二训练样本集；其中，所述第一训练样本集包括若干第二人脸图像样本，所述第二人脸图像样本具有对象类别标签；第一人脸识别模块，用于将所述第二人脸图像样本输入至所述人脸识别老师模型进行人脸识别，得到第一人脸识别特征和第一预测类别；第二人脸识别模块，用于将所述第二人脸图像样本输入至所述人脸识别学生模型进行人脸识别，得到第二人脸识别特征和第二预测类别；损失数据确定模块，用于基于所述第一人脸识别特征、所述第一预测类别、所述第二人脸识别特征、所述第二预测类别和所述对象类别标签确定所述人脸识别学生模型的损失数据；模型参数更新模块，用于基于所述人脸识别学生模型的损失数据对所述人脸识别学生模型进行参数更新，直至满足模型训练停止条件。

36、为达到上述目的，本发明第十方面实施方式提出了另一种图像质量评估装置，所述装置包括：待评估人脸图像获取模块，用于获取待评估人脸图像；第一质量评估数据获取模块，用于将所述待评估人脸图像输入至通过前述任一项实施方式所述的人脸质量评估模型训练方法训练得到的人脸质量评估模型中，得到所述待评估人脸图像的质量评估数据。

37、为达到上述目的，本发明第十一方面实施方式提出了一种人脸识别装置，所述装置包括：第三人脸图像集合获取模块，用于获取针对目标对象进行拍摄得到的待识别人脸图像集合；其中，所述待识别人脸图像集合包括若干待识别人脸图像；第二质量评估数据获取模块，用于将所述待识别人脸图像输入至通过前述任一项实施方式所述的人脸质量评估模型训练方法训练得到的人脸质量评估模型中，得到所述待识别人脸图像的质量评估数据；目标人脸图像确定模块，用于根据所述待识别人脸图像的质量评估数据在所述待识别人脸图像集合中确定质量满足要求的目标人脸图像；人脸识别结果获取模块，用于基于所述目标人脸图像对所述目标对象进行人脸识别，得到人脸识别结果。

38、为达到上述目的，本发明第十二方面实施方式提出了一种标签确定装置，所述装置包括：对象图像集合获取模块，用于获取针对指定对象进行拍摄得到的对象图像集合；其中，所述对象图像集合中包括若干待标注对象图像；第三特征评估数据确定模块，用于确定所述待标注对象图像的视觉特征评估数据和对象特征评估数据；其中，所述视觉特征评估数据是基于从所述待标注对象图像中提取的低层特征确定的，所述低层特征用于描述所述待标注对象图像的视觉层语义；所述对象特征评估数据用于描述所述待标注对象图像的概念层语义的质量情况；待标注对象图像标签确定模块，用于根据所述待标注对象图像的视觉特征评估数据和对象特征评估数据进行图像质量评估，得到所述待标注对象图像的评估数据，作为所述待标注对象图像的标签。

39、为达到上述目的，本发明第十三方面实施方式提出了一种计算机设备，包括存储器和处理器，所述存储器存储有第一计算机程序，所述处理器执行所述第一计算机程序时实现前述任一项实施方式所述的方法的步骤。

40、为达到上述目的，本发明第十四方面实施方式提出了一种芯片，包括存储单元和处理单元，所述存储单元存储有第二计算机程序，所述处理单元执行所述第二计算机程序时实现前述任一项实施方式所述的图像质量评估方法，和/或，人脸识别方法，和/或，标签确定方法的步骤。

41、为达到上述目的，本发明第十五方面实施方式提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述任一项实施方式所述的方法的步骤。

42、根据本发明提供的多个实施方式，基于从待评估人脸图像中提取的低层特征确定待评估人脸图像的视觉特征评估数据，以及基于从待评估人脸图像中提取的高层特征确定待评估人脸图像的人脸特征评估数据，以通过融合视觉特征评估数据和人脸特征评估数据对待评估人脸图像的质量进行准确全面的描述，从而提高对人脸图像本身的质量的评估的效果。

43、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。