模型训练、残缺人脸图像识别和重建方法、设备及介质与流程

1.本发明实施例涉及人脸识别领域，特别涉及一种模型训练、残缺人脸图像识别和重建方法、设备及介质。


背景技术：

2.随着人脸识别技术的发展和落地，对人脸识别系统的要求也越来越高，比如在戴口罩、戴眼镜、配饰遮挡等情况下的残缺人脸的精准识别。目前对于残缺人脸图像的识别，通常有两种方法：第一种，配合式检测，即首先判断人脸完整性，如检测到人脸信息不完整时，通过提示(左转，右转，低头，抬头，摘下口罩，调整帽子等)，引导人脸调整到符合识别条件的状态再进行识别。第二种，非配合式检测，即构建残缺人脸识别模型，在不同人脸遮挡情况下采集大量残缺人脸图像对残缺人脸识别模型进行训练。
3.但第一种方法需要用户配合调整为无遮挡人脸，不能直接对残缺人脸图像进行识别，适用场景有限。第二种方法数据采集成本高、时间长，且需要多个专用模型协同解决不同遮挡情况下的残缺人脸识别，使得最终得到的识别模型庞大且复杂。


技术实现要素：

4.本发明实施方式的目的在于提供一种模型训练、残缺人脸图像识别和重建方法、设备及介质，采用非残缺人脸图像的掩码图像块序列作为残缺人脸特征提取模型的训练数据，来模拟真实场景中各种人脸缺失情况，避免了大规模数据采集导致的训练时间长、成本高问题，且充分利用了局部图像信息之间的联系，使得得到的残缺人脸特征提取模型也不会过于复杂。
5.为解决上述技术问题，本发明的实施方式提供了一种模型训练方法，包括：对非残缺人脸图像依次进行分块、随机掩码和排序处理，得到所述非残缺人脸图像的掩码图像块序列；构建用于从所述非残缺人脸图像的掩码图像块序列中提取残缺人脸特征的残缺人脸特征提取模型；以所述残缺人脸特征提取模型输出的残缺人脸特征与所述非残缺人脸图像的非残缺人脸特征之间的特征损失构建损失函数，对所述残缺人脸特征提取模型进行训练，其中，所述非残缺人脸特征是基于所述非残缺人脸图像经已训练好的非残缺人脸特征提取模型得到的。
6.为解决上述技术问题，本发明的实施方式提供了一种残缺人脸图像识别方法，包括：对残缺人脸图像依次进行分块和排序处理，形成图像块序列；将所述图像块序列输入到已训练好的残缺人脸特征提取模型中，得到所述残缺人脸图像的残缺人脸特征；其中，所述残缺人脸特征提取模型通过如上所述的模型训练方法获取；根据所获取的所述残缺人脸特征对所述残缺人脸图像进行识别，获取识别结果。
7.本发明的实施方式还提供了一种残缺人脸图像重建方法，包括：获取残缺人脸图像的残缺人脸特征，其中所述残缺人脸特征通过如上实施方式所述的残缺人脸图像识别方法获取；将所述残缺人脸特征输入到已训练好的图像重建模型中，得到重建后的图像块序
列，其中上述实施方式所述的残缺人脸特征提取模型与所述图像重建模型构成了编码器-解码器的模型框架；将所述重建后的图像块序列组合得到所述残缺人脸图像对应的重建后的人脸图像。
8.本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述实施方式提及的模型训练方法，或者能够执行上述实施方式提及的残缺人脸图像识别方法，或者能够执行上述实施方式提及的残缺人脸图像重建方法。
9.本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的模型训练方法，或者能够执行上述实施方式提及的残缺人脸图像识别方法，或者能够执行上述实施方式提及的残缺人脸图像重建方法。
10.本发明实施方式提供的模型训练方法，采用掩码图像块序列作为残缺人脸特征提取模型的输入数据，一方面，充分利用了局部图像信息之间的联系，在一定程度上能避免整个人脸识别系统过于复杂。另一方面，采用掩码图像块序列作为训练数据能模拟真实场景中的人脸缺失、遮挡情况，避免了大规模采集数据造成的训练时间长、成本高的问题。而在训练过程中，以残缺人脸特征提取模型输出的残缺人脸特征与所述非残缺人脸图像的非残缺人脸特征之间的特征损失构建损失函数，对残缺人脸特征提取模型进行训练，也就是说，本技术在已训练好的非残缺人脸特征提取模型的基础上进行训练学习，使得残缺人脸特征提取模型输出的残缺人脸特征最大限度地接近对应的非残缺人脸图像的非残缺人脸特征，从而有效提高了后续残缺人脸识别的准确率、减少了训练时间，且最终得到的残缺人脸特征提取模型也不会过于复杂。通过本技术训练方法得到的残缺人脸特征提取模型进行人脸识别能有效解决多种残缺人脸识别问题。
11.另外，本发明实施方式提供的模型训练方法，对所述非残缺人脸图像依次进行分块、随机掩码和排序处理，得到所述掩码图像块序列，包括：按照预设的图像块尺寸，对所述非残缺人脸图像进行分块，获取非残缺人脸图像块；在所有非残缺人脸图像块中随机选择一个或多个区域作为掩码区域，并在所述掩码区域内按照预设的掩码比例随机选择非残缺人脸图像块进行掩码，获取掩码图像块；对所述掩码图像块按照预设的顺序进行排列，获取掩码图像块序列。在对图像块进行掩码处理时，先随机选择掩码区域、再在掩码区域内随机选择图像块进行掩码处理，如此既能很好的模拟各种情况下的人脸缺失情况，又能快速得到训练数据。
12.另外，本发明实施方式提供的模型训练方法，当所述非残缺人脸特征提取模型采用卷积神经网络结构时，所述非残缺人脸特征提取模型为以非残缺人脸图像作为样本训练得到的第一非残缺人脸特征提取模型；用于获取所述特征损失的所述非残缺人脸特征为将所述非残缺人脸图像输入至所述第一非残缺人脸特征提取模型所得到的非残缺人脸特征；当所述非残缺人脸特征提取模型采用transformer结构时，所述非残缺人脸特征提取模型为以非残缺人脸图像经分块、排序处理后得到的图像块序列作为样本训练得到的第二非残缺人脸特征提取模型；用于获取所述特征损失的所述非残缺人脸特征为将所述非残缺人脸图像经分块、排序处理后得到的图像块序列输入至所述第二非残缺人脸特征提取模型所得
到的非残缺人脸特征。无论非残缺人脸特征提取模型为何种结构，其输入数据均不进行掩码处理。非残缺人脸特征模型是已训练好的，因此残缺人脸特征提取模型的训练过程是在非残缺人脸特征模型的基础上进行学习，即使特征提取模型的输出结果尽可能接近非残缺人脸特征提取模型的输出结果，如此既能减少训练时间和运算量，还能得到结构简单且效果好的特征提取模型。
附图说明
13.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
14.图1是本发明的实施方式提供的模型训练方法的流程图；
15.图2是本发明的实施方式提供的残缺人脸图像识别方法的流程图；
16.图3是本发明的实施方式提供的残缺人脸图像重建方法的流程图；
17.图4是本发明的实施方式的提供的电子设备的结构示意图。
具体实施方式
18.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术所要求保护的技术方案。
19.下面对本实施方式的模型训练的实现细节进行举例说明。以下内容仅为方便理解而提供的实现细节，并非实施本方案的必须。
20.本发明的实施方式涉及一种模型训练方法，如图1所示，包括：
21.步骤101，对非残缺人脸图像依次进行分块、随机掩码和排序处理，得到所述非残缺人脸图像的掩码图像块序列。
22.本实施例中，步骤101具体包括：按照预设的图像块尺寸，对所述非残缺人脸图像进行分块，获取非残缺人脸图像块；在所有非残缺人脸图像块中随机选择一个或多个掩码区域，并在所述掩码区域内按照预设的掩码比例随机选择非残缺人脸图像块进行掩码，获取掩码图像块；对所述掩码图像块按照预设的顺序进行排列，获取掩码图像块序列。
23.另外，本实施例中所述的掩码区域为上脸区域、或下脸区域、或左脸区域、或右脸区域；掩码区域的面积小于等于整个人脸区域面积的百分之四十五。也就是说，上脸区域、下脸区域、左脸区域和右脸区域这些区域的面积不超过整个人脸区域面积的45％。如此设置既能充分模拟各种人脸缺失场景，又不会使得随机生成的掩码图像遮挡了过多人脸关键点造成人脸识别没有意义。当然，掩码区域的形状(圆形、矩形、椭圆形、三角形)和位置可以随意设置，一旦设置好后续训练时则不再变化。进一步地，掩码比例指的是在掩码区域内掩码图像块的数量占所有非残缺人脸图像块的数量的比重；所述掩码比例的设置范围为30％～70％。
24.具体地说，在对非残缺人脸图像进行分块处理时，一个图像块的尺寸要能使图像进行均匀无重叠切块。比如：一个非残缺人脸图像尺寸为224
×
224，设置一个图像块的尺寸
为7
×
7，则将会产生32
×
32＝1024个图像块。对整个非残缺人脸图像块，假设随机选取了一个掩码区域——左脸区域，则在左脸区域内随机选择若干个图像块进行掩码处理。假设左脸区域有100个图像块，掩码比例设置为50％，则将左脸区域内50个图像块进行掩码处理，具体这50个图像块在左脸区域的位置可以随意选择。掩码处理即将需要进行掩码的图像块的像素值设置为0。
25.需要说明的是，以非残缺人脸图像的掩码图像块序列作为训练数据，既可以充分利用局部图像之间的联系，又能模拟真实场景中各种人脸缺失情况。可以理解的是，一个图像块与邻近图像块之间存在高度相关性，因此以图像块序列的形式作为训练数据可以使残缺人脸识别模型充分学习图像块之间的相关性，以提高残缺人脸图像识别的效果。
26.步骤102，构建用于从非残缺人脸图像的掩码图像块序列中提取残缺人脸特征的残缺人脸特征提取模型。
27.本实施例中，构建残缺人脸特征提取模型，在训练时将非残缺人脸图像的掩码图像块序列输入到模型中提取残缺人脸特征。
28.步骤103，以残缺人脸特征提取模型输出的残缺人脸特征与非残缺人脸图像的非残缺人脸特征之间的特征损失构建损失函数，对残缺人脸特征提取模型进行训练，其中，非残缺人脸特征是基于非残缺人脸图像经已训练好的非残缺人脸特征提取模型得到的。
29.本实施例中在训练时，以非残缺人脸特征提取模型提取出的非残缺人脸特征作为残缺人脸特征提取模型的训练导向，使残缺人脸特征提取模型输出的残缺人脸特征最大限度地接近对应的非残缺人脸图像的非残缺人脸特征。简单地说，在训练时对于同一张人脸，获取该人脸的非残缺人脸图像，将非残缺人脸图像输入到已训练好的非残缺人脸特征提取模型中提取非残缺人脸特征，然后将非残缺人脸图像进行分块、随机掩码和排序处理，得到掩码图像块序列，将掩码图像块序列输入到残缺人脸特征提取模型中进行训练，而训练的损失函数则根据非残缺人脸特征与残缺人脸特征之间的距离进行计算。即以已训练好的非残缺人脸特征提取模型作为教师模型，以残缺人脸特征提取模型作为学生模型进行训练学习。
30.也就是说，本技术让残缺人脸特征提取模型在已训练好、非常完备的非残缺人脸特征提取模型的基础上进行学习，如此既能避免残缺人脸特征提取模型过于复杂，又能达到很好地残缺人脸识别效果。
31.在一实施例中，当非残缺人脸特征提取模型采用卷积神经网络结构时，非残缺人脸特征提取模型为以非残缺人脸图像作为样本训练得到的第一非残缺人脸特征提取模型；用于获取所述特征损失的非残缺人脸特征则通过将非残缺人脸图像输入至所述第一非残缺人脸特征提取模型中来获取；当非残缺人脸特征提取模型采用transformer结构时，非残缺人脸特征提取模型为以非残缺人脸图像经分块、排序处理后得到的图像块序列作为样本训练得到的第二非残缺人脸特征提取模型；用于获取所述特征损失的非残缺人脸特征则通过将非残缺人脸图像经分块、排序处理后得到的图像块序列输入至所述第二非残缺人脸特征提取模型中来获取。
32.也就是说，当已训练好的非残缺人脸特征提取模型为卷积神经网络结构时，将非残缺人脸图像输入到已训练好的非残缺人脸特征提取模型中、将所述掩码图像块序列输入到所述残缺人脸特征提取模型中进行训练；当已训练好的非残缺人脸特征提取模型为
transformer结构时，将非残缺人脸图像进行分块排序处理后得到的图像块序列输入到已训练好的非残缺人脸特征提取模型中、将所述掩码图像块序列输入到所述残缺人脸特征提取模型中进行训练。另外，本技术的残缺人脸特征提取模型可以为transformer结构，也可以为其他能处理图像块序列的模型结构。
33.具体地说，无论非残缺人脸特征提取模型为何种结构，其输入数据均不进行掩码处理。当已训练好的非残缺人脸特征提取模型为卷积神经网络结构时，直接将整个非残缺人脸图像输入到已训练好的非残缺人脸特征提取模型中、将所述掩码图像块序列输入到所述残缺人脸特征提取模型中进行训练，训练时使残缺人脸特征提取模型的输出尽可能接近非残缺人脸特征提取模型的输出。当已训练好的非残缺人脸特征提取模型为transformer结构时，将非残缺人脸图像进行分块排序处理后得到的图像块序列输入到已训练好的非残缺人脸特征提取模型中、将所述掩码图像块序列输入到所述残缺人脸特征提取模型中进行训练，此时非残缺人脸图像进行分块排序处理得到的图像块序列与非残缺人脸特征提取模型训练时训练数据的顺序一致。
34.进一步地，本实施例残缺人脸特征提取模型在训练时采用的损失函数为:
[0035][0036]
其中，yi为非残缺人脸特征提取模型输出的非残缺人脸特征，y
ip
为残缺人脸特征提取模型输出的残缺人脸特征，n为训练残缺人脸特征提取模型的样本数据的总数。
[0037]
具体地说，对于同一张非残缺人脸图像来说，根据非残缺人脸特征提取模型的结构对非残缺人脸图像进行相应的处理，然后将处理后的数据输入到已训练好的非残缺人脸特征提取模型中得到非残缺人脸特征，同时，将该非残缺人脸图像经分块、掩码、排序处理后的掩码图像块序列输入到待训练的残缺人脸特征提取模型中，得到残缺人脸特征，在训练过程中，使用上面的损失函数让残缺人脸特征尽可能接近对应的非残缺人脸特征。
[0038]
本发明实施方式提供的模型训练方法，采用掩码图像块序列作为残缺人脸特征提取模型的输入数据，一方面，充分利用了局部图像信息之间的联系，在一定程度上能避免整个人脸识别系统过于复杂。另一方面，采用掩码图像块序列作为训练数据能模拟真实场景中的人脸缺失、遮挡情况，避免了大规模采集数据造成的训练时间长、成本高的问题。而在训练过程中，以残缺人脸特征提取模型输出的残缺人脸特征与所述非残缺人脸图像的非残缺人脸特征之间的特征损失构建损失函数，对残缺人脸特征提取模型进行训练，也就是说，本技术在已训练好的非残缺人脸特征提取模型的基础上进行训练学习，使得残缺人脸特征提取模型输出的残缺人脸特征最大限度地接近对应的非残缺人脸图像的非残缺人脸特征，从而有效提高了后续残缺人脸识别的准确率、减少了训练时间，且最终得到的残缺人脸特征提取模型也不会过于复杂。通过本技术训练方法得到的残缺人脸特征提取模型进行人脸识别能有效解决多种残缺人脸识别问题。
[0039]
本发明的实施方式涉及一种残缺人脸图像识别方法，如图2所示，包括：
[0040]
步骤201，对残缺人脸图像依次进行分块和排序处理，形成图像块序列。
[0041]
本实施例中，残缺人脸图像既可以是物体遮挡造成的部分人脸残缺，也可以是拍摄时镜头遮挡或部分图像不清晰造成的部分人脸残缺，还可以是图像获取传输过程中部分
图像丢失造成的部分人脸缺失。
[0042]
需要说明的是，残缺人脸特征提取模型的训练数据的形式是图像块序列，因此在进行残缺人脸图像识别时，对残缺人脸图像进行分块排序处理获得的图像块序列与训练数据的顺序一致。比如：在训练时对掩码图像块进行排序处理的顺序为：从左到右从上到下，那么在应用时对残缺人脸图像分块后，将图像块以从左到右从上到下的顺序进行排列获取图像块序列。当然，本实施例中训练数据(图像块序列)的排列顺序可以是从左到右从上到下、从左到右从下到上、从上到下从左到右等等各种情况，具体的排列顺序在此不做限定，只要保证应用时的图像块序列的顺序与训练时的图像块序列的顺序一致即可。
[0043]
步骤202，将图像块序列输入到已训练好的残缺人脸特征提取模型中，得到残缺人脸图像的残缺人脸特征；其中，残缺人脸特征提取模型通过如上所述的模型训练方法获取。
[0044]
步骤203，根据所获取的残缺人脸特征对残缺人脸图像进行识别，获取识别结果。
[0045]
具体地说，在提取出残缺人脸特征后，将残缺人脸特征输入到已训练好的残缺人脸分类器中即可识别残缺人脸图像，并获取识别结果。残缺人脸分类器可以是最近邻分类器、线性分类器等等，具体分类器的模型结构在此不做限定。
[0046]
本实施方式提供的残缺人脸图像识别方法，将残缺人脸图像的图像块序列输入到残缺人脸特征提取模型中得到残缺人脸特征，由于本技术的残缺人脸特征提取模型是在已训练好的非残缺人脸特征提取模型的基础上，以非残缺人脸图像的掩码图像块序列作为训练数据进行训练，因此得到残缺人脸特征准确、可靠，从而使得残缺人脸识别的准确率得到有效提高。
[0047]
本发明的实施方式涉及一种残缺人脸图像重建方法，如图3所示，包括：
[0048]
步骤301，获取残缺人脸图像的残缺人脸特征，其中所述残缺人脸特征通过上述实施方式提供的残缺人脸图像识别方法获取。
[0049]
具体地说，将残缺人脸图像进行分块排序处理，获取图像块序列；将图像块序列输入到上述实施方式提供的残缺人脸特征提取模型中，获取残缺人脸特征。
[0050]
步骤302，将残缺人脸特征输入到已训练好的图像重建模型中，得到重建后的图像块序列，其中图像重建模型与上述实施方式所述的残缺人脸特征提取模型构成了编码器-解码器的模型框架。
[0051]
在一实施例中，在步骤302之前还包括：采用如下损失函数对所述图像重建模型进行训练：
[0052][0053]
其中，ω表示训练数据的个数，xm为图像重建模型输出的重建后的图像块序列，ym为与图像重建模型训练数据对应的原始图像块序列。
[0054]
具体地说，在对图像重建模型训练时，采用非残缺人脸图像经分块、掩码、排序处理后获取的掩码图像块序列(模拟残缺人脸图像)，将掩码图像块序列经训练好的残缺人脸特征提取模型输出残缺人脸特征，再将残缺人脸特征输入到待训练的图像重建模型中得到重建后的图像块序列xm，在训练过程中使重建后的图像块序列尽可能接近原始的非残缺人脸图像块序列ym。
[0055]
步骤303，将重建后的图像块序列组合得到残缺人脸图像对应的重建后的人脸图
像。
[0056]
值得一提的是，目前二维人脸的重建或恢复大多基于gan等网络结构，输入整张人脸图像，然后输出重建后的人脸图像。但这种方法基于整张人脸图像的全局特征进行重建，导致忽略了人脸的局部特性，导致重建后的人脸具有大众脸的特征，同时丢失人脸身份的特异性。
[0057]
本发明实施方式提供的残缺人脸图像重建方法，采用残缺人脸特征提取模型获取人脸特征，该残缺人脸特征提取模型在已训练好的非残缺人脸特征提取模型的基础上进行训练学习，并使用蒸馏损失函数进行损失计算，使得得到的残缺人脸特征具有更加真实的身份信息，从而保证了后续重建时得到的人脸图像更加符合真实的人脸样子，而不至于多个不同残缺人脸图像重建后得到了多个相似的平均脸，丢失了身份特异性。
[0058]
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
[0059]
本发明的实施方式涉及一种电子设备，如图4所示，包括：
[0060]
至少一个处理器401；以及，与至少一个处理器401通信连接的存储器402；其中，存储器402存储有可被至少一个处理器401执行的指令，指令被至少一个处理器401执行，以使至少一个处理器401能够执行如上述实施方式提及的模型训练方法，或者能够执行上述实施方式提及的残缺人脸图像识别方法，或者能够执行上述实施方式提及的残缺人脸图像重建方法。
[0061]
该电子设备包括：一个或多个处理器401以及存储器402，图4中以一个处理器401为例。处理器401、存储器402可以通过总线或者其他方式连接，图4中以通过总线连接为例。存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本技术实施方式中策略空间内的各处理策略对应的算法就存储于存储器402中。处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述模型训练方法，或残缺人脸图像识别方法或残缺人脸图像重建方法。
[0062]
存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0063]
一个或者多个模块存储在存储器402中，当被一个或者多个处理器401执行时，如上述实施方式提及的模型训练方法，或者能够执行上述实施方式提及的残缺人脸图像识别方法，或者能够执行上述实施方式提及的残缺人脸图像重建方法。
[0064]
上述产品可执行本技术实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本技术实施方式所提供的方法。
[0065]
本发明的实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程
序被处理器执行时实现上述方法实施例。
[0066]
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0067]
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。