遮挡人脸图像的识别装置的制作方法

本发明涉及图像处理技术领域，具体涉及一种遮挡人脸图像的识别装置。

背景技术：

人脸识别技术是指利用分析比较的计算机技术识别人脸，其已被广泛应用于安检和考勤等应用场景中。但是，当前人脸识别技术主要针对受控条件下的人脸图像，并适用于非受控条件下的人脸图像识别。例如，遮挡人脸图像往往缺少人脸五官等关键信息，同时也没有对应的清晰人脸图像，这将极大地影响人脸识别的准确性。

技术实现要素：

为了解决现有技术中的上述问题，即为了解决如何提高缺少五官等关键信息的遮挡人脸图像的识别准确性的技术问题，本发明提供了一种遮挡人脸图像的识别装置。

本发明中的遮挡人脸图像的识别装置包括生成对抗网络模型，其配置为获取遮挡人脸图像，并对所获取的遮挡人脸图像进行人脸识别；所述生成对抗网络模型包括解耦网络模块、融合网络模块和优化训练模块；

所述解耦网络模块，配置为依据所述生成对抗网络模型所获取的遮挡人脸图像，预测清晰人脸图像和遮挡图像，其中，所述遮挡图像为所述遮挡人脸图像中遮挡图形所在的区域，且该区域未包含人脸信息；

所述融合网络模块，配置为依据所述解耦网络模块所预测的清晰人脸图像和遮挡图像，重建新的遮挡人脸图像；以及，依据所述生成对抗网络模型获取的清晰人脸图像和遮挡图像，预测遮挡人脸图像；所述解耦网络模块，进一步配置为依据所述融合网络模块所预测的遮挡人脸图像，重建新的清晰人脸图像和遮挡图像；

所述优化训练模块，配置为依据预设训练集，并按照下式所示的损失函数L对所述生成对抗网络模型进行网络训练，得到优化后的生成对抗网络模型：

L＝Lgan+λLcyc

其中，所述Lgan为对抗损失函数，所述Lcyc为循环一致性损失函数，所述λ为预设的权重参数；

所述对抗损失函数Lgan＝LGAN1+LGAN2，所述LGAN1为预设训练集中遮挡人脸图像与所述融合网络模块所预测的遮挡人脸图像之间的对抗损失函数，所述LGAN2为所述预设训练集中清晰人脸图像与所述解耦网络模块所预测的清晰人脸图像之间，以及所述预设训练集中遮挡图像与所述解耦网络模块所预测的遮挡图像之间的对抗损失函数；

所述循环一致性损失函数Lcyc＝LCYC1+LCYC2，所述LCY1C为预设训练集中遮挡人脸图像与所述融合网络模块所重建的遮挡人脸图像之间的一致性损失函数，所述LCYC2为所述预设训练集中清晰人脸图像与所述解耦网络模块所预测的清晰人脸图像之间，以及所述预设训练集中遮挡图像与所述解耦网络模块所预测的遮挡图像之间的一致性损失函数。

进一步地，本发明提供的一个优选技术方案为：

所述对抗损失函数LGAN1如下式所示：

其中，所述x、y与z分别为所述预设训练集中的遮挡人脸图像、清晰人脸图像与遮挡图像；所述Pdata(x)、Pdata(y)与Pdata(z)分别为所述图像x、y与z的分布；所述DX表示所述生成对抗网络模型中预设的遮挡人脸图像域判别器，所述E表示期望。

进一步地，本发明提供的一个优选技术方案为：

所述对抗损失函数LGAN2如下式所示：

其中，所述与分别为所述解耦网络模块所重建的清晰人脸图像和遮挡图像；所述DY表示所述生成对抗网络模型中预设的清晰人脸图像域判别器，所述DZ表示所述生成对抗网络模型中预设的遮挡图像域判别器。

进一步地，本发明提供的一个优选技术方案为：

所述一致性损失函数LCYC1如下式所示：

其中，所述x为所述预设训练集中的遮挡人脸图像，所述Pdata(x)为所述图像x的分布；所述G表示解耦网络模块，所述F表示融合网络模块，所述G(x)为解耦网络模块所预测的清晰人脸图像和遮挡图像，所述F(G(x))为融合网络模块所重建的遮挡人脸图像；所述|| ||1表示L1范数，所述E表示期望。

进一步地，本发明提供的一个优选技术方案为：

所述一致性损失函数LCYC2如下式所示：

其中，所述y与z分别为所述预设训练集中的清晰人脸图像与遮挡图像；所述Pdata(y)与Pdata(z)分别为所述图像y与z的分布；所述F(y,)z为融合网络模块所预测的遮挡人脸图像，所述G(F(y,z))为解耦网络模块所重建的清晰人脸图像和遮挡图像。

与最接近的现有技术相比，上述技术方案至少具有以下有益效果：

1、本发明中的生成对抗网络模型包括解耦网络模块和融合网络模块。解耦网络模块可以依据遮挡人脸图像，预测清晰人脸图像和遮挡图像。融合网络模块可以为依据解耦网络模块所预测的清晰人脸图像和遮挡图像，重建新的遮挡人脸图像；以及，依据清晰人脸图像和遮挡图像，预测遮挡人脸图像。基于此，解耦网络模块还可以依据融合网络模块所预测的遮挡人脸图像，重建新的清晰人脸图像和遮挡图像。通过上述解耦网络模块与融合网络模块构成的对抗网络，能够得到清晰的人脸图像，进而提高遮挡人脸图像的识别准确性。

2、本发明中的优化训练模块可以按照预设的目标损失函数对生成对抗网络模型进行网络训练，其中，预设的目标损失函数主要包括两部分损失函数，具体为：第一部分损失函数包括两个损失函数，第一个为预设训练集中遮挡人脸图像与融合网络模块所预测的遮挡人脸图像之间的对抗损失函数，第二个为预设训练集中清晰人脸图像与解耦网络模块所预测的清晰人脸图像之间，以及预设训练集中遮挡图像与解耦网络模块所预测的遮挡图像之间的对抗损失函数。第二部分损失函数也包括两个损失函数，第一个为预设训练集中遮挡人脸图像与融合网络模块所重建的遮挡人脸图像之间的一致性损失函数，第二个为预设训练集中清晰人脸图像与解耦网络模块所预测的清晰人脸图像之间，以及预设训练集中遮挡图像与解耦网络模块所预测的遮挡图像之间的一致性损失函数。

附图说明

图1是本发明实施例中生成对抗网络模型的主要结构示意图；

图2是本发明实施例中遮挡人脸图像、清晰人脸图像与遮挡图像的示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在人脸受到遮挡的情况下，人脸图像中的遮挡部分将会极大地影响人脸识别的准确性。基于此，本发明提供了一种遮挡人脸图像识别装置，该装置基于生成对抗网络，可以从遮挡人脸图像中恢复出清晰的人脸图像，进而根据所恢复的清晰人脸图像进行人脸识别。

下面结合附图，对本发明实施例中的遮挡人脸图像识别装置进行说明。具体地，本实施例中遮挡人脸图像识别装置包括生成对抗网络模型，该生成对抗网络模型可以配置为获取遮挡人脸图像，并对所获取的遮挡人脸图像进行人脸识别。

参阅附图1，图1示例性示出了本实施例中一种生成对抗网络模型的主要结构。如图1所示，本实施例中生成对抗网络模型可以包括解耦网络模块、融合网络模块、遮挡人脸图像域判别器、清晰人脸图像域判别器、遮挡图像域判别器和优化训练模块。

继续参阅附图2，图2示例性示出了本实施例中的遮挡人脸图像、清晰人脸图像与遮挡图像，其中，左侧图像为清晰人脸图像，中间图像为该清晰人脸图像对应的遮挡人脸图像，右侧图像为遮挡人脸图像对应的遮挡图像。

具体地，本实施例中解耦网络模块可以配置为依据生成对抗网络模型所获取的遮挡人脸图像，预测清晰人脸图像和遮挡图像，其中，遮挡图像为遮挡人脸图像中遮挡图形所在的区域，且该区域未包含人脸信息。融合网络模块可以配置为依据解耦网络模块所预测的清晰人脸图像和遮挡图像，重建新的遮挡人脸图像；以及，依据生成对抗网络模型获取的清晰人脸图像和遮挡图像，预测遮挡人脸图像。基于此，解耦网络模块进一步配置为依据融合网络模块所预测的遮挡人脸图像，重建新的清晰人脸图像和遮挡图像。在本实施例的一个优选实施方案中，解耦网络模块与融合网络模块均为全卷积结构，以保持输入输出图像的大小相同。

如图1所示，本实施例中将遮挡人脸图像输入至解耦网络模块可以预测得到清晰人脸图像与遮挡图像，将所预测得到的清晰人脸图像与遮挡图像输入至融合网络模块可以重建得到遮挡人脸图像。同时，将清晰人脸图像与遮挡图像输入至融合网络模块可以预测得到遮挡人脸图像，将所预测得到的遮挡人脸图像输入至解耦网络模块可以重建得到清晰人脸图像与遮挡图像。

本实施例中优化训练模块可以按照预设的目标损失函数对生成对抗网络模型进行网络训练，其中，预设的目标损失函数主要包括两部分损失函数，具体为：第一部分损失函数包括两个损失函数，第一个为预设训练集中遮挡人脸图像与融合网络模块所预测的遮挡人脸图像之间的对抗损失函数，第二个为预设训练集中清晰人脸图像与解耦网络模块所预测的清晰人脸图像之间，以及预设训练集中遮挡图像与解耦网络模块所预测的遮挡图像之间的对抗损失函数。第二部分损失函数也包括两个损失函数，第一个为预设训练集中遮挡人脸图像与融合网络模块所重建的遮挡人脸图像之间的一致性损失函数，第二个为预设训练集中清晰人脸图像与解耦网络模块所预测的清晰人脸图像之间，以及预设训练集中遮挡图像与解耦网络模块所预测的遮挡图像之间的一致性损失函数。

进一步地，本实施例中优化训练模块可以配置为依据预设训练集，并按照下式(1)所示的损失函数L对生成对抗网络模型进行网络训练，得到优化后的生成对抗网络模型：

L＝Lgan+λLcyc (1)

公式(1)中各参数含义为：Lgan为对抗损失函数，Lcyc为循环一致性损失函数，λ为预设的权重参数。

下面对各损失函数进行具体说明。

1、对抗损失函数Lgan

本实施例中对抗损失函数如下式(2)所示：

Lgan＝LGAN1+LGAN2 (2)

公式(2)中各参数含义为：

LGAN1为预设训练集中遮挡人脸图像与融合网络模块所预测的遮挡人脸图像之间的对抗损失函数，LGAN2为预设训练集中清晰人脸图像与解耦网络模块所预测的清晰人脸图像之间，以及预设训练集中遮挡图像与解耦网络模块所预测的遮挡图像之间的对抗损失函数。

具体地，本实施例中对抗损失函数LGAN1如下式(3)所示：

公式(3)中各参数含义为：

x、y与z分别为预设训练集中的遮挡人脸图像、清晰人脸图像与遮挡图像；Pdata(x)、Pdata(y)与Pdata(z)分别为图像x、y与z的分布；DX表示生成对抗网络模型中预设的遮挡人脸图像域判别器，E表示期望。

本实施例中对抗损失函数LGAN2如下式(4)所示：

公式(3)中各参数含义为：

与分别为所述解耦网络模块所重建的清晰人脸图像和遮挡图像；Pdata(x)、Pdata(y)与Pdata(z)分别为图像x、y与z的分布；DY表示生成对抗网络模型中预设的清晰人脸图像域判别器，DZ表示生成对抗网络模型中预设的遮挡图像域判别器，E表示期望。

2、循环一致性损失函数Lcyc

本实施例中循环一致性损失函数如下式(5)所示：

Lcyc＝LCYC1+LCYC2 (5)

公式(5)中各参数含义为：

LCYC1为预设训练集中遮挡人脸图像与融合网络模块所重建的遮挡人脸图像之间的一致性损失函数，LCYC2为预设训练集中清晰人脸图像与解耦网络模块所预测的清晰人脸图像之间，以及预设训练集中遮挡图像与解耦网络模块所预测的遮挡图像之间的一致性损失函数。

具体地，本实施例中一致性损失函数LCYC1如下式(6)所示：

公式(6)中各参数含义为：

x为预设训练集中的遮挡人脸图像，Pdata(x)为图像x的分布；G表示解耦网络模块，F表示融合网络模块，G(x)为解耦网络模块所预测的清晰人脸图像和遮挡图像，F(G(x))为融合网络模块所重建的遮挡人脸图像；|| ||1表示L1范数，E表示期望。

本实施例中一致性损失函数LCYC2如下式(7)所示：

公式(7)中各参数含义为：

y与z分别为预设训练集中的清晰人脸图像与遮挡图像；Pdata(y)与Pdata(z)分别为图像y与z的分布；F(y,z)为融合网络模块所预测的遮挡人脸图像，G(F(y,z))为解耦网络模块所重建的清晰人脸图像和遮挡图像。

基于上述(1)～(7)所示的各损失函数，本实施例中可以按照下述步骤对生成对抗网络模型进行网络训练：

步骤S101：对生成对抗网络模型进行初始化。

具体地，本实施例中对生成对抗网络模型中所有节点的权重参数进行初始化。

步骤S102：计算生成对抗网络模型的前向传播输出结果。

具体地，本实施例中采用无放回地的方式在预设训练集中随机抽取一定数量的图像，并根据当前生成对抗网络模型的权重参数，计算前向传播输出结果。

步骤S103：计算生成对抗网络模型的反向传播的梯度。

具体地，本实施例中根据步骤S102的计算结果，并采用链式求导算法，计算前述计算结果的偏导数。

步骤S104：采用神经网络优化算法(ADAptive Moment estimation，ADAM)，并根据步骤S103的计算结果，对生成对抗网络模型中所有节点的权重参数进行更新。

步骤S105：重复执行步骤S102～步骤S104，直至完成网络训练。本实施例中在重复执行步骤S102时，若预设训练集中的图像已经被抽样完毕，则将所有图像放回预设训练集后重新执行无放回的随机抽取。

本实施例中可以采用MultiPIE数据库中的遮挡人脸图像及其清晰人脸图像与遮挡图像作为训练集和测试集，并按照上述步骤S101～步骤S105对生成对抗网络模型进行网络训练。根据上述测试集对训练好的生成对抗网络模型进行测试，可以得到如下表1所示的测试结果：

表1

表1中TPR为真正类率，FRR为错误拒绝率。同时，表1中第一行表示采用常规人脸识别装置对遮挡人脸图像进行识别得到的准确率，第二行表示采用常规人脸识别装置对清晰人脸图像进行识别得到的准确率，第三行表示采用本发明公开的人脸识别装置对遮挡人脸图像进行去遮挡后，并依据去遮挡得到的清晰人脸图像进行识别得到的准确率。通过表1可以得到，本发明公开的人脸识别装置能够对遮挡人脸图像进行有效地人脸识别。

本领域技术人员可以理解，上述遮挡人脸图像识别装置还包括一些其他公知结构，例如处理器、控制器、存储器等，其中，存储器包括但不限于随机存储器、闪存、只读存储器、可编程只读存储器、易失性存储器、非易失性存储器、串行存储器、并行存储器或寄存器等，处理器包括但不限于CPLD/FPGA、DSP、ARM处理器、MIPS处理器等，为了不必要地模糊本公开的实施例，这些公知的结构未在图1中示出。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包括”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的PC来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。