生成对抗网络模型的光照人脸图像识别预处理系统及方法与流程

本发明涉及人脸识别技术领域，具体涉及一种生成对抗网络模型的光照人脸图像识别预处理系统及方法。

背景技术：

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。

目前，人脸识别算法已经得到了广泛的应用，但其性能仍然受光照、视角、遮挡、年龄等多方面因素影响。在众多的影响因素中，光照变化是影响系统识别性能的关键因素之一，由于人脸的3d结构，光照投射出的阴影，会加强或减弱原有的人脸特征。尤其是在夜晚，由于光线不足造成的面部阴影会导致识别率的急剧下降，使得系统难以满足实用要求。同时，理论和实验还证明同一个体因光照不同引起的差异，大于同一光照下不同个体之间的差异。因此，如果能探索到合适的方法对光照过强或过弱的人脸图像进行预处理，对于改善人脸识算法性能具有一定意义。

近年来，研究者们提出了各种预处理算法来解决人脸识别中的光照问题。直方图均衡化、边缘图和利用小波变换方法提取光照不变特征，虽然能满足实时要求，但是大部分不能解决阴影问题，难以取得理想效果，并且更过分依赖参数。光照补偿字典的提出取得了很好的光照处理效果，但是该方法需要严格光照控制下的训练图像。retinex理论中的单尺度retinex算法(ssr)、多尺度retinex算法(msr)和自商图像(sqi)得到广泛应用。这些retinex算法的共同优点是不需要特定光照条件下的训练样本，在无强侧光照时有较高的识别率，但在复杂光照条件下会出现阴影、光晕等现象。基于深度学习的方法一般需要增加数据集的光照多样性来使模型学习到尽可能多的光照特性，从而对各种光照具有更强的抗干扰能力，但这样的方式会增加数据准备阶段的工作量。

技术实现要素：

为解决上述问题，本发明提供了一种生成对抗网络模型的光照人脸图像识别预处理系统及方法，有效避免了现有技术中在复杂光照条件下会出现阴影或光晕这样的现象、会增加数据准备阶段的工作量的缺陷。

为了克服现有技术中的不足，本发明提供了一种生成对抗网络模型的光照人脸图像识别预处理系统及方法的解决方案，具体如下：

一种生成对抗网络模型的光照人脸图像识别预处理系统的方法，包括如下步骤：

步骤1：收集形成训练数据集；

步骤2：根据得到最优的生成对抗网络模型这样的训练目标对训练数据集进行预处理；

步骤3：根据得到最优的生成对抗网络模型这样的训练目标来构造生成对抗网络模型；

步骤4：在训练数据集上对生成对抗网络模型进行训练；

步骤5：使用训练完成的生成对抗网络的最优模型在测试集上验证经过光照预处理后的人脸识别精度。

所述步骤1中的收集训练数据集的方法，包括收集大量的人脸图像数据，并将它们分成两个数据集：数据集a和数据集b，其中数据集a中均为光照不均匀的人脸图片，数据集b中均为光照均匀的人脸图片。

所述训练数据集是没有配对的训练集。

所述步骤2中的根据训练目标对训练数据集进行预处理的方法，包括首先通过人脸检测器检测到每张图片中的人脸框，再通过人脸关键点检测器检测出每张人脸的5个关键点，最后根据检测到的人脸框和关键点对图像进行仿射变换，得到具有相同大小的人脸图像。

所述生成对抗网络模型包括两个生成器和两个判别器，其中生成器用来生成图像以此构成生成模型，并且使其生成的图像不断接近训练数据集中的图像；判别器用来不断提升自己的分辨能力，能够更加准确地判断图像是来自生成器还是来自数据集，这样的结果就构成了判别模型；生成模型和判别模型互相对抗博弈，使生成模型具有更强的学习能力，使判别模型具有更强的判断能力。

所述生成器包括编码器、转换器和解码器，所述编码器和转换器通信连接，所述转换器和解码器通信连接；

所述编码器的编码方法，包括：首先利用卷积神经网络从训练数据集中输入的人脸图像中提取特征，将人脸图像压缩成256个64*64的特征向量构成作为源数据的da域；

所述转换器的转换方法，包括：通过组合从人脸图像中提取出的特征中的不相近特征，将图像在da域中的特征向量转换为作为目标数据的db域中的特征向量；该转换器包括6层reset模块，每个reset模块是一个由两个卷积层构成的神经网络层，能够达到在在转换时同时保留人脸图像的原始图像特征的目标；

所述解码器的解码方法，包括：利用反卷积层完成从db域中的特征向量中还原出低级特征的工作，最后得到的人脸图像为输出的生成图像；

所述判别器用来随机的从训练数据集中的作为原始图像的光照不均匀的人脸图像和生成器输出的生成图像中将一张人脸图像作为输入，并尝试预测其为训练数据集中的原始图像或是生成器的输出图像；所述判别器本身属于卷积网络，需要从人脸图像中提取特征，再通过添加产生一维输出的卷积层来确定提取的特征是否属于特定类别。

所述两个判别器的损失函数分别为式(1)和式(2)所示的l_gan(g,d_y,x,y)和l_gan(f,d_x,y,x)：

l_gan(g,d_y,x,y)＝e_(y～p_data(y))[(d_y(y)-1)^2]+e_(x～p_data(x))[(〖1-d〗_y(g(x)))^2](1)

l_gan(f,d_x,y,x)＝e_(x～p_data(x))[(d_x(x)-1)^2]+e_(y～p_data(y))[(〖1-d〗_x(g(y)))^2](2)

两个生成器的损失函数相加为式(3)所示的l_cyc(g,f)：

l_cyc(g,f)＝e_(x～p_data(x))[‖f(g(x))-x‖_1]+e_(y～p_data(y))[‖g(f(y))-y‖_1](3)

所述对抗网络的最终损失函数为式(4)所示的l(g,〖f,d_x,d〗_y)：l(g,〖f,d_x,d〗_y)＝l_gan(g,d_y,x,y)+l_gan(f,d_x,y,x)+l_cyc(g,f)(4)

其中l为损失函数，x、y为输入的人脸图像数据，，g为x->y的生成器函数，f为y->x的生成器函数，dy为x->y的判别器函数，dx为y->x的判别器函数，e为代价估计，pdata代表真实样本的分布。

所述在训练数据集上对生成对抗网络模型进行训练的方法，包括：将训练的超参数设置为5000轮，批大小batchsize为32，学习率设置为0.001，对输入的数据集中的光照不均匀的人脸图像进行训练，在该生成对抗网络下，分别计算生成器和判别器的损失函数，再利用随机梯度下降算法训练所述生成器和判别器，最终得到最优模型。

一种生成对抗网络模型的光照人脸图像识别预处理系统，包括收集模块、预处理模块、构造模块、训练模块和验证模块；

所述收集模块用来收集形成训练数据集；

所述预处理模块用来根据得到最优的生成对抗网络模型这样的训练目标对训练数据集进行预处理；

所述构造模块用来根据得到最优的生成对抗网络模型这样的训练目标来构造生成对抗网络模型；

所述训练模块用来在训练数据集上对生成对抗网络模型进行训练；

所述验证模块用来使用训练完成的生成对抗网络的最优模型在测试集上验证经过光照预处理后的人脸识别精度；

还包括处理器、储存器、输入输出设备以及总线；

所述处理器、存储器、输入输出设备分别于所述总线相连；

所述输入输出设备包括图像采集设备，所述图像采集设备能够是摄像头，所述图像采集设备用来收集构成训练数据集元素的人脸图像；

所述存储器用于存储所述收集模块、预处理模块、构造模块、训练模块和验证模块；

所述处理器用于执行所述收集模块、预处理模块、构造模块、训练模块和验证模块以执行如下步骤：

步骤1：收集形成训练数据集；

步骤2：根据得到最优的生成对抗网络模型这样的训练目标对训练数据集进行预处理；

步骤3：根据得到最优的生成对抗网络模型这样的训练目标来构造生成对抗网络模型；

步骤4：在训练数据集上对生成对抗网络模型进行训练；

步骤5：使用训练完成的生成对抗网络的最优模型在测试集上验证经过光照预处理后的人脸识别精度。

本发明的有益效果为：

利用训练好的模型来处理一个光照不均匀的人脸数据集，分别将未处理的数据集和处理后的数据集用人脸识别模型进行识别，比较光照处理前后的识别准确率。在千分之一误识别率的条件下，光照处理前的识别精度为44.1％,用本发明方法进行光照处理后的识别精度为56.7％，由此实验结果表明，通过生成对抗模型处理过的图像光照更加均匀，识别精度也大幅提高。

附图说明

图1为本发明的生成对抗网络模型的光照人脸图像识别预处理系统的方法的流程图。

图2为本发明的生成对抗网络中的生成器的结构图。

图3为本发明的生成对抗网络中的判别器的结构图。

具体实施方式

下面将结合附图和实施例对本发明做进一步地说明。

如图1-图3所示，生成对抗网络模型的光照人脸图像识别预处理系统的方法，包括如下步骤：

步骤1：收集形成训练数据集；

在该步骤中，因为在后续生成对抗网络模型的训练需要大量的训练数据，因此需要收集大量的人脸图像数据，并将它们分成两个数据集：数据集a和数据集b，其中数据集a中均为光照不均匀的人脸图片，数据集b中均为光照均匀的人脸图片。

步骤2：根据得到最优的生成对抗网络模型这样的训练目标对训练数据集进行预处理；

所述生成对抗网络模型的光照人脸图像识别预处理系统的方法是在没有配对的训练集上训练模型的。图片的配对相当于已经将特征过滤了一遍，模型很容易学习到需要进行转换的部分，而没有配对的人脸图片中，要么有大量的数据才能充分表明特征，要么训练出来的生成器会把训练集里的异常的东西加到生成结果里。所以在训练之前，需要对训练数据集进行预处理：首先通过人脸检测器检测到每张图片中的人脸框，再通过人脸关键点检测器检测出每张人脸的5个关键点，最后根据检测到的人脸框和关键点对图像进行仿射变换，得到具有相同大小的人脸图像。

步骤3：根据得到最优的生成对抗网络模型这样的训练目标来构造生成对抗网络模型；

步骤4：在训练数据集上对生成对抗网络模型进行训练；

步骤5：使用训练完成的生成对抗网络的最优模型在测试集上验证经过光照预处理后的人脸识别精度。

所述步骤1中的收集训练数据集的方法，包括收集大量的人脸图像数据，并将它们分成两个数据集：数据集a和数据集b，其中数据集a中均为光照不均匀的人脸图片，数据集b中均为光照均匀的人脸图片。

所述训练数据集是没有配对的训练集。

所述步骤2中的根据训练目标对训练数据集进行预处理的方法，包括首先通过人脸检测器检测到每张图片中的人脸框，再通过人脸关键点检测器检测出每张人脸的5个关键点，最后根据检测到的人脸框和关键点对图像进行仿射变换，得到具有相同大小的人脸图像。

所述生成对抗网络模型包括两个生成器和两个判别器，其中生成器用来生成图像以此构成生成模型，并且使其生成的图像不断接近训练数据集中的图像；判别器用来不断提升自己的分辨能力，能够更加准确地判断图像是来自生成器还是来自数据集，这样的结果就构成了判别模型；生成模型和判别模型互相对抗博弈，使生成模型具有更强的学习能力，使判别模型具有更强的判断能力。

所述生成器包括编码器、转换器和解码器，所述编码器和转换器通信连接，所述转换器和解码器通信连接；

所述编码器的编码方法，包括：首先利用卷积神经网络从训练数据集中输入的人脸图像中提取特征，将人脸图像压缩成256个64*64的特征向量构成作为源数据的da域；

所述转换器的转换方法，包括：通过组合从人脸图像中提取出的特征中的不相近特征，将图像在da域中的特征向量转换为作为目标数据的db域中的特征向量；该转换器包括6层reset模块，每个reset模块是一个由两个卷积层构成的神经网络层，能够达到在在转换时同时保留人脸图像的原始图像特征的目标；

所述解码器的解码方法，包括：利用反卷积层完成从db域中的特征向量中还原出低级特征的工作，最后得到的人脸图像为输出的生成图像；

所述判别器用来随机的从训练数据集中的作为原始图像的光照不均匀的人脸图像和生成器输出的生成图像中将一张人脸图像作为输入，并尝试预测其为训练数据集中的原始图像或是生成器的输出图像；所述判别器本身属于卷积网络，需要从人脸图像中提取特征，再通过添加产生一维输出的卷积层来确定提取的特征是否属于特定类别。

所述两个判别器的损失函数分别为式(1)和式(2)所示的l_gan(g,d_y,x,y)和l_gan(f,d_x,y,x)：

l_gan(g,d_y,x,y)＝e_(y～p_data(y))[(d_y(y)-1)^2]+e_(x～p_data(x))[(〖1-d〗_y(g(x)))^2](1)

l_gan(f,d_x,y,x)＝e_(x～p_data(x))[(d_x(x)-1)^2]+e_(y～p_data(y))[(〖1-d〗_x(g(y)))^2](2)

两个生成器的损失函数相加为式(3)所示的l_cyc(g,f)：

l_cyc(g,f)＝e_(x～p_data(x))[‖f(g(x))-x‖_1]+e_(y～p_data(y))[‖g(f(y))-y‖_1](3)

所述对抗网络的最终损失函数为式(4)所示的l(g,〖f,d_x,d〗_y)：l(g,〖f,d_x,d〗_y)＝l_gan(g,d_y,x,y)+l_gan(f,d_x,y,x)+l_cyc(g,f)(4)

其中l为损失函数，x、y为输入的人脸图像数据，，g为x->y的生成器函数，f为y->x的生成器函数，dy为x->y的判别器函数，dx为y->x的判别器函数，e为代价估计，pdata代表真实样本的分布。

所述在训练数据集上对生成对抗网络模型进行训练的方法，包括：将训练的超参数设置为5000轮，批大小batchsize为32，学习率设置为0.001，对输入的数据集中的光照不均匀的人脸图像进行训练，在该生成对抗网络下，分别计算生成器和判别器的损失函数，再利用随机梯度下降算法训练所述生成器和判别器，最终得到最优模型。

一种生成对抗网络模型的光照人脸图像识别预处理系统，包括收集模块、预处理模块、构造模块、训练模块和验证模块；

所述收集模块用来收集形成训练数据集；

所述预处理模块用来根据得到最优的生成对抗网络模型这样的训练目标对训练数据集进行预处理；

所述构造模块用来根据得到最优的生成对抗网络模型这样的训练目标来构造生成对抗网络模型；

所述训练模块用来在训练数据集上对生成对抗网络模型进行训练；

所述验证模块用来使用训练完成的生成对抗网络的最优模型在测试集上验证经过光照预处理后的人脸识别精度；

还包括处理器、储存器、输入输出设备以及总线；

所述处理器、存储器、输入输出设备分别于所述总线相连；

所述输入输出设备包括图像采集设备，所述图像采集设备能够是摄像头，所述图像采集设备用来收集构成训练数据集元素的人脸图像；

所述存储器用于存储所述收集模块、预处理模块、构造模块、训练模块和验证模块；

所述处理器用于执行所述所述收集模块、预处理模块、构造模块、训练模块和验证模块以执行如下步骤：

步骤1：收集形成训练数据集；

步骤2：根据得到最优的生成对抗网络模型这样的训练目标对训练数据集进行预处理；

步骤3：根据得到最优的生成对抗网络模型这样的训练目标来构造生成对抗网络模型；

步骤4：在训练数据集上对生成对抗网络模型进行训练；

步骤5：使用训练完成的生成对抗网络的最优模型在测试集上验证经过光照预处理后的人脸识别精度。

综上所述，本实施例公开了一种生成对抗网络模型的光照人脸图像识别预处理系统的方法，该方法能够在不改变图像结构和特征的基础上明显提升其光照效果，使后续的人脸识别精度大大提高。

以上以用实施例说明的方式对本发明作了表示，本领域的技术人员应当理解，本公开不限于以上表示的实施例，在不偏离本发明的范围的情况下，可以做出各种变化、改变和替换。