人脸识别处理方法、装置以及移动终端与流程

本申请涉及图像处理技术领域，尤其涉及一种人脸识别处理方法、装置以及移动终端。

背景技术：

随着便携式终端设备的发展，很多设备都支持人脸识别功能，以手机为例：通过人脸识别进行手机解锁等应用。

当前识别精度最高的人脸识别方法为深度卷积网络。与传统人脸识别方法不同，深度卷积网络的层次更多，这种多层次结构能更好地表达数据中复杂模式和分布，能提取更鲁棒、鉴别性更强的人脸特征。

然而深度卷积网络的运算量和内存消耗也远高于传统方法，一般为10倍以上，因此基于深度卷积网络的人脸识别方法一般运行在高性能pc或服务器上，以网络api的形式供用户调用。然而，受功耗和成本的限制，小型系统的计算能力和存储空间不足以承载基于深度卷积网络的人脸识别算法，人脸识别性能较差。

技术实现要素：

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种人脸识别处理方法，该方法在保证小型系统高效处理速度的同时，提高了对人脸识别的鲁棒性和准确性，提高了处理效率和用户体验度。

本申请的第二个目的在于提出一种人脸识别处理装置。

本申请的第三个目的在于提出一种终端设备。

为达上述目的，本申请第一方面实施例提出了一种人脸识别处理方法，包括：接收待处理的人脸图像，确定与所述人脸图像对应的姿态适应关键点；采用经过训练的卷积网络对所述人脸图像进行卷积处理，其中，网络结构中各类层的数量与终端设备的处理资源相匹配，所述各类层的参数具有姿态鲁棒性；根据所述姿态适应关键点对从所述卷积网络中第一节点输出的第一特征图进行姿态鲁棒处理，生成具有姿态鲁棒响应的第二特征图，并 通过与所述第一节点相邻的第二节点发送回所述卷积网络，以使所述卷积网络根据所述第二特征图提取与所述人脸图像对应的人脸特征。

本申请实施例的人脸识别处理方法，首先接收待处理的人脸图像，确定与所述人脸图像对应的姿态适应关键点，然后采用经过训练的卷积网络对所述人脸图像进行卷积处理，其中，网络结构中各类层的数量与终端设备的处理资源相匹配，所述各类层的参数具有姿态鲁棒性，最后根据所述姿态适应关键点对从所述卷积网络中第一节点输出的第一特征图进行姿态鲁棒处理，生成具有姿态鲁棒响应的第二特征图，并通过与所述第一节点相邻的第二节点发送回所述卷积网络，以使所述卷积网络根据所述第二特征图提取与所述人脸图像对应的人脸特征。由此，实现了在保证小型系统高效处理速度的同时，提高了对人脸识别的鲁棒性和准确性，提高了处理效率和用户体验度。

为达上述目的，本申请第二方面实施例提出了一种人脸识别处理装置，包括：接收模块，用于接收待处理的人脸图像；第一确定模块，用于确定与所述人脸图像对应的姿态适应关键点；卷积处理模块，用于采用经过训练的卷积网络对所述人脸图像进行卷积处理，其中，网络结构中各类层的数量与终端设备的处理资源相匹配，所述各类层的参数具有姿态鲁棒性；姿态鲁棒处理模块，用于根据所述姿态适应关键点对从所述卷积网络中第一节点输出的第一特征图进行姿态鲁棒处理，生成具有姿态鲁棒响应的第二特征图，并通过与所述第一节点相邻的第二节点发送回所述卷积网络，以使所述卷积网络根据所述第二特征图提取与所述人脸图像对应的人脸特征。

本申请实施例的人脸识别处理装置，通过接收模块接收待处理的人脸图像；通过第一确定模块确定与所述人脸图像对应的姿态适应关键点；通过卷积处理模块采用经过训练的卷积网络对所述人脸图像进行卷积处理，其中，网络结构中各类层的数量与终端设备的处理资源相匹配，所述各类层的参数具有姿态鲁棒性；通过姿态鲁棒处理模块根据所述姿态适应关键点对从所述卷积网络中第一节点输出的第一特征图进行姿态鲁棒处理，生成具有姿态鲁棒响应的第二特征图，并通过与所述第一节点相邻的第二节点发送回所述卷积网络，以使所述卷积网络根据所述第二特征图提取与所述人脸图像对应的人脸特征。由此，实现了在保证小型系统高效处理速度的同时，提高了对人脸识别的鲁棒性和准确性，提高了处理效率和用户体验度。

为达上述目的，本申请第三方面实施例提出了一种终端设备，包括：设备本体，设备本体上包括：人脸图像采集装置，以及如上所述的人脸识别处理装置。

本申请实施例的终端设备，通过人脸识别处理装置首先接收待处理的人脸图像，确定与所述人脸图像对应的姿态适应关键点，然后采用经过训练的卷积网络对所述人脸图像进 行卷积处理，其中，网络结构中各类层的数量与终端设备的处理资源相匹配，所述各类层的参数具有姿态鲁棒性，最后根据所述姿态适应关键点对从所述卷积网络中第一节点输出的第一特征图进行姿态鲁棒处理，生成具有姿态鲁棒响应的第二特征图，并通过与所述第一节点相邻的第二节点发送回所述卷积网络，以使所述卷积网络根据所述第二特征图提取与所述人脸图像对应的人脸特征。由此，实现了在保证小型系统高效处理速度的同时，提高了对人脸识别的鲁棒性和准确性，提高了处理效率和用户体验度。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请一个实施例的人脸识别处理方法的流程图；

图2是本申请一个实施例的卷积网络训练过程的流程图；

图3为图2所示的卷积网络训练过程的原理示意图；

图4为采用三维人脸模型定位姿态适应关键点的示意图；

图5为采用局部归一化进行处理的示意图；

图6为根据姿态适应关键点对经过卷积处理的特征图进行池化处理的示意图；

图7是采用经过图3训练的卷积网络的测试流程图；

图8为图7所示的卷积网络测试过程的原理示意图；

图9是本申请另一个实施例的人脸识别处理方法的流程图；

图10是本申请一个实施例的人脸识别处理装置的结构示意图；

图11是本申请另一个实施例的人脸识别处理装置的结构示意图；

图12是本申请另一个实施例的人脸识别处理装置的结构示意图；

图13是本申请另一个实施例的人脸识别处理装置的结构示意图；

图14是本申请另一个实施例的人脸识别处理装置的结构示意图；

图15是本申请一个实施例的终端设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的人脸识别处理方法及装置。

图1是本申请一个实施例的人脸识别处理方法的流程图。

如图1所示，该人脸识别处理方法包括：

步骤101，接收待处理的人脸图像，确定与所述人脸图像对应的姿态适应关键点。

本发明实施例提供的人脸识别处理方法应用于具有人脸识别功能的小型终端设备中，其中，小型终端设备包括：手机、平板电脑、车载设备、安检设备等，人脸识别功能视具体的终端设备和应用环境人而定，例如，手机上的人脸解锁功能，通过验证手机拍摄图像中人脸的身份，然后根据身份识别结果决定是否解锁手机屏幕。

由于受功耗和成本的限制，小型终端设备的计算能力和存储空间不足以承载基于深度卷积网络的高精度人脸识别算法，因此本发明提供一种适用于小型终端设备处理能力的高精度的人脸识别算法，具体如下：

首先，接收待处理的人脸图像，本实施例对待处理的人脸图像的来源不作限制，根据具体应用人脸图像的采集环境和来源不同。例如：在可控环境下采集的人脸图像，以及在不可控环境下采集的人脸图像，采集来源包括：生活照、海报、电视、监控画面、标准照等。

由此可见，人脸图像的采集环境和来源丰富多变，人脸姿态的变化会引起人脸图像的剧烈变化，甚至会导致自遮挡，由此可知，人脸姿态是影响人脸识别性能和精度的重要因素。

因此，在接收到待处理的人脸图像之后，确定与该人脸图像对应的姿态适应关键点，需要说明的是，姿态适应关键点的定位算法模型有很多，可以根据具体的应用场景进行选择，本实施例对此不作限制，比如：关键点检测方法，或者三维人脸建模方法，定位算法模型的输入为待处理的人脸图像，输出为与姿态关键点对应的一组坐标。姿态适应关键点的数量和位置导致分布范围有多种，比如圆形、矩形，可以根据实际应用需要进行调整。

对于每张待处理的人脸图像，都可应用上述定位方式确定对应的姿态适应关键点，由于每个关键点的语义不随姿态的变化而变化，因此，在后续采用卷积网络对人脸图像进行特征提取的时候，将姿态适应关键点嵌入到网络的处理过程中，以提升人脸姿态的鲁棒性。其中，姿态鲁棒性是指人脸识别算法在一定的人脸姿态变化下，能保持人脸的识别性能。

步骤102，采用经过训练的卷积网络对所述人脸图像进行卷积处理，其中，网络结构中各类层的数量与终端设备的处理资源相匹配，所述各类层的参数具有姿态鲁棒性。

在接收待处理的人脸图像之后，采用经过训练的卷积网络对该人脸图像进行卷积处理。其中，需要强调的是，本发明各实施例中涉及的卷积网络的网络结构中各类层的数量与终端设备的处理资源相匹配，网络结构中各类层的参数经过预先训练具有姿态鲁棒性。

第一，针对卷积网络中网络结构中各类层的数量与终端设备的处理资源相匹配进行说明：

具体地，卷积网络是一种多层前向神经网络，其神经元的响应只与输入层的局部区域有关，其在图像和视频分析中应用非常广泛。卷积网络中常见的层模块为：卷积层、局部连接不共享权重层，以及全连接层，具体如下：

卷积层(convlutionallayer)使用多个滤波器对输入信号进行卷积操作，输出多通道信号。

局部连接不共享权重层(locallayer)，简称局部连接层，其和卷积层的结构类似，但是滤波器不共享权重，即在输入信号的不同位置采用不同的滤波器。

全连接层(fullyconnectedlayer)使用权重矩阵和输入向量相乘，得到输出向量。

卷积层和局部连接层的输入和输出均为多通道二维数据，其处理过程会保持图像的二维结构，全连接层的输入和输出均为向量，不考虑图像结构。卷积网络一般包括：至少一个卷积层和/或至少一个局部连接层，以及还包括至少一个全连接层。其中，需要注意的是，卷积层和/或局部连接层的顺序可以调换，如果三个层都包括：卷积层一般在靠近输入的头部使用，局部连接层一般在中部使用，全连接层一般在尾部使用，每种层的数量都可为任意数，具体层数由具体应用决定。

卷积网络中的层数越多对人脸图像的识别精度越高，但计算复杂度和处理速度也更慢。因此，为了使小型终端设备实现高效计算处理，本发明各实施例中涉及的卷积网络的网络结构中各类层的数量与终端设备的处理资源相匹配。

第二，针对卷积网络中网络结构中各类层的参数具有姿态鲁棒性进行说明：

确定好卷积网络中的各类层结构之后，还需要确定各类层中的未知参数，方可使用卷积网络对待处理的人脸图像进行处理，也就是测试过程。其中，网络结构中各类层的参数具体包括：卷积层和局部连接层的参数称为滤波器，全连接层的参数称为投影矩阵。

由于与运行在高性能pc或服务器上的深度卷积网络中各类层的数量相比，本发明实施例中卷积网络中各类层的数量大大减少。为了既保持深度卷积网络的识别性能，又降低其运算和存储复杂度以适用于小型终端设备，本实施例提供的卷积网络预先经过姿态鲁棒性训练，使各类层的参数具有姿态鲁棒性。

卷积网络的训练集一般由两部分组成：人脸图像和人脸类别标签，每张人脸图像对应一个人脸类别标签，类别标签表示人的身份。通过比较类别标签可确定哪些图像来自同一人，哪些图像来自不同人。

在具有姿态鲁棒性的训练过程中，将人脸图像训练集和人脸类别标签训练集从网络的 首尾输入，并且将对人脸图像的姿态鲁棒处理方式嵌入到卷积网络中，通过前向传播和反向传播来优化预设的目标函数。其中，目标函数是网络训练过程中的引擎，本发明不限定目标函数的具体形式。从而确定卷积网络中各类层的参数，这些参数具有姿态鲁棒性。需要强调的是，卷积网络在训练过程中采用的网络结构和嵌入的姿态鲁棒处理方式，与在后续的测试过程中采用的网络结构和嵌入的姿态鲁棒处理方式一致。

步骤103，根据所述姿态适应关键点对从所述卷积网络中第一节点输出的第一特征图进行姿态鲁棒处理，生成具有姿态鲁棒响应的第二特征图，并通过与所述第一节点相邻的第二节点发送回所述卷积网络，以使所述卷积网络根据所述第二特征图提取与所述人脸图像对应的人脸特征。

具体地，采用上述描述的经过姿态鲁棒性训练的卷积网络对待处理的人脸图像进行卷积处理之后，首先从卷积网络中的第一节点获取经过卷积处理的第一特征图。

为了将与人脸图像对应的姿态适应关键点嵌入到卷积网络中，根据获取的姿态适应关键点对该第一特征图进行姿态鲁棒处理，即对第一特征图上与姿态适应关键点对应的图像数据进行池化处理，池化是在卷积特征提取的基础上，对每个卷积特征进行取平均等整合处理，继续缩小特征维数的处理过程，进而生成具有姿态鲁棒响应的第二特征图，即第二特征图对人脸的姿态变化具有平移不变性。

最后，将该第二特征图通过与第一节点相邻的第二节点发送回卷积网络，从而卷积网络中的后续节点继续对第二特征图进行处理，从而经过卷积网络中全连接层的处理后输出与该人脸图像对应的向量，即提取出与该人脸图像对应的人脸特征。

需要说明的是，第一节点和第二节点的具体表现形式很多，视具体的网络结构而定，具体说明如下：

方式一，若所述网络结构包括：至少一个卷积层、至少一个局部连接层、以及至少一个全连接层，其中，所述卷积层位于头部、所述局部连接层位于中部、所述全连接层位于尾部，

情况一，当所述第一节点为所述卷积层时，所述第二节点为所述局部连接层，从而根据所述姿态适应关键点对从卷积层输出的第一特征图进行姿态鲁棒处理，生成具有姿态鲁棒响应的第二特征图，并通过局部连接层发送回卷积网络，以使局部连接层对第二特征图继续处理，通过全连接层提取所述人脸特征。

情况二，当所述第一节点为局部连接层时，则所述第二节点为所述全连接层，从而根据姿态适应关键点对从所述局部连接层输出的第一特征图进行姿态鲁棒处理，生成具有姿态鲁棒响应的第二特征图，并通过全连接层发送回卷积网络，以通过所述全连接层对第二 特征图进行处理提取出人脸特征。

方式二，若所述卷积网络包括：至少一个卷积层，以及至少一个全连接层，其中，所述卷积层位于头部、所述全连接层位于尾部；

当所述第一节点为所述卷积层时，则所述第二节点为所述全连接层，从而根据所述姿态适应关键点对从所述卷积层输出的第一特征图进行姿态鲁棒处理，生成具有姿态鲁棒响应的第二特征图，并通过所述全连接层发送回所述卷积网络，以通过所述全连接层对第二特征图进行处理提取出人脸特征。

方式三，若所述卷积网络包括：至少一个局部连接层，以及至少一个全连接层，其中，所述局部连接层位于头部、所述全连接层位于尾部；

当所述第一节点为所述局部连接层时，则所述第二节点为所述全连接层，从而根据所述姿态适应关键点对从所述局部连接层输出的第一特征图进行姿态鲁棒处理，生成具有姿态鲁棒响应的第二特征图，并通过所述全连接层发送回所述卷积网络，以通过全连接层对第二特征图进行处理提取出人脸特征。

综上所述，与运行在高性能pc或服务器上的深度卷积网络相比，本实施例提供的卷积网络结构与终端设备的处理资源相匹配，并且将对人脸姿态的鲁棒处理过程嵌入到卷积网络中，大大减轻了卷积网络在姿态鲁棒性方面的压力，从而能使用更浅的卷积网络结构达到所需的识别率，降低了卷积网络对运算和存储资源的需求，使得卷积网络能快速地、高性能地运行在的资源受限小型终端设备上，如：手机、平板电脑、车载设备等。

本实施例提供的人脸识别处理方法，首先接收待处理的人脸图像，确定与所述人脸图像对应的姿态适应关键点，然后采用经过训练的卷积网络对所述人脸图像进行卷积处理，其中，网络结构中各类层的数量与终端设备的处理资源相匹配，所述各类层的参数具有姿态鲁棒性，最后根据所述姿态适应关键点对从所述卷积网络中第一节点输出的第一特征图进行姿态鲁棒处理，生成具有姿态鲁棒响应的第二特征图，并通过与所述第一节点相邻的第二节点发送回所述卷积网络，以使所述卷积网络根据所述第二特征图提取与所述人脸图像对应的人脸特征。由此，实现了在保证小型系统高效处理速度的同时，提高了对人脸识别的鲁棒性和准确性，提高了处理效率和用户体验度。

进一步地，由于在人脸识别过程中，光照变化会显著影响人脸图像的外观(即像素值)，在不同光照环境下采集的人脸图像具有显著差异，卷积网络对光照变化一般不具有不变性，当输入不同光照的人脸图像时，其输出会发生明显变化，因此，卷积网络的结构越深，对人脸图像的光照鲁棒效果越好。

为了进一步地减轻卷积网络在光照鲁棒性方面的压力，基于上述实施例，本实施例中 提供的卷积网络结构中各类层的参数还具有光照鲁棒性，针对各类层的参数具有姿态鲁棒性进行说明如下：

本实施例提供的经过训练的卷积网络预先经过光照鲁棒性训练，使各类层的参数具有光照鲁棒性。在具有光照鲁棒性的训练过程中，将人脸图像训练集和人脸类别标签训练集从网络的首尾输入，并且将对人脸图像的光照鲁棒处理方式嵌入到卷积网络中，通过前向传播和反向传播来优化预设的目标函数，从而确定卷积网络中各类层的参数，从而这些参数具有光照鲁棒性。需要强调的是，卷积网络在训练过程中采用的网络结构和嵌入的光照鲁棒处理方式，与在后续的测试过程中采用的网络结构和嵌入的光照鲁棒处理方式一致。

卷积网络经过光照鲁棒训练后，就可以对待处理的人脸图像进行识别，即测试过程，具体的过程为：基于上述实施例，在所述接收待处理的人脸图像之后，所述方法还包括：

首先，对所述待处理的人脸图像进行光照鲁棒处理，生成具有光照鲁棒响应的第三特征图，其中，光照鲁棒处理的方式很多，可以根据实际应用需要进行选择，本实施例对此不作限制，例如：采用多尺度窗口对所述人脸图像中的像素进行局部归一化处理；或者，采用局部二值模式lbp对所述人脸图像进行编码处理。

然后，将具有光照鲁棒响应的第三特征图发送给经过训练的卷积网络，从而该卷积网络对第三特征图进行卷积处理。

综上所述，与图1提供的卷积网络相比，本实施例将对人脸光照的鲁棒处理过程也嵌入到卷积网络中，进一步减轻了卷积网络在光照鲁棒性方面的压力，从而能使用更浅的卷积网络结构达到所需的识别率，降低了卷积网络对运算和存储资源的需求，使得卷积网络能更快速地、高性能地运行在的资源受限小型终端设备上，如：手机、平板电脑、车载设备等。

针对上述实施例，卷积网络在训练过程中采用的网络结构，以及对人脸图像采用的姿态鲁棒处理方式和光照鲁棒方式，与测试过程中一致。为了对本实施例提供的卷积网络的训练过程和测试过程，以及嵌入到卷积网络中的姿态鲁棒处理方式和光照鲁棒方式进行更加详细的描述，通过图2和图8所示实施例进行具体说明。

需要注意的是，由于卷积网络的结构方式很多，参见图1中的步骤103所示，后续实施例采用步骤103中方式一中的情况一所示的网络结构为例进行说明，其他网络结构方式的实现过程类似，后续不再赘述。

图2是本申请一个实施例的卷积网络训练过程的流程图，图3为图2所示的卷积网络训练过程的原理示意图，参见图2和图3，本实施例详细说明如何通过姿态和光照鲁棒性训练确定卷积网络中各类层中具有姿态鲁棒性和光照鲁棒性参数的过程，其训练过程具体 包括以下步骤：

步骤201，接收人脸图像训练集和人脸类别标签训练集，并将所述人脸类别标签训练集发送给预设的目标函数；

步骤202，采用三维人脸模型建模定义关键点，将所述关键点映射到所述人脸图像中，确定对应的姿态适应关键点。

姿态也是影响人脸识别性能的重要因素，姿态的变化会引起人脸图像的剧烈变化，而且会导致自遮挡。为了提升卷积网络对姿态的鲁棒性，首先确定与人脸图像训练集中人脸图像匹配的姿态适应关键点。

本实施例采用三维人脸模型生成与人脸图像对应的姿态适应关键点，图4为采用三维人脸模型定位姿态适应关键点的示意图，如图4所示，左侧图为三维人脸模型和关键点，右侧图为三张与人脸图像对应的姿态适应关键点，具体说明如下：

首先，构造一个三维人脸模型，并在该模型上定义了若干关键点；然后使用该模型去拟合输入人脸图像，并将模型上的关键点映射到图像平面上。对于每张人脸，都可得到其相应的姿态适应关键点，每个关键点的语义不随姿态的变化而变化，为方便后续处理，关键点的分布范围一般为矩形，本实施例中关键点为32x32个。

步骤203，采用多尺度窗口对所述人脸图像中的像素进行局部归一化处理，生成具有光照鲁棒响应的第三特征图；

为提升卷积网络对光照的鲁棒性，本实施例采用局部归一化方法对人脸图像进行预处理。图5为采用局部归一化进行处理的示意图，如图5所示，第一行为同一人脸图像在四种光照条件下的人脸图像，第二行为采用局部归一化处理后的人脸图像，具体说明如下：

对人脸图像的每个像素减去局部窗口内的均值，然后除以局部窗口内的标准差，可得到光照鲁棒的表达。参照图4，可以看出处理后的图像比原始图像更为稳定，不易受光线的影响。

需要注意的是，局部归一化的窗口大小会影响其效果，窗口越小对光照越鲁棒，但损失的信息也越多，图5显示了128x128的人脸图像窗口设为15x15时的效果。基于此特性，我们可以将光照变化剧烈区域的窗口设小(如：鼻子)，光照变化平缓区域的窗口设大(如：脸颊)，但这种策略需人工进行较难控制，因此本实施例采取多尺度归一化方案。对于人脸图像，我们使用多种大小的窗口对其进行归一化，然后组合成多通道图像，多通道图像会在进入卷积网络后进行自动组合，其组合系数由网络自动学习得到。这种方案避免了参数的人工设置，更为灵活、可靠。归一化后的人脸图像与原始图像的结构和分辨率一样，因此很容易与卷积网络对接，作为卷积网络的输入。

步骤204，采用经过训练的卷积网络对所述第三特征图进行卷积处理，其中，网络结构中各类层的数量与终端设备的处理资源相匹配，所述各类层的参数具有姿态鲁棒性和光照鲁棒性。

采用经过训练的卷积网络对经过光照处理的第三特征图进行卷积处理，其中，网络结构中各类层的数量与终端设备的处理资源相匹配，所述各类层的参数具有姿态鲁棒性和光照鲁棒性。与图1所示的步骤102相比，区别点是本实施例中卷积网络的输入端为经过局部归一化处理的第三特征图，而图1所示实施例是对没有处理的原图进行卷积处理，具体的卷积处理过程一样，此处不再赘述。

由于后续是对经过卷积的第一特征图上的关键点进行池化处理，因此，关键点之外的人脸图像部分没有进行池化处理，因此，为了进一步地提高处理效率，可以在本步骤中只对人脸图像中的关键点位置进行卷积，因此，在另一个实施例中，可以采用如下方式：

首先，确定人脸图像中与所述姿态适应关键点对应的部分人脸图像；

然后，采用经过训练的卷积网络对所述部分人脸图像进行卷积处理。

由此可见，合并后处理复杂度与输入数据大小无关，仅与关键点的数量相关，能大大降低网络的复杂度。

步骤205，对从所述卷积网络中第一节点输出的第一特征图以所述姿态适应关键点为中心生成局部窗口，并在所述局部窗口内整合数据生成具有姿态鲁棒响应的第二特征图。

图6为根据姿态适应关键点对经过卷积处理的特征图进行池化处理的示意图，如图6所示，第一列为用原图示意，第二列为经过卷积处理输出的第一特征图，第三列为经过池化处理的第二特征图，第一行为应用max和averagepooling作用在第一特征图的均匀网格上生成的第二特征性图。

而第二行对第一特征图中以关键点为中心的局部窗口内进行池化处理生成的第二特征图，从而能同时获得姿态鲁棒性和平移不变性。具体的池化方式为首先以关键点为中心生成局部窗口，然后在局部窗口内整合数据获得鞥为鲁棒的响应，整合方式可为：采样(sampling)、最大值(max)、均值(average)、直方图等。其中采样的速度最快，直方图最慢，最大值和均值适中，可根据速度和性能要求进行选择。例如：人像的姿态变化包括左侧脸和右侧脸，通过第一行的现有方式生成的第二特征图的数据随着姿态变化而变换，通过第二行的现有方式生成的第二特征图的数据不随着姿态变化而变换，具有平移不变性。

步骤206，通过与所述第一节点相邻的第二节点发送回所述卷积网络，并通过与所述第一节点相邻的第二节点发送回所述卷积网络；

步骤207，采用正向传播和反向传播方式优化所述目标函数，确定所述各类层中具有 姿态鲁棒性和光照鲁棒性的参数。

图7是采用经过图3训练的卷积网络的测试流程图，图8为图7所示的卷积网络测试过程的原理示意图，参见图7和图8，本实施例详细说明如何采用上述经过训练的卷积网络进行测试，其测试过程具体包括以下步骤：

如图7所示，可以包括以下步骤：

步骤301，接收待处理的人脸图像。

步骤302，采用三维人脸模型建模定义关键点，将所述关键点映射到所述人脸图像中，确定对应的姿态适应关键点。

步骤303，采用多尺度窗口对所述人脸图像中的像素进行局部归一化处理，生成具有光照鲁棒响应的第三特征图；

步骤304，采用经过训练的卷积网络对所述第三特征图进行卷积处理，其中，网络结构中各类层的数量与终端设备的处理资源相匹配，所述各类层的参数具有姿态鲁棒性和光照鲁棒性。

步骤305，对从所述卷积网络中第一节点输出的第一特征图以所述姿态适应关键点为中心生成局部窗口，在所述局部窗口内整合数据生成具有姿态鲁棒响应的第二特征图。

本实施例中的步骤302至步骤305的具体实施过程参见图2所示实施例中的步骤202至步骤205，区别是处理的对象和目的不同，图2中的处理对象是人脸图像训练集中的人脸图像，目的是确定网络参数，本实施例中的处理对象是待处理的人脸图像，目的是提取人脸特征，具体处理过程类似，此处不再赘述。

步骤306，通过与所述第一节点相邻的第二节点发送回所述卷积网络，以使所述卷积网络根据所述第二特征图提取与所述人脸图像对应的人脸特征。

本实施例提供的人脸识别处理方法，首先接收待处理的人脸图像，采用三维人脸模型建模定义关键点，将所述关键点映射到所述人脸图像中，确定对应的姿态适应关键点，然后采用多尺度窗口对所述人脸图像中的像素进行局部归一化处理，生成具有光照鲁棒响应的第三特征图；进而采用经过训练的卷积网络对所述第三特征图进行卷积处理，其中，网络结构中各类层的数量与终端设备的处理资源相匹配，所述各类层的参数具有姿态鲁棒性和光照鲁棒性，对从所述卷积网络中第一节点输出的第一特征图以所述姿态适应关键点为中心生成局部窗口，在所述局部窗口内整合数据生成具有姿态鲁棒响应的第二特征图，最后，通过与所述第一节点相邻的第二节点发送回所述卷积网络，以使所述卷积网络根据所述第二特征图提取与所述人脸图像对应的人脸特征。由此，实现了在保证小型系统高效处理速度的同时，提高了对人脸识别的鲁棒性和准确性，提高了处理效率和用户体验度。

图9是本申请另一个实施例的人脸识别处理方法的流程图。

如图9所示，本实施例中所述待处理的人脸图像包括：待识别的人脸图像和人脸图像注册集，在步骤103或者步骤306之后，所述方法还包括：

步骤401，从所述卷积网络的输出端获取与所述待识别的人脸图像对应的第一人脸特征，以及与所述人脸图像注册集对应的第二人脸特征；

步骤402，应用度量函数评估所述第一人脸特征和所述第二人脸特征的相似度，输出人脸识别结果。

具体地，待识别人脸图像指人脸识别系统中待确定身份的人脸图像，一般在不可控环境下采集，根据具体应用不同其来源也不同，如：生活照、海报、电视、监控画面等。人脸图像注册集指人脸识别系统数据库中的人脸图像集合，该集一般包含图像对应的身份信息，图像一般在可控环境下采集，且其规模一般较大，如：数万-数千万不等。

在网络的测试(或使用)过程中，网络可被称为特征提取器，作为黑盒子使用，从卷积网络的输出端获取与所述待识别的人脸图像对应的第一人脸特征，以及与所述人脸图像注册集对应的第二人脸特征；

度量函数用于评估两个人脸样本间的相似度。其输入为注册人脸特征和待识别人脸特征，输出为相似度。本发明可采用常用的各类度量函数，如：欧氏距离、余弦相似度等。

所述人脸识别结果具体包括：

当所述人脸图像注册集中的人脸唯一，则根据所述相似度判断是否为同一人；当所述人脸图像注册集中的人脸不唯一，则根据所述相似度判断所述待识别的人脸图像是否在所述人脸图像注册集中。

本实施例提供的人脸识别方法，通过从所述卷积网络的输出端获取与所述待识别的人脸图像对应的第一人脸特征，以及与所述人脸图像注册集对应的第二人脸特征；然后应用度量函数评估所述第一人脸特征和所述第二人脸特征的相似度，输出人脸识别结果。由此，实现了在保证小型系统高效处理速度的同时，提高了对人脸识别的鲁棒性和准确性，提高了处理效率和用户体验度。

为了实现上述实施例，本申请还提出一种人脸识别处理装置。

图10是本申请一个实施例的人脸识别处理装置的结构示意图。

如图10所示，该人脸识别处理装置包括：

接收模块11，用于接收待处理的人脸图像；

第一确定模块12，用于确定与所述人脸图像对应的姿态适应关键点；

卷积处理模块13，用于采用经过训练的卷积网络对所述人脸图像进行卷积处理，其中， 网络结构中各类层的数量与终端设备的处理资源相匹配，所述各类层的参数具有姿态鲁棒性；

姿态鲁棒处理模块14，用于根据所述姿态适应关键点对从所述卷积网络中第一节点输出的第一特征图进行姿态鲁棒处理，生成具有姿态鲁棒响应的第二特征图，并通过与所述第一节点相邻的第二节点发送回所述卷积网络，以使所述卷积网络根据所述第二特征图提取与所述人脸图像对应的人脸特征。

其中，第一节点和第二节点的具体形式视卷积网络的网络结构而定，具体包括：

方式一，所述卷积网络包括：至少一个卷积层、至少一个局部连接层、以及至少一个全连接层，其中，所述卷积层位于头部、所述局部连接层位于中部、所述全连接层位于尾部；

情况一，当所述第一节点为所述卷积层时，则所述第二节点为所述局部连接层；

姿态鲁棒处理模块14，具体用于根据所述姿态适应关键点对从所述卷积层输出的第一特征图进行姿态鲁棒处理，生成具有姿态鲁棒响应的第二特征图，并通过所述局部连接层发送回所述卷积网络，以使所述局部连接层和所述全连接层根据所述第二特征图提取所述人脸特征。

情况二，当所述第一节点为所述局部连接层时，则所述第二节点为所述全连接层；

所述姿态鲁棒处理模块14，具体用于根据所述姿态适应关键点对从所述局部连接层输出的第一特征图进行姿态鲁棒处理，生成具有姿态鲁棒响应的第二特征图，并通过所述全连接层发送回所述卷积网络，以使所述全连接层根据所述第二特征图提取所述人脸特征。

方式二，所述卷积网络包括：至少一个卷积层，以及至少一个全连接层，其中，所述卷积层位于头部、所述全连接层位于尾部；

当所述第一节点为所述卷积层时，则所述第二节点为所述全连接层；

所述姿态鲁棒处理模块14，具体用于根据所述姿态适应关键点对从所述卷积层输出的第一特征图进行姿态鲁棒处理，生成具有姿态鲁棒响应的第二特征图，并通过所述全连接层发送回所述卷积网络，以使所述全连接层根据所述第二特征图提取所述人脸特征。

方式三，所述卷积网络包括：至少一个局部连接层，以及至少一个全连接层，其中，所述局部连接层位于头部、所述全连接层位于尾部，当所述第一节点为所述局部连接层时，则所述第二节点为所述全连接层；

所述姿态鲁棒处理模块14，具体用于根据所述姿态适应关键点对从所述局部连接层输出的第一特征图进行姿态鲁棒处理，生成具有姿态鲁棒响应的第二特征图，并通过所述全连接层发送回所述卷积网络，以使所述全连接层根据所述第二特征图提取所述人脸特征。

需要说明的是，前述对人脸识别处理方法实施例的解释说明也适用于该实施例的人脸识别处理装置，此处不再赘述。

本申请实施例的人脸识别处理装置，通过接收模块接收待处理的人脸图像；通过第一确定模块确定与所述人脸图像对应的姿态适应关键点；通过卷积处理模块采用经过训练的卷积网络对所述人脸图像进行卷积处理，其中，网络结构中各类层的数量与终端设备的处理资源相匹配，所述各类层的参数具有姿态鲁棒性；通过姿态鲁棒处理模块根据所述姿态适应关键点对从所述卷积网络中第一节点输出的第一特征图进行姿态鲁棒处理，生成具有姿态鲁棒响应的第二特征图，并通过与所述第一节点相邻的第二节点发送回所述卷积网络，以使所述卷积网络根据所述第二特征图提取与所述人脸图像对应的人脸特征。由此，实现了在保证小型系统高效处理速度的同时，提高了对人脸识别的鲁棒性和准确性，提高了处理效率和用户体验度。

图11是本申请另一个实施例的人脸识别处理装置的结构示意图，所述各类层的参数还具有光照鲁棒性，如图11所示，基于图10所示实施例，所述装置还包括：

光照鲁棒处理模块15，用于在接收待处理的人脸图像之后，对所述待处理的人脸图像进行光照鲁棒处理，生成具有光照鲁棒响应的第三特征图；

所述光照鲁棒处理模块15，具体用于：

采用多尺度窗口对所述人脸图像中的像素进行局部归一化处理；

或者，

采用局部二值模式lbp对所述人脸图像进行编码处理。

所述卷积处理模块13，具体用于采用经过训练的卷积网络对所述第三特征图进行卷积处理。

需要说明的是，前述对人脸识别处理方法实施例的解释说明也适用于该实施例的人脸识别处理装置，此处不再赘述。

本申请实施例的人脸识别处理装置，将对人脸光照的鲁棒处理过程也嵌入到卷积网络中，进一步减轻了卷积网络在光照鲁棒性方面的压力，从而能使用更浅的卷积网络结构达到所需的识别率，降低了卷积网络对运算和存储资源的需求，使得卷积网络能更快速地、高性能地运行在的资源受限小型终端设备。

图12是本申请另一个实施例的人脸识别处理装置的结构示意图，如图12所示，基于图11所示实施例，所述装置还包括：处理模块16和第二确定模块17，其中，

处理模块16，用于接收人脸图像训练集和人脸类别标签训练集，并将所述人脸类别标签训练集发送给预设的目标函数；

所述第一确定模块12，还用于确定与所述人脸图像训练集中的人脸图像对应的姿态适应关键点；

所述卷积处理模块13，还用于采用未经过训练且具有所述网络结构的卷积网络对所述人脸图像进行卷积处理；

所述姿态鲁棒处理模块14，还用于根据所述姿态适应关键点对从所述卷积网络中第一节点输出的第一特征图进行所述姿态鲁棒处理，生成具有姿态鲁棒响应的第二特征图，并通过与所述第一节点相邻的第二节点发送回所述卷积网络；

第二确定模块17，用于根据预设的目标函数采用正向传播和反向传播方式，确定所述各类层中具有姿态鲁棒性的参数。

进一步地，所述光照鲁棒处理模块15，还用于对所述人脸训练集中的人脸图像进行所述光照鲁棒处理，生成具有光照鲁棒响应的第三特征图；

所述卷积处理模块13，还用于采用未经过训练且具有所述网络结构的卷积网络对所述第三特征图进行卷积处理；

所述第二确定模块17，还用于确定所述各类层中具有光照鲁棒性和姿态鲁棒性的参数。

需要说明的是，前述对人脸识别处理方法实施例的解释说明也适用于该实施例的人脸识别处理装置，此处不再赘述。

图13是本申请另一个实施例的人脸识别处理装置的结构示意图，如图13所示，基于图12所示实施例，

第一确定模块12，具体包括：

建模单元121，用于采用三维人脸模型建模定义关键点；

映射单元122，用于将所述关键点映射到所述人脸图像中，获取对应的姿态适应关键点；

进一步地，姿态鲁棒处理模块14，包括：

生成单元141，用于在所述第一特征图中以所述姿态适应关键点为中心生成局部窗口；

整合单元142，用于在所述局部窗口内整合数据生成具有姿态鲁棒响应的第二特征图。

进一步地，所述卷积处理模块13，具体用于：

确定所述人脸图像中与所述姿态适应关键点对应的部分人脸图像；

采用经过训练的卷积网络对所述部分人脸图像进行卷积处理。

需要说明的是，前述对人脸识别处理方法实施例的解释说明也适用于该实施例的人脸识别处理装置，此处不再赘述。

本申请实施例的人脸识别处理装置，首先接收待处理的人脸图像，采用三维人脸模型 建模定义关键点，将所述关键点映射到所述人脸图像中，确定对应的姿态适应关键点，然后采用多尺度窗口对所述人脸图像中的像素进行局部归一化处理，生成具有光照鲁棒响应的第三特征图；进而采用经过训练的卷积网络对所述第三特征图进行卷积处理，其中，网络结构中各类层的数量与终端设备的处理资源相匹配，所述各类层的参数具有姿态鲁棒性和光照鲁棒性，对从所述卷积网络中第一节点输出的第一特征图以所述姿态适应关键点为中心生成局部窗口，在所述局部窗口内整合数据生成具有姿态鲁棒响应的第二特征图，最后，通过与所述第一节点相邻的第二节点发送回所述卷积网络，以使所述卷积网络根据所述第二特征图提取与所述人脸图像对应的人脸特征。由此，实现了在保证小型系统高效处理速度的同时，提高了对人脸识别的鲁棒性和准确性，提高了处理效率和用户体验度。

图14是本申请另一个实施例的人脸识别处理装置的结构示意图，所述待处理的人脸图像包括：待识别的人脸图像和人脸图像注册集，如图13所示，基于图11所示实施例，所述装置还包括：

获取模块18，用于从所述卷积网络的输出端获取与所述待识别的人脸图像对应的第一人脸特征，以及与所述人脸图像注册集对应的第二人脸特征；

识别模块19，用于应用度量函数评估所述第一人脸特征和所述第二人脸特征的相似度，输出人脸识别结果。

需要说明的是，前述对人脸识别处理方法实施例的解释说明也适用于该实施例的人脸识别处理装置，此处不再赘述。

本申请实施例的人脸识别处理装置，通过从所述卷积网络的输出端获取与所述待识别的人脸图像对应的第一人脸特征，以及与所述人脸图像注册集对应的第二人脸特征；然后应用度量函数评估所述第一人脸特征和所述第二人脸特征的相似度，输出人脸识别结果。由此，实现了在保证小型系统高效处理速度的同时，提高了对人脸识别的鲁棒性和准确性，提高了处理效率和用户体验度。

为了实现上述实施例，本申请还提出一种终端设备。

图15是本申请一个实施例的终端设备的结构示意图，如图15所示，该终端设备包括：设备本体，设备本体上包括：人脸图像采集装置1，以及人脸识别处理装置2，其中，终端设备可以包括：手机、监控设备和车载设备等，人脸图像采集装置1用于采集人脸图像，具体形式视具体的终端设备而定，比如手机上的照相机，监控设备上的摄像头等，人脸识别处理装置2可以采用本发明实施例提供的人脸识别处理装置，用于对待处理的人脸图像采用本实施例提供的人脸识别方法进行处理。

当人脸识别部署在小型终端设备上时(如：手机)，算法的运算量会受到极大的限制， 为达到尽量快的速度，该发明最好采用并行指令集实现，如：arm平台的neon指令，x86平台的sse指令等。

需要说明的是，前述对人脸识别处理方法实施例的解释说明也适用于该实施例的终端设备，此处不再赘述。

本申请实施例的终端设备，通过人脸识别处理装置首先接收待处理的人脸图像，确定与所述人脸图像对应的姿态适应关键点，然后采用经过训练的卷积网络对所述人脸图像进行卷积处理，其中，网络结构中各类层的数量与终端设备的处理资源相匹配，所述各类层的参数具有姿态鲁棒性，最后根据所述姿态适应关键点对从所述卷积网络中第一节点输出的第一特征图进行姿态鲁棒处理，生成具有姿态鲁棒响应的第二特征图，并通过与所述第一节点相邻的第二节点发送回所述卷积网络，以使所述卷积网络根据所述第二特征图提取与所述人脸图像对应的人脸特征。由此，实现了在保证小型系统高效处理速度的同时，提高了对人脸识别的鲁棒性和准确性，提高了处理效率和用户体验度。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行 系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。