用于人脸图像识别的方法和系统的制作方法
【专利摘要】公开了一种用于人脸图像识别的方法。所述方法包括：生成要比较、要识别的人脸图像的一或多个人脸区域对；通过交换每个人脸区域对的两个人脸区域并使每个人脸区域对的每个人脸区域水平翻转，形成多个特征模式；通过一或多个卷积神经网络接收所述多个特征模式，每个特征模式在所述卷积神经网络中形成多个输入映射图；通过所述一或多个卷积神经网络从所述输入映射图中提取关系特征，所述关系特征反映所述人脸图像的身份相似性；以及基于所述人脸图像的所提取的关系特征来识别所比较的人脸图像是否属于同一身份。另外，还公开了一种用于人脸图像识别的系统。
【专利说明】用于人脸图像识别的方法和系统 发明领域
[0001] 本申请大体上涉及图像处理领域，具体地，涉及用于人脸图像识别的方法和系统。
[0002] 发明背景
[0003] 人脸图像识别的基础是基于生理特征检验两个所比较的人脸是否属于同一身份。 在利用其他传统识别装置(诸如指纹识别)进行识别情况下，人脸图像识别具有准确、容易 使用、难以伪造、成本低且为非侵入性的特点，因此广泛在安全应用中使用。在近数十年中， 人脸图像识别已经得到广泛研究。现有人脸图像识别方法一般包括以下两个步骤:特征的 提取和识别。在提取阶段中，使用的是各种各样手工绘制特征。更重要的是，现有方法单独 从每个人脸图像中提取特征，并随后在人脸识别阶段比较这些特征。然而，在提取阶段就有 可能丢失了在所比较的两个人脸图像之间的一些重要相关关系。
[0004] 在识别阶段，分类器用来将两个人脸图像分类为具有同一身份或具有不同身份， 或者采用其他模型计算两个人脸图像的相似性。这些模型的目的是，将个人之间变化与个 人内在变化分开。然而，这些模型全都具有浅层结构。为了对具有复杂分布的大规模数据进 行处理，可能需要从人脸中提取大量的过完备特征(over-completed feature)。此外，因为 特征提取阶段和识别阶段是分开的，所以它们无法联合优化。一旦有用信息在提取阶段中 丢失，它就无法在识别阶段中恢复。
[0005] 发明概述
[0006] 本申请提出了在监管人脸身份情况下、从所比较的人脸图像的人脸区域对中直接 且联合地提取关系特征。在单个深度网络架构下，将特征提取阶段和识别阶段两者统一，并 且所有部件可联合地优化用于人脸识别。
[0007] 在本申请的一个方面中，公开了一种用于人脸图像识别的方法。该方法可包括:生 成要比较、要识别的人脸图像的一或多个人脸区域对;通过交换每个人脸区域对的两个人 脸区域并使每个人脸区域对的每个人脸区域水平翻转，从而形成多个特征模式;通过一或 多个卷积神经网络接收多个特征模式，多个特征模式中的每一个在卷积神经网络中的每个 中形成为多个输入映射图;通过一或多个卷积神经网络从上述输入映射图中提取身份关系 特征，其中所提取的全局且高级的身份关系特征反映所比较的人脸图像的身份相似性；以 及基于所比较的人脸图像的身份关系特征来识别人脸图像是否属于同一身份。在本申请的 另一方面中，公开了一种用于人脸图像识别的系统。所述系统可以包括生成单元、形成单 元、一或多个卷积神经网络、池化单元和识别单元。生成单元可配置成生成要比较、要识别 的人脸图像的一或多个人脸区域对。形成单元可配置成通过交换每个人脸区域对的两个人 脸区域并使每个人脸区域对的每个人脸区域水平翻转从而形成多个特征模式。上述一或多 个卷积神经网络可配置成接收多个特征模式，每个特征模式形成多个输入映射图，并且从 多个输入映射图中分层提取身份关系特征，其中所提取的全局且高级的身份关系特征反映 人脸图像的身份相似性。池化单元可配置成池化相关关系特征以得到稳定且紧凑的关系特 征。识别单元可配置成基于人脸图像的所述身份关系特征来识别人脸图像是否属于同一身 份。
[0008] 在本申请的另一方面中，公开了用于提取身份关系特征以用于人脸图像识别系统 的多个卷积神经网络。每个卷积神经网络可包括多个卷积层，关系特征可以包括局部低级 关系特征和全局高级关系特征。卷积神经网络中的每个可配置成从人脸图像识别系统中接 收多个特征模式。每个特征模式在卷积神经网络中形成多个输入映射图。卷积神经网络可 从较低的卷积层中的输入映射图中提取局部低级关系特征，并且基于所提取的局部低级关 系特征，在后续的特征提取层中提取全局高级关系特征，其中全局高级关系特征反映所比 较的人脸图像的身份相似性。
[0009] 附图简述
[0010] 以下参考附图来对本发明的示例性的非限制性实施方式进行描述。附图仅是例示 性的，并且一般未按准确比例绘制。
[0011] 图1是例示根据一些所公开的实施方式的用于人脸图像识别的系统的示意图。
[0012] 图2是例示根据一些所公开的实施方式的生成单元的示意图。
[0013] 图3是例示根据一些所公开的实施方式的用于人脸图像识别的系统的架构的示意 图。
[0014] 图4是例示根据一些所公开的实施方式的卷积神经网络的架构的示意图。
[0015] 图5是例示根据一些所公开的实施方式的用于人脸图像识别的方法的流程图。
【具体实施方式】
[0016] 现将详细参考在附图中示出其实施例的示例性实施方式，如果合适，在所有附图 中，使用相同附图标号指示相同或相似的部分。
[0017] 图1是例示根据一些所公开的实施方式的用于人脸图像识别的系统1000的示意 图。系统1000可包括一或多个通用计算机、一或多个计算机群集、一或多个主流计算机、一 或多个专用于提供在线内容的计算设备或具有一组以集中或分布方式操作的计算机的一 或多个计算机网络。
[0018] 如图1所示，根据本申请的一个实施方式的系统1000可以包括生成单元110、形成 单元120、一或多个卷积神经网络130、池化单元140和识别单元150。
[0019] 生成单元110可配置成生成要识别的人脸图像的一或多个人脸区域对。在本申请 的一个实施方式中，生成单元110可包括检测模块111、对准模块112和选择模块113，如图2 所示。检测模块111可检测要识别的人脸图像的多个人脸的特征点。例如，这些人脸的特征 点可为两眼中心以及嘴部中心。对准模块112根据检测到的人脸的特征点，对准要识别的人 脸图像。在本申请的一个实施方式中，人脸图像可根据人脸的特征点通过相似变换进行对 准。此外，选择模块113可分别选择在所对准的要识别的人脸图像的同一位置上的一或多个 区域，以生成一或多个人脸区域对。所选择的人脸区域的位置可变化，以形成多个不同的人 脸区域对。
[0020] 形成单元120可配置成通过交换每个人脸区域对的两个人脸区域并使每个人脸区 域对的每个人脸区域水平翻转，形成多个特征模式。例如，在一个实施方式中，通过交换两 个人脸区域并使每个人脸区域水平翻转，可以形成八个模式。
[0021] -或多个卷积神经网络130可配置成接收上述的多个特征模式。每个特征模式可 形成多个输入映射图。卷积神经网络从多个输入映射图中分层提取身份关系特征。在卷积 神经网络的较高的卷积层中提取的全局且高级的关系特征反映所比较的人脸图像的身份 相似性。如图4所示，在本申请的一个实施方式中，卷积神经网络130可包括多个卷积层，诸 如在这个实施方式中包括4个卷积层。卷积层可分层提取身份关系特征。另外，关系特征可 包括局部低级关系特征和全局高级关系特征。每个卷积神经网络进一步配置成从较低的卷 积层中的输入映射图中提取局部低级关系特征，并且基于所提取的局部低级关系特征，在 后续的特征提取层中提取全局高级关系特征，该全局高级关系特征反映所比较的人脸图像 的身份相似性。
[0022]另外，在本申请的一个实施方式中，卷积神经网络可以分成多组，诸如12组，其中 在每组中存在多个卷积神经网络，诸如五个卷积神经网络。每个卷积神经网络以一对经过 对准的人脸区域作为输入。其卷积层分层提取身份关系特征。最终，所提取的关系特征通过 全连接层并且被全连接到输出层(诸如SoftMax层）。输出层可表示两个区域是否属于同一 身份，如图4所示，不同分组中的卷积神经网络的输入区域在区域范围和色彩通道方面是不 同的，以使它们的预测互补。当输入区域大小在不同分组中改变时，卷积神经网络的后续层 中的输入映射图大小也因此将会改变。虽然同组中的卷积神经网络会将相同种类的区域对 作为输入，但是它们仍然是不同的，因为它们是用训练数据的不同引导程序来训练。构造多 组卷积神经网络的目的是实现预测的稳健性。
[0023] 另外，在一个实施方式中，一对灰度区域形成卷积神经网络中的两个输入映射图， 而一对色彩区域则形成六个输入映射图，从而使用来自RGB通道的三个映射图替代每个灰 度映射图。输入区域被堆叠成多个映射图，而非连接形成单个的映射图，这使卷积神经网络 为在来自第一卷积阶段的两个区域之间的关系建模。
[0024] 根据一个实施方式，在卷积神经网络的每一个卷积层中的操作可表达为
[0025]
[0026] 其中*指示卷积，Xi和yj分别是第i输入映射图和第j输出映射图，kij是连接第i输 入映射图和第j输出映射图的卷积内核（过滤器），并且h是第j输出映射图的偏置，max (〇, ·）是非线性的激活函数，并且逐元素地操作。具有这种非线性度的神经元称作整流线 性单元。此外，较高的卷积层中的同一映射图中的神经元的权重(包括卷积内核以及偏置） 是局部共享的。上标r表示其中权重被共享的局部区域。由于人脸是结构化的对象，因此在 较高的层中局部共享权重允许网络在不同位置处了解不同高级特征。
[0027] 根据一个实施方式，例如，第一卷积层包含20个过滤器对。每个过滤器对分别与所 比较的两个人脸区域来卷积，并且将卷积的结果进行相加。对于其中一个过滤器变化较大 而另一个过滤器保持近似均匀的过滤器对，分开地从两个输入区域中提取特征;而对于两 个过滤器均变化较大的过滤器对，则提取两个输入区域之间的一些种类关系。对于后者，一 些过滤器对会提取诸如加或减的简单关系，而其他对则提取更复杂的关系。应该注意的是， 一些过滤器对中的过滤器与另外一些过滤器对中的过滤器相比，除了两个过滤器的顺序 (order)颠倒之外，其它几乎是相同的。这样做是有意义的，因为在所比较的两个人脸区域 的顺序变化的情况下，人脸的相似性应当保持不变。
[0028] 根据所述实施方式，卷积神经网络130的输出映射图由双向Sof tMax表示。
[0029]公式(2) j -
[0030] 对于i = l，2,其中Xi是输出神经元i的总计输入映射图，并且yi是输出神经元i的输 出。yi表示两个分类上的概率分布，即，是否属于同一身份。这种概率分布使其有效用来直 接均化多个卷积神经网络输出，而不进行缩放。卷积神经网络通过最小化-Iogy 1来训练，其 中te {1，2}指示目标分类。损失通过随机梯度下降来最小化，其中梯度通过反向传播进行 计算。
[0031] 在本申请的一个实施方式中，卷积神经网络130中的每个卷积神经网络可从多个 输入特征模式提取关系特征。另外，可以存在多组卷积神经网络，其中每组具有多个卷积神 经网络，其中同组中的卷积神经网络从相同的人脸区域对中提取身份关系特征，而不同分 组中的卷积神经网络则从不同的人脸区域对中提取特征。
[0032] 如图1所示，系统1000可以包括池化单元140，该池化单元对所提取的身份关系特 征进行池化，以减小单独特征偏差并且提高它们关于身份关系预测的准确性。例如，在本申 请的一个实施方式中，对来自卷积神经网络输出的身份关系特征使用两级别的平均池化。 如图3所示，层Ll通过均化同一卷积神经网络从八个不同输入特征模式中获得的八个身份 关系预测来形成。层L2通过均化Ll中的与同组中的五个卷积神经网络相关联的五个被池化 的预测来形成。
[0033] 识别单元150可配置成基于由卷积神经网络单元130提取的关系特征或基于池化 单元140得出的被池化的关系特征来识别人脸图像是否属于同一身份。识别单元150可包括 分类器，诸如贝叶斯分类器、支持向量机(Support Vector Machine)或神经网络分类器，并 且该分类器可配置成将所提取的关系特征分类为两个分类，即，是否属于同一身份。在图3 中的一个实施方式中，识别单元150是分类受限的玻耳兹曼机，在分层池化后，该识别单元 将多组卷积神经网络的输出作为输入，并且在两个分类上输出概率分布，即，是否属于同一 身份的概率分布。
[0034] 例如，分类受限玻耳兹曼机会为其输出神经元y(C类的一个输出）、输入神 经元X (二进制）和隐藏神经元h (二进制）之间的联合分布建模为，其中 與方尤/?) = -/?歡--61 X- C 4- i/1少、给定输入X，其输出y的条件概率可明确表达为
[0035]
公式（3)
[0036] 其中c表示第c类。
[0037]卷积神经网络的个数越多表示系统1000具有越高的容量。直接优化整个系统将会 引起严重的过拟合。因此，可以首先分开训练系统中的每个卷积神经网络。随后，通过固定 所有卷积神经网络，训练识别单元中的模型。可以在监管下进行训练所有卷积神经网络以 及识别单元中的模型，其目标为预测所比较的两个人脸是否属于同一身份。这两个步骤将 系统1000初始化为接近良好的局部最小值。最终，整个系统通过将误差从识别单元中的模 型反传至所有卷积神经网络进行精调。
[0038] 在本申请的一个实施方式中，系统1000可包括一或多个处理器(未不出）。处理器 可包括中央处理单元（"CPU"）、图形处理单元（"GPU"）或其他合适信息处理设备。根据将使 用的硬件类型，处理器可包括一或多个印刷电路板和/或一或多个微处理器芯片。另外，处 理器配置成进行存储在存储器中的计算机程序指令以实施如图5所示过程5000。
[0039] 在步骤S201处，系统1000可以生成要识别的人脸图像的一或多个人脸区域对。在 本申请的一个实施方式中，系统1000首先可以检测要识别的人脸图像的一或多个人脸的特 征点。随后，系统1000可以根据一或多个检测到的人脸的特征点，对准要识别的人脸图像。 接着，系统1000可以分别选择在所对准的要识别的人脸图像的同一位置上的一或多个区 域，以生成一或多个人脸区域对。
[0040] 在步骤S202处，系统1000可以通过交换每个人脸区域对的两个人脸区域并使每个 人脸区域对的每个人脸区域水平翻转从而形成多个特征模式。
[0041] 在步骤S203处，一或多个卷积神经网络130可以接收多个特征模式，以在卷积神经 网络中形成多个输入映射图，并且从输入映射图中提取一或多个关系特征以形成多个输出 映射图，该输出映射图反映所比较的人脸图像的身份相关性，即，是否属于同一个人。
[0042]在步骤S204处，系统1000可以池化所提取的身份关系特征，诸如通过平均池化，以 减小单独特征偏差。该步骤是可选的。
[0043] 在步骤S205处，系统1000可基于人脸图像的身份关系特征来识别人脸图像是否属 于同一身份。
[0044] 本发明的实施方式可以使用某些硬件、软件或它们的组合实施。另外，本发明的实 施方式可适配成包含计算机程序代码的一或多个计算机可读存储介质(包括但不限于磁盘 存储装置、CD-ROM、光存储器等等)上实施的计算机程序产品。
[0045] 在上面描述中，出于例示目的，可将各种方法、步骤或部件一起组合到单个实施方 式中。本文中公开的内容并不解释为需要针对所要求保护的主题而公开的所有变化。随附 的权利要求书并入到示例性的实施方式的这些描述中，其中每个权利要求自身表示本公开 的单独实施方式。
[0046] 此外，通过参阅本说明书以及在对本公开内容的实践中，本领域的技术人员应该 清楚，在不背离本公开的所要求保护的范围的情况下，可对所公开的系统做出各种的修改 和变化。因此，本说明书和实例仅仅是示例性的，本公开的真实范围由以下权利要求以及它 们的等效内容确定。
【主权项】
1. 一种用于人脸图像识别的方法，所述方法包括： 生成要比较、要识别的人脸图像的一或多个人脸区域对； 通过交换每个人脸区域对的两个人脸区域并使每个人脸区域对的每个人脸区域水平 翻转从而形成多个特征模式； 通过一或多个卷积神经网络接收所述多个特征模式，所述多个特征模式中的每个均形 成多个输入映射图； 通过所述一或多个卷积神经网络从所述输入映射图中提取一或多个身份关系特征，以 形成用于反映所比较的人脸图像的身份关系的多个输出映射图；以及 基于所述人脸图像的所述身份关系特征识别所述人脸图像是否属于同一身份。2. 根据权利要求1所述的方法，其中所述生成的步骤还进一步包括： 对要识别的所述人脸图像的多个人脸特征点进行检测； 根据所述检测到的一或多个人脸特征点对准要识别的所述人脸图像；以及 分别选择在所对准的人脸图像的同一位置上的多个区域以生成一或多个人脸区域对。3. 根据权利要求1所述的方法，其中所述卷积神经网络包括多个卷积层，所述身份关系 特征包括局部低级关系特征和全局高级关系特征，并且所述提取的步骤包括： 从所述卷积神经网络的较低的卷积层中的输入映射图中提取局部低级关系特征；以及 基于所提取的局部低级关系特征，在所述卷积神经网络的后续层中提取全局高级关系 特征，所述全局高级关系特征反映所比较的人脸图像的身份相似性。4. 根据权利要求1所述的方法，其中在所述提取的步骤后并且在所述识别的步骤前，所 述方法还进一步包括： 池化所提取的关系特征以获得稳定且紧凑的关系特征。5. 根据权利要求1所述的方法，其中所述提取的步骤包括： 通过同一卷积神经网络从由不同输入特征模式形成的输入映射图中提取所述身份关 系特征;或者 通过不同卷积神经网络从不同人脸区域对的同一区域中提取所述身份关系特征。6. 根据权利要求1所述的方法，其中所述人脸区域对的每个人脸区域包括多个色彩通 道，每个人脸区域中的每个色彩通道在所述卷积神经网络中形成输入映射图。7. -种用于人脸图像识别的系统，所述系统包括： 生成单元，所述生成单元被配置成生成要比较、要识别的人脸图像的一或多个人脸区 域对； 形成单元，所述形成单元被配置成通过交换每个人脸区域对的两个人脸区域并使每个 人脸区域对的每个人脸区域水平翻转从而形成多个特征模式； 一或多个卷积神经网络，所述一或多个卷积神经网络被配置成接收所述多个特征模 式，所述多个特征模式中的每个均形成多个输入映射图，并且所述卷积神经网络进一步配 置成从所述输入映射图中分层提取用于反映所比较的人脸图像的身份相似性的身份关系 特征；以及 识别单元，所述识别单元被配置成基于所比较的人脸图像的所述身份关系特征来识别 所述人脸图像是否属于同一身份。8. 根据权利要求7所述的系统，其中所述生成单元包括： 检测模块，所述检测模块被配置成检测要识别的人脸图像的多个人脸特征点； 对准模块，所述对准模块根据所述检测到的人脸特征点，对准要识别的所述人脸图像； 以及 选择模块，所述选择模块分别选择在所对准的要识别的人脸图像的同一位置上的一或 多个区域，以生成一或多个人脸区域对。9. 根据权利要求7所述的系统，其中所述卷积神经网络包括多个卷积层，所述身份关系 特征包括局部低级关系特征和全局高级关系特征，并且所述卷积层的每个进一步配置成： 从所述卷积神经网络较低的卷积层中的输入映射图中提取局部低级关系特征；以及 基于所提取的局部低级关系特征，在所述卷积神经网络的后续层中提取全局高级关系 特征，所述全局高级关系特征反映所述人脸图像的身份相似性。10. 根据权利要求7所述的系统，其进一步包括池化单元，所述池化单元被配置成池化 所提取的关系特征以获得稳定且紧凑的关系特征。11. 根据权利要求7所述的系统，其中所述卷积层的每个进一步配置成： 通过同一卷积神经网络从由不同输入特征模式形成的输入映射图中提取所述身份关 系特征;或者 通过不同卷积神经网络从不同人脸区域对的同一区域中提取所述身份关系特征。12. 根据权利要求7所述的系统，其中所述人脸区域对的每个人脸区域包括多个色彩通 道，每个人脸区域中的每个色彩通道在所述卷积神经网络中形成输入映射图。13. 用于提取身份关系特征以用于人脸图像识别系统的多个卷积神经网络，其中每个 卷积神经网络包括多个卷积层，所述身份关系特征包括局部低级关系特征和全局高级关系 特征，每个卷积神经网络被配置成： 从所述人脸图像识别系统中接收一个特定人脸区域对的一个特定特征模式，以形成多 个输入映射图； 从所述卷积神经网络较低的卷积层中的所述输入映射图中提取局部低级关系特征；以 及 基于所提取的局部低级关系特征，在所述卷积神经网络的后续层中提取全局高级关系 特征，所提取的全局高级关系特征反映所比较的人脸图像的身份相似性。
【文档编号】G06K9/00GK105849747SQ201380081288
【公开日】2016年8月10日
【申请日】2013年11月30日
【发明人】汤晓鸥, 孙祎, 王晓刚
【申请人】北京市商汤科技开发有限公司