检测面部特性的方法
【专利摘要】通过本发明的实施例以计算有效的方式执行图像中诸如人们面部中的微笑或性别的面部特性的检测。首先，检测图像中的面部以产生面部图像。在面部图像中检测面部界标。以检测到的面部界标为基础来调准和标准化所述面部图像以产生标准化的面部图像。从所述标准化的面部图像提取来自选定的局部区域的局部特征。通过将每一个选定的局部特征输入到具有多层感知器（MLP）结构的弱分类器中来在每一个选定的局部区域中预测面部特性。最后，聚合来自每一个弱分类器部件的输出数据以生成在所述面部图像中检测到所述面部特性的指示。
【专利说明】检测面部特性的方法
【技术领域】
[0001]本公开通常涉及图像处理的领域。更具体地，本发明的实施例涉及由用于分析面部图像的处理系统中的处理器执行的面部特性检测处理。
【背景技术】
[0002]随着增加的计算能力的进步，面部识别应用变得越来越普遍，例如，数码相机中的自动聚焦/自动白平衡/自动曝光(3A)处理和微笑快门、智能电话上的基于化身的通信、手持计算设备上的面部识别登录能力等等。在这些面部分析应用中，会期望检测面部特性。面部特性可以包括面部是否微笑、面部是男人还是女人的面部、眼睛是否闭合或者面部是属于孩子、年青人、中年人还是老年人。也可以检测其它面部特性。面部特性检测具有许多用途。例如，微笑检测可以在照相机成像中用作微笑快门激活，或者在自动最喜欢广告调查中用作情绪检测能力。性别检测可以用在自动广告选择中用于智能数字签名。面部特性检测也可以用在诸如视频监视、视觉搜索和内容分析等等的其它领域中。因而，期望用于检测面部图像中的面部特性的快速而有效的技术。
【专利附图】
【附图说明】
[0003]参照附图来提供详细的描述。在不同附图中相同附图标记的使用指示类似或相同的项。
[0004]图1是根据本发明实施例的面部图像处理系统的图。
[0005]图2是根据本发明实施例的面部分析处理的图。
[0006]图3是根据本发明实施例在面部图像中检测到的面部界标的示例。
[0007]图4是根据本发明实施例的示例面部图像的选定的部分的调准和标准化的示例。
[0008]图5是根据本发明实施例用于微笑检测的选定的局部区域的示例。
[0009]图6是根据本发明实施例用于性别检测的选定的局部区域的示例。
[0010]图7是根据本发明实施例的多层感知器(MLP)的结构的图。
[0011]图8是根据本发明实施例位于MLP的每一个节点处的计算模型的图。
[0012]图9和图10说明了可以用于实现本文讨论的一些实施例的处理系统的实施例的方框图。
【具体实施方式】
[0013]本发明的实施例规定图像中面部特性(例如微笑/情绪、性别、年龄、眨眼等等)的快速而精确的检测，这可以用在照相机成像、数字签名和其它应用中。本发明的实施例实现最高的精确度(在一个测试中，在微笑检测中为96%，在性别检测中为94%，等等)，要求非常小的存储器使用(少于400KB)，并且快速地执行(在一个测试中，在具有1.6GHz原子处理器的处理系统上每秒检测多于800张面部)。
[0014]本发明的实施例包括用于面部特性检测的统一框架。实施例提供优于已知的诸如用于微笑检测和性别检测的面部特性检测实现的至少几个优点。首先，本发明的实施例规定以高精确度对所有面部特性的检测很好地工作的统一和一般的技术，而已知的技术仅可应用于一个特定的面部特性类别。其次，当前方法具有非常小的存储器和计算资源要求。因此，可以将根据实施例的面部特性检测应用于从个人计算机(PC)到嵌入式设备的各种计算
T D O
[0015]在下面的描述中，阐述了许多具体的细节，以便提供对各种实施例的全面理解。然而，可以在没有这些具体细节的情况下来实践本发明的各种实施例。在其它实例中，没有详细地描述公知的方法、过程、部件和电路，以便不混淆本发明的特定实施例。进而，可以使用诸如集成半导体电路(“硬件”)、被组织为存储在计算机可读存储介质上的一个或多个程序的计算机可读指令(“软件”)或硬件和软件的某种组合的各种手段来执行本发明实施例的各种方面。出于这一公开的目的，对“逻辑”的提及应该意指硬件、软件(例如包括控制处理器的操作的微代码)、固件或其某种组合。
[0016]本发明的实施例处理从照相机捕获的或先前存储在处理系统中的面部图像。图1是根据本发明一些实施例的处理系统100的图。处理系统包括应用102、照相机104和显不器111。在各种实施例中，处理系统可以是个人计算机(PC)、膝上型计算机、笔记本计算机、平板计算机、手持计算机、智能电话、移动互联网设备(MID)或任何其它静止或移动的处理设备。在一些实施例中，照相机可与处理系统成一整体。照相机可以是静物照相机或视频照相机。在其它实施例中，照相机可以位于处理系统的外部，但是与该处理系统可通信地耦接。在实施例中，可以通过网络、有线或无线接口将由照相机捕获的图像传送到处理系统用于分析。应用102可以是要在处理系统上执行的应用程序。在各种实施例中，应用程序可以例如是用于web浏览器、图像处理应用、游戏或多媒体应用的独立程序或另一程序的一部分(例如以插件为例)。应用102可以包括用于分析由照相机捕获的图像以检测人们面部的面部分析部件106。在实施例中，可以将应用102和/或面部分析部件106实现为硬件部件、固件部件、软件部件或者一个或多个硬件、固件和/或软件部件的组合，作为处理系统100的一部分。
[0017]在实施例中，用户可以操作处理系统100以捕获来自照相机104的一个或多个图像。可以将捕获的一个或多个图像输入到应用102用于各种目的。应用102可以将一个或多个图像传递到面部分析部件106用于确定该一个或多个图像中的面部特征。在实施例中，面部分析部件106可以检测该一个或多个图像中的面部特性。可以将包括面部分析的应用处理的结果显示在显示器11上。
[0018]图2是根据本发明实施例由面部分析部件106执行的面部分析处理200的图。可以将图像202输入到面部分析处理。在方框204处，可以通过由面部检测部件205执行面部检测处理来在图像中检测面部以定位对于图像中的每一个检测到的面部的面部矩形区域。在方框206处，可以通过由界标检测部件207执行面部界标检测处理来在每一个面部矩形区域中检测面部界标。在实施例中，面部界标包括六个点:眼角和嘴角。在方框208处，可以至少部分地以检测到的面部界标为基础通过调准部件209中的面部调准处理来将面部矩形区域调准和标准化到预定义的尺寸。在一个实施例中，调准和标准化的图像的产生的尺寸可以小于面部图像的尺寸。在实施例中，该尺寸是64个像素乘64个像素。在方框210处，可以通过提取部件211从标准化的面部图像的选定的局部区域提取局部特征。局部区域是标准化的面部图像的子集。在实施例中，可以通过变换处理将局部区域转换为一组数字。在一个实施例中，可以将局部二值模式(LBP)处理用作特征提取器。在另一实施例中，可以将梯度方向直方图(HoG)处理用作特征提取器。在其它实施例中，可以使用其它特征提取处理。在实施例中，局部特征是代表局部区域的一组这些数字。在方框212处，每一个局部区域由提取的局部特征表示，并且可以以多层感知器(MLP)结构为基础来将提取的局部特征输入到弱分类器部件，用于通过预测部件213来预测选定的面部特性。在方框214处，可以通过聚合部件215将来自用于每一个局部特征的弱分类器的输出数据聚合为最终检测分数214。在实施例中，最终检测分数可以是关于是否在图像中检测到面部特性的指示，最终检测分数在0.0到1.0的范围内，其中，值越大，检测选定的面部特性的置信度就越闻。
[0019]可以对输入图像执行面部检测处理204以检测该图像中的面部。在实施例中，可以使用任何已知的面部检测处理，只要该面部检测处理产生检测到的面部的矩形图像。输入数据包括一个或多个2D图像。在实施例中，2D图像是静止图像。在另一实施例中，2D图像包括某一帧率fps的视频帧的序列，每一个视频帧具有图像分辨率(WxH)。在实施例中，可以使用遵循如在 Paul Viola 和 Michael Jones 的 “Rapid Object Detection Using aBoosted Cascade of Simple Features，，，Conference on Computer Vision and PatternRecognition, 2001,中示出的公知的Viola-Jones框架的现有面部检测方案。
[0020]在定位面部区域之后，本发明的实施例检测诸如嘴和眼角的面部界标的精确位置。界标是面部内的感兴趣点。左眼、右眼和鼻子底部都是界标的示例。在实施例中，可以执行如在共同转让给本申请的受让人的存档号为P37155的Ang Liu、Yangzhou Du、TaoWang、Jianguo L1、Qiang Li 和 Yimin Zhang 的发明名称为 “Method of Facial LandmarkDetection”的共同待审的专利申请中公开的面部界标检测处理206。图3是根据本发明实施例在面部图像中检测到的面部界标的示例。矩形区域指代作为面部检测处理204的结果的检测到的面部，并且菱形指示作为面部界标检测处理206的结果的六个检测到的面部界标。
[0021]在面部调准处理208期间，可以将检测到的面部转换到灰度级、调准并标准化到预定义的尺寸，例如64x64 (在宽度和长度上是64个像素)。在实施例中，可以按照下面的步骤来进行调准:
[0022]计算眼角线和水平线之间的旋转角度Θ ；
[0023]将图像旋转角度Θ以使眼角与水平线平行；
[0024]计算两个眼睛中心之间的距离(W)以及眼睛到嘴距离(h);
[0025]从面度区域裁剪(2wx2h)矩形，以使左眼中心位于(0.5w，0.5h)，右眼中心位于(1.5w, 0.5h),并且嘴中心位于(w, 1.5h)。
[0026]将裁剪的矩形按比例调整到预定义的尺寸(例如64x64)。
[0027]为了缓解图像当中的照明差异，可以对按比例调整的图像进行直方图均衡。图4是根据本发明实施例的面部图像的选定的部分的调准和标准化的示例。
[0028]可以按照下面来执行局部特征提取处理210。可以从调准和标准化的面部图像的局部区域提取局部特征。在一个实施例中，局部特征可以被表示为局部二值模式(LBP)直方图 ° 在 IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI),2002,第 971-987T 页中的 Ojala、Μ.Pietkainen 和 T.Maenpaa 的 “MultiresolutionGray-Scale and Rotation Invariant Texture Classification with Local BinaryPatterns”中公开了适当的LBP技术。在另一实施例中，局部特征可以被表示为梯度方向直方图(HoG)0在 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2005,中的 N.Dala 和 B.Triggs 的 “Histograms of Oriented Gradients for HumanDetection”中公开了适当的HoG技术。在其它实施例中，可以使用其它特征提取技术。在本发明的各种实施例中，对于不同的面部特性，用于提取局部特征的技术可以不同。例如，当执行微笑检测时，LBP优于其它技术；当执行性别或年龄检测时，HoG优于其它技术。图5是根据本发明实施例用于微笑检测的选定的局部区域的示例。图6是根据本发明实施例用于性别检测的选定的局部区域的示例。
[0029]可以将局部区域定义为四元组(x，y，w，h)，其中(x，y)是该局部区域的左上角点，并且(w，h)是该局部区域的矩形的宽度和高度。在标准化的面部图像内存在许多可能的局部区域。在本发明的实施例中，可以使用提升处理来从训练数据集选择用于面部特性检测的区别区域。
[0030]在训练过程中，将尺寸可调整的窗口在标准化的面部图像上滑动以生成候选局部区域。以64x64标准化的面部图像为例，在实施例中，可以以16x16窗口开始，并且在该面部图像中每4个像素为一步长。当完成先前扫描时，可以然后使窗口尺寸增加4个像素(例如从16x16窗口到20x20窗口)。
[0031]当标准化的面部图像为64个像素乘64个像素时，存在可以根据这一方案识别的大致几百个候选窗口(局部区域)。然而，只有几个局部区域可以用于最终分类。可以采取提升算法来从这些候选局部区域同时选择有用的局部区域的子集，并且根据基于局部区域的表示来训练弱分类器。表I中列出了提升训练过程。
[0032]表1.用于局部区域选择和弱分类器训练的提升过程
[0033]
【权利要求】
1.一种检测图像中的面部特性的方法，包括: 检测所述图像中的面部以产生面部图像； 检测所述面部图像中的面部界标； 至少部分地以检测到的面部界标为基础来调准和标准化所述面部图像以产生标准化的面部图像； 从所述标准化的面部图像的选定的局部区域提取多个局部特征； 通过将每一个选定的局部特征输入到多个弱分类器部件之一中来预测每一个选定的局部区域中的所述面部特性，每一个弱分类器部件具有多层感知器(MLP)结构；并且 聚合来自每一个弱分类器部件的输出数据以生成在所述面部图像中检测到所述面部特性的指示。
2.如权利要求1所述的方法，其中，所述面部特性为微笑。
3.如权利要求1所述的方法，其中，所述面部特性为性别。
4.如权利要求1所述的方法，其中，所述面部特性为年龄。
5.如权利要求1所述的方法，其中，调准和标准化所述面部图像包括将所述面部图像转换到灰度级，使用检测到的面部界标来调准所述面部图像，并且将灰度级调准的面部图像标准化到预定的尺寸以产生所述标准化的面部图像，所述预定的尺寸小于所述面部图像的尺寸。
6.如权利要求1所述的 方法，其中，所述局部特征被表示为局部二值模式(LBP)直方图。
7.如权利要求1所述的方法，其中，所述局部特征被表示为梯度方向直方图(HoG)。
8.如权利要求1所述的方法，进一步包括使尺寸可调整的窗口在所述标准化的面部图像上滑动以生成候选局部区域，并且选择所述候选局部区域的子集作为选定的局部区域。
9.如权利要求1所述的方法，进一步包括训练分类器以对于每一个提取的局部特征执行弱分类。
10.一种用于执行图像分析处理的处理系统，包括: 面部检测部件，用于分析图像以检测所述图像中的面部； 面部界标检测部件，用于分析面部图像以检测面部界标； 调准和标准化部件，用于至少部分地以检测到的面部界标为基础来调准和标准化所述面部图像以产生标准化的面部图像； 提取部件，用于从所述标准化的面部图像的选定的局部区域提取多个局部特征； 预测部件，用于通过将每一个选定的局部特征输入到多个弱分类器部件之一中来预测每一个选定的局部区域中的所述面部特性，每一个弱分类器部件具有多层感知器(MLP)结构；以及 聚合部件，用于输出来自每一个弱分类器部件的数据以生成在所述面部图像中检测到所述面部特性的指示。
11.如权利要求10所述的处理系统，其中，所述面部特性为微笑。
12.如权利要求10所述的处理系统，其中，所述面部特性为性别。
13.如权利要求10所述的处理系统，其中，调准和标准化部件适合于将所述面部图像转换到灰度级，使用检测到的面部界标来调准所述面部图像，并且将灰度级调准的面部图像标准化到预定的尺寸以产生所述标准化的面部图像，所述预定的尺寸小于所述面部图像的尺寸。
14.如权利要求10所述的处理系统，其中，所述局部特征被表示为局部二值模式(LBP)直方图。
15.如权利要求10所述的处理系统，其中，所述局部特征被表示为梯度方向直方图(HoG)0
16.如权利要求10所述的处理系统，其中，所述提取部件适合于使尺寸可调整的窗口在所述标准化的面部图像上滑动以生成候选局部区域，并且选择所述候选局部区域的子集作为选定的局部区域。
17.一种用于执行图像分析处理的处理系统，包括: 照相机，用于捕获图像； 面部检测部件，用于分析所述图像以检测所述图像中的面部；` 面部界标检测部件，用于分析所述面部图像以检测面部界标； 调准和标准化部件，用于至少部分地以检测到的面部界标为基础来调准和标准化所述面部图像以产生标准化的面部图像； 提取部件，用于从所述标准化的面部图像的选定的局部区域提取多个局部特征； 预测部件，用于通过将每一个选定的局部特征输入到多个弱分类器部件之一中来预测每一个选定的局部区域中的所述面部特性，每一个弱分类器部件具有多层感知器(MLP)结构； 聚合部件，用于输出来自每一个弱分类器部件的数据以生成在所述面部图像中检测到所述面部特性的指示；以及 显示器，用于显示所述图像和所述指示。
18.如权利要求17所述的处理系统，其中，所述面部特性为微笑。
19.如权利要求17所述的处理系统，其中，所述面部特性为性别。
20.如权利要求17所述的处理系统，其中，所述局部特征被表示为局部二值模式(LBP)直方图。
21.如权利要求17所述的处理系统，其中，所述局部特征被表示为梯度方向直方图(HoG)0
22.一种机器可读指令，当被执行时，所述指令布置为实现如前述权利要求中的任何一项所述的方法或实现如前述权利要求中的任何一项所述的装置。
23.一种存储如权利要求12所述的机器可读指令的机器可读存储设备。
【文档编号】G06T7/60GK103503029SQ201180070557
【公开日】2014年1月8日 申请日期:2011年4月11日 优先权日:2011年4月11日
【发明者】李建国, 王涛, 杜杨洲, 栗强 申请人:英特尔公司