专利名称：性别识别处理器的制作方法、性别识别方法和性别识别装置的制作方法
技术领域：
本发明涉及一种基于人脸图像的性别识别处理器的制作方法、以及利用该制作方法制作的性别识别处理器来进行性别识别的方法、和用于该性别识别方法的性别识别装置。
背景技术：
信息技术的发展日新月异，极大地推动了人机交互技术的发展，使得计算机视觉在计算机识别与监控中发挥了越来越重要的作用。人脸是人类最重要的生物特征之一，由于其具有自然性和不被被测个体察觉的特点，近几年得到了广泛的应用，出现了人脸检测、人脸识别、人脸跟踪，年龄估计及性别识别等一些研究领域，这些研究大大丰富了计算机应用系统的内涵，也在很大程度上提高了系统的性能。基于人脸特征的性别识别具有非常广泛的应用，除了统计某些场所男性与女性的比例和应用于防止异性进入的某些特定场所以外，还可应用于提高人脸识别系统的准确率和图像检索效率等方面。然而迄今为止，在国内外的研究中，对性别识别的研究仍然非常少。
文献“人脸的性别分类”(武勃，艾海舟，肖习攀，徐光佑。计算机研究与发展。2003；11(41)，1546-1553)中介绍了基于像素特征的支持向量机(SVM)方法，主分量分析(PCA)，ADABOOST，FLD，CSCIE等方法并相互结合使用进行了实验对比。然而，目前存在的文献只针对正面姿态且无遮挡的人脸，尚未考虑非正面姿态的情况，而在实际应用中往往是大量的多角度人脸。同时目前的文献介绍的方法只针对如何提高基于正面人脸的性别识别率。但是，在大规模的复杂的人脸图像的情况下，如何使用多角度、多人种和多地域的人脸信息来提高训练速度和识别率则没有相关的报道。
发明内容
因此，本发明的目的提供一种能利用男女性别的多角度和/或多人种、多地域的人脸信息来制作性别识别处理器的制作方法，从而能有效地提高样本训练速度，并且能有效地提高利用该方法制作的处理器来进行性别识别时的准确率和速度。
本发明的基于人脸图像的性别识别处理器的制作方法，其特征在于，包括样本分类步骤，将样本按性别分成两类，得到两类样本；特征信息形成步骤，对分类的样本进行预处理，得到以预处理后的图像像素作为特征矢量的样本的特征信息；多角度处理步骤，按照样本的角度范围对所述样本的特征信息进行分类，使样本特征信息按照角度范围分解，得到相互独立的特定角度的样本特征信息的子集合；样本训练步骤，利用各个所述的特定角度的样本特征信息的子集合以串行或并行的方式对其相应的分类器进行训练，得到子处理器；集成步骤，对所述各个子处理器，利用最小最大模块化分类器来进行集成，得到用于识别性别的处理器。
另外，本发明的基于人脸图像的性别识别处理器的制作方法，在特征信息形成步骤和样本训练步骤之间，还可以包括人种处理步骤，在该人种处理步骤中按照样本的人种的不同对样本特征信息进行分类，使样本特征信息按人种分解，得到相互独立的特定人种的样本特征信息的子集合，并在所述样本训练步骤中，利用各个所述的特定人种的样本特征信息的子集合以串行或并行的方式对其相应的分类器进行训练。
另外，本发明的基于人脸图像的性别识别处理器的制作方法，在特征信息形成步骤和样本训练步骤之间，还可以包括地域处理步骤，在该地域处理步骤中按照样本地域的不同对样本特征信息进行分类，使样本特征信息按地域分解，得到相互独立的特定地域的样本特征信息的子集合，并在所述样本训练步骤中，利用各个所述的特定地域的样本特征信息的子集合以串行或并行的方式对其相应的分类器进行训练。
进一步，本发明的基于人脸图像的性别识别处理器的制作方法，在特征信息形成步骤和样本训练步骤之间，还可以包括
地域处理步骤，在该地域处理步骤中按照样本地域的不同对样本特征信息进行分类，使样本特征信息按地域分解，得到相互独立的特定地域的样本特征信息的子集合；和人种处理步骤，在该人种处理步骤中按照样本人种的不同对样本特征信息进行分类，使样本特征信息按人种分解，得到相互独立的特定人种的样本特征信息的子集合；并在所述样本训练步骤中，利用各个所述的特定人种的样本特征信息的子集合以及各个所述的特定地域的样本特征信息的子集合以串行或并行的方式对其相应的分类器进行训练。
在此，对上述多角度处理步骤、地域处理步骤以及人种处理步骤之间的先后顺序没有特殊规定。
本发明的另一个目的是提供一种利用识别性别处理器来进行性别识别的方法，其特征在于所述识别性别处理器是利用上述的任何一种制作方法制作的识别性别处理器，并将待识别的图像输入到所述识别性别处理器中，在性别识别处理器中，首先在子处理器中进行处理得到子处理器处理结果，之后，由最小最大模块化支持向量机对该结果进行处理，从而得到最终的识别结果，并将结果输出给输出装置。
此外，本发明的再一个目的是提供一种性别识别装置，该装置包括用于输入待识别的人脸图像的输入装置；利用上述的任何一种制作方法制作的用于识别性别的处理器；以及用于输出处理结果的输出装置。
上述性别识别装置中，作为所述输入装置可以使用选自摄像机、摄像头、数码照相机或是扫描仪之中的任意一个。
另外，上述性别识别装置中，作为所述输出装置可以使用显示器或报警器。
利用本发明的基于人脸图像的性别识别处理器的制作方法，能够在样本训练时，可以以串行方式进行样本训练，也可以以并行方式进行样本训练，即，可以同时对各个子处理器进行样本训练，并且在样本训练之后，通过最大最小模块化分类器对训练后的各个子处理器进行集成，以此来提高样本的训练速度和识别性别的准确率和速度。因此，能够提高样本训练速度，在相对短的时间内制作功能强大的性别识别处理器。此外，用这种方法制作的性别识别处理器在根据人脸图像进行性别识别时，能够处理多角度的人脸，还能处理各种不同人种以及各个地域的人脸图像，并给出识别结果，并且能够提高其准确率和速度。
本发明的性别识别装置由于使用了本发明的基于人脸图像的性别识别处理器，能够快速并准确地识别待识别人的性别。并且，由于其输入装置可以是摄像机、摄像头、数码照相机、扫描仪等，可以用于各种不同场合和用途。
图1是本发明的性别识别处理器的制作方法的流程示意图。
图2是特征信息形成步骤的流程示意图。
图3表示本发明的实施方式中使用的样本的6种姿态多角度人脸图像的示意图。
图4表示一例本发明的样本特征信息分解示意图。
图5表示另一例本发明的样本特征信息分解示意图。
图6表示本发明的样本训练方式的串行方式和并行方式的示意图。
图7是表示集成步骤的简要示意图。
图8是表示利用本发明的性别识别装置的一实施例的示意图。
图9表示一例使用本发明的性别识别装置进行性别识别而得到的结果显示。
具体实施例方式
下面参照附图详细说明本发明的具体实施方式
。但是，这些只是本发明的合适的实施例，本发明并不限定于这些。
首先，对本发明的用于识别性别的处理器的制作方法进行说明。
如图1所示，本发明的用于识别性别的处理器的制作方法包括样本分类步骤S1、特征信息形成步骤S2、多角度处理步骤S3、样本训练步骤S4、集成步骤S5。
首先，在样本分类步骤S1中对人脸样本库中的样本进行分类，将样本分类为男性样本和女性样本。
接着，在特征信息形成步骤S2中，如图2所示，对在样本分类步骤S1中已被分为两类的样本的人脸图像，首先人工进行人眼定位，以两眼的连线为基准，将整幅图像进行旋转，使所有样本图像的两眼间的连线均保持水平，从而实现旋转角度归一化。以两眼间连线的中点为原点，连线为坐标轴，对图像进行缩放，使所有样本的图像尺寸大小相同，从而实现尺度归一化。然后对所有样本进行直方图归一化。最后对图像用椭圆模板进行剪切，使所有样本人脸图像仅保留从前额至下颌，以及两面颊之间部分的图像，并以此处理后的图像的像素作为特征向量。
进一步，在多角度处理步骤S3中，对在特征信息形成步骤S2中得到的样本的特征信息，按照样本的角度范围进行分类，使样本特征信息按照角度范围分解，得到相互独立的特定角度的样本特征信息。例如，如图3所示，将人脸图像分类为6种姿态，分别是正面0度、向上看15度、向左上侧看22度、向右上侧看33度、中间右转22度、及向右下侧看33度。这样，如图4所示，本来的各种不同的样本就分解成更小、更简单的特征信息的子集合，相应地，用于识别性别的问题(简称T)就变成按多角度信息分解成更小、更简单的子问题。
图5表示先进行人种处理步骤、再进行多角度处理步骤时的，样本被分类的一例状态的示意图。从图中可知，问题T可以按照人种的不同被分成多个子问题A、B、C。例如，这里的A、B、C分别代表黄种人、白种人、黑种人。并且，每个子问题A、B、C又按照地域的不同被分成更小、更简单的子问题，例如，子问题的子问题a、b、c…。
当然，也可以先进行多角度处理步骤、再进行人种处理步骤。
另外，在特征信息形成步骤和样本训练步骤之间，进行人种处理步骤、多角度处理步骤、地域处理步骤时，该三个步骤(指人种处理步骤、多角度处理步骤、地域处理步骤)可以按照任意顺序进行。
接下来，在样本训练步骤S4中，利用在多角度处理步骤S3(或包括人种处理步骤和/或地域处理步骤)中得到的各个特定类别的样本特征信息的子集合(这里，类别可以是按照角度、地域、或者人种的不同进行分类的子集合)以串行或并行的方式对其各个相应的分类器进行训练，得到子处理器。
具体来说，在样本训练时，可以利用每个角度的子集合对其相应的各个分类器分别进行训练。
例如，令χ+与χ-表示关于性别识别问题的正负训练样本。
χ+={(xi+,+1)}i=1l+]]>χ-={(xi-,-1)}i=1l-]]>其中xi∈Rn是输入样本，l+与l-分别是正负样本的总数目。χ+与χ＝可以分别根据角度信息分解成N+与N-个子集。
χj+={(xi+j,+1)}i=1lj+,j=1,···,N+]]>其中1≤N+≤l+，并且∪j=0N+χj+=χ+.]]>χj-={(xi-j,-1)}i=1lj-,j=1,···,N-]]>其中1≤N-≤l-，并且∪j=0N-χj-=χ-.]]>对人脸训练样本集合χ+与χ＝进行分解后，最初的两类问题T被分解成N+×N-个相互独立的更小的两类子问题T(i，j)。T(i，j)的正、负样本集表示如下(T(i,j))+=Xi+]]>(T(i,j))-=Xj-]]>其中(T(i，j))+与(T(i，j))-分别表示子问题T(i，j)的正、负训练样本。在训练阶段，因为所有子集合都是相互独立的，所以可以通过串行或并行的方式进行训练，从而得到每一个子问题的解。由此得到用于识别特定角度的人脸图像的子处理器。当然，如果此处利用每个地域的子集合分别进行训练，就可以得到用于识别特定地域的人脸图像的子处理器；如果此处利用每个人种的子问题(子集合)分别进行训练，就可以得到用于识别特定人种地域的人脸图像的子处理器。
在这里，如图6所示，所谓“并行的方式”是表示，在性别识别的处理器的制作过程中，同时分别以不同的子集合对其各个相应的分类器进行样本训练；所谓“串行的方式”是表示，在性别识别的处理器的制作过程中在时间上依次以各个不同的子集合对各个相应的分类器进行样本训练。
在这里，所谓“分类器”是表示，当输入的数据含有多个样本，每个样本又有多个属性时，将其中一个特别的属性称作类(例如，相似程度的高，中，低)。分类器的目的就是分析输入的数据，并建立一个模型，并用这个模型对未来的数据进行分类。
分类器的种类没有特殊限定，例如，可以使用支持向量机分类器、人工神经网络分类器、模糊分类器、贝叶斯(Bayes)分类器、模板匹配分类器、几何分类器等。
图7是表示集成步骤S5的简要示意图。为了得到整个问题T的解，本发明采用最大最小模块化分类器(Min-Max Modular Classifier)将N+×N-个子处理器(即，训练后的N+×N-个分类器)进行集成。该最大最小模块化分类器包括N+个MIN集成单元和一个MAX集成单元。Min集成单元和Max集成单元的最大最小化模块化运算规则如下Mi(x)=minj=1N-M(i,j)(x),i=1,...,N+]]>M(x)=maxi=1N+Mi(x)]]>其中，M(i，j)(x)表示对应于利用子集合T(i，j)训练分类器得到的分类函数。Mi(x)表示由MIN集成单元集成N-个子处理器(即，训练后的N-个分类器)得到的分类函数。最后，需要将每个子处理器(训练后的分类器)的结果根据如图7所示的最大最小化模块化运算规则进行集成，就可以得到用于性别识别的处理器。它的输入端口和输出端口如图中所示。
以下，参照图8对本发明的性别识别装置以及利用该装置进行性别识别的方法的实施方式加以说明。
如图8所示，本发明的性别识别装置1包括用于输入待识别的人脸图像的输入装置2、用于识别性别的处理器3、以及、用于输出处理结果的输出装置4。
输入装置2只要是能够输入人脸图像的装置，就没有特别限定，例如，可以是摄像机、摄像头、数码照相机、扫描仪等。
处理器3是任何一种如图1所示的本发明的用于识别性别的处理器的制作方法来制作而得到的处理器。
输出装置4只要能输出处理器识别的结果就没有特别限定，例如，可以是显示器、或根据实际需要如报警器等。
如图8所示，再利用该性别识别装置1进行性别识别时，首先，从输入设备2输入有待识别的人脸图像到处理器3中。之后，在处理器3中，首先形成人脸特征信息，再将该特征信息输入到以最大最小模块化分类器集成的子处理器集合中。在该子处理器集合中，每个子处理器对该有待识别的人脸图像的性别识别后，将识别结果输出，这样得到的多个结果，再经过最大最小模块化分类器的处理得出一个最终结果，并将该结果输出至输出装置4。例如，在图8中，每个子处理器a、b…n都进行对输入的有待识别的人脸图像的识别，并将各自的识别结果输出给最大最小模块化分类器，该最大最小模块化分类器处理这些结果后得出一个最终结果，并将其输出给输出装置4，由输出装置给出识别结果。
图9表示了一例使用本发明的性别识别装置进行的性别识别而得到的结果显示。其中4表示输出显示器(即、输出装置4)、5是表示输出结果的人机界面，6是被显示的输出结果(识别结果)。7是在该实施例中用摄像机输入的图像。8表示的框中是被识别的人脸图像。
权利要求
1.一种用于识别性别的处理器的制作方法，其特征在于，包括样本分类步骤，将样本按性别分成两类，得到两类样本；特征信息形成步骤，对分类的样本进行预处理，得到以预处理后的图像像素作为特征矢量的样本的特征信息；多角度处理步骤，按照样本的角度范围对所述样本的特征信息进行分类，使样本特征信息按照角度范围分解，得到各个相互独立的特定角度的样本特征信息的子集合；样本训练步骤，利用各个所述的特定角度的样本特征信息的子集合以串行或并行的方式对其相应的分类器进行训练，得到子处理器；集成步骤，对所述各个子处理器，利用最小最大模块化分类器来进行集成，得到用于识别性别的处理器。
2.根据权利要求1所述的用于识别性别的处理器的制作方法，其特征在于在特征信息形成步骤和样本训练步骤之间，还包括人种处理步骤，在该人种处理步骤中按照样本的人种的不同对样本特征信息进行分类，使样本特征信息按人种分解，得到各个相互独立的特定人种的样本特征信息的子集合，并在所述样本训练步骤中，利用各个所述的特定人种的样本特征信息的子集合以串行或并行的方式对其相应的分类器进行训练。
3.根据权利要求1所述的用于识别性别的处理器的制作方法，其特征在于在特征信息形成步骤和样本训练步骤之间，还包括地域处理步骤，在该地域处理步骤中按照样本地域的不同对样本特征信息进行分类，使样本特征信息按地域分解，得到相互独立的特定地域的样本特征信息的子集合，并在所述样本训练步骤中，利用各个所述的特定地域的样本特征信息的子集合以串行或并行的方式对其相应的分类器进行训练。
4.根据权利要求1所述的用于识别性别的处理器的制作方法，其特征在于在特征信息形成步骤和样本训练步骤之间，还包括地域处理步骤，在该地域处理步骤中按照样本地域的不同对样本特征信息进行分类，使样本特征信息按地域分解，得到相互独立的特定地域的样本特征信息的子集合；和人种处理步骤，在该人种处理步骤中按照样本人种的不同对样本特征信息进行分类，使样本特征信息按人种分解，得到相互独立的特定人种的样本特征信息的子集合；并且在所述样本训练步骤中，分别利用各个所述的特定地域以及所述的特定人种的样本特征信息的子集合以串行或并行的方式对与其相应的分类器进行训练。
5.一种利用识别性别处理器来进行性别识别的方法，其特征在于所述识别性别处理器是利用权利要求1～4所述的任何一种制作方法制作的识别性别处理器，并将待识别的图像输入到所述识别性别处理器中进行处理，在性别识别处理器中，首先在子处理器中进行处理得到子处理器的处理结果，之后，由最小最大模块化分类器对该结果进行处理，从而得到最终的识别结果，并将结果输出给输出装置。
6.一种性别识别装置，其特征在于，包括用于输入待识别的人脸图像的输入装置，利用权利要求1～4所述的任何一种制作方法制作的用于识别性别的处理器，用于输出处理结果的输出装置。
7.根据权利要求6所述的性别识别装置，其特征在于所述输入装置是选自摄像机、摄像头、数码照相机或是扫描仪之中的任意一个。
8.根据权利要求6所述的性别识别装置，其特征在于所述输出装置是显示器或是报警器。
全文摘要
本发明涉及一种基于人脸图像的用于识别性别的处理器的制作方法，该制作方法包括样本分类步骤、特征信息形成步骤、多角度处理步骤、样本训练步骤、集成步骤。在特征信息形成步骤和样本训练步骤之间，还可以包括人种处理步骤和/或地域处理步骤。本发明还涉及利用该方法制作的处理器来进行性别识别的方法以及用于该性别识别方法的性别识别装置。根据本发明的识别性别的处理器的制作方法、性别识别方法以及性别识别装置，能显著提高样本的训练速度和识别性别的准确率和速度。
文档编号G06K9/00GK1967561SQ200510115340
公开日2007年5月23日 申请日期2005年11月14日 优先权日2005年11月14日
发明者刘宏建, 李淑梅, 王海峰, 池田整, 吕宝粮 申请人:株式会社日立制作所