专利名称：一种二维人脸图像的识别方法
技术领域：
本发明涉及模式识别和计算机视觉领域，特别涉及一种二维人脸图像的识别方法。
技术背景虽然对人脸识别的研究持续了数十年，但是，时至今日，它依然是模式识别领域中一个 极具挑战性的问题。人脸识别方法还有一系列难以解决的问题，例如当人脸姿态、表情以及 环境光照(PIE， Pose Illumination Expression)发生较大变化的时候，识别率将急剧下降。如 何解决人脸在不同姿态、光照和表情条件下的识别问题，仍然是当前研究的热点。对于姿态和光照变化的人脸识别问题，如果采用传统的方法，必须获得足够多的不同姿 态和光照条件下用于学习的人脸训练图像，然而在很多情况下，这些图像并不容易获得。其 实，即使待识别的测试图像存在明显的姿态变化，也仅仅需要展示一张正面的标准人脸图像 就能够进行识别的工作了，这是因为人脑具有联想的功能。为了实现不依赖姿态和环境光照的人脸识别，现有技术中提出下述方法一种是"不变特征"的方法，是在图像中提取对姿态、光照变化不敏感的特征作为原始图 像的测度，比如边界图(edge maps)。从近年的测试来看，相对于直接利用原始图像数据进 行识别的算法来说，不变特征的研究取得了很大的进步，使得算法对光照变化在一定程度上 有了适应性。但是没有任何一种特征可以独自克服图像的光照变化，并且，很难获得姿态变 化下的不变特征。另外一种是"变化校正"的方法，主要是人脸三维形变模型，利用对输入的两维人脸图像 进行形状和纹理的双重匹配，能够获得不依赖于姿态的三维人脸特征，从而很好地解决不依 赖于姿态的识别问题。当被用于侧面人脸的姿态矫正，实验结果显示有非常好的识别性能。 但是由于它需要对形状和纹理同时进行优化，耗时巨大且易陷入局部最小，且初始的特征点 位置需要手工获得，不可能满足实际应用的要求。因此，现有技术中要么是无法克服光照变化对图像产生的影响，要么是耗时，需要手工 操作。
发明内容
为了实现自动化和快速准确的进行人脸的识别，并且在识别过程中，克服图象的姿态和 光照变化的影响，本发明提供了一种二维人脸图像识别的方法。本发明是基于一种变化模拟方法，通过建立人脸三维形变模型，将二维图像在模型约束 下重构得到特定人的三维人脸，由此生成虚图像并训练变化限制分类器，达到提高人脸识别 的准确率的目的。具体方法如下一种二维人脸图像的识别方法，所述方法包括根据已知三维人脸数据库，建立三维人脸形变模型；输入二维人脸图像进行注册，利用所述三维人脸形变模型，对所述注册后的二维人脸图 像进行三维重建，得到对所述注册的二维人脸图像的三维重建结果；通过建立光照模型，从所述三维重建结果中生成姿态、光照变化的虚图像； 利用所述虚图像进行变化限制分类器设计；输入待识别的二维人脸图像，进行特征提取和压縮处理，然后将所述抽取和压縮处理后 的特征输入到所述变化限制分类器中，输出分类结果，最后实现了对人脸图像的识别。所述通过建立光照模型，从所述三维重建结果生成姿态、光照变化的虚图像的步骤，具 体包括制定光照模型，获得人脸姿态旋转角度值的区间和光源参数值对的区间；根据所述人脸姿态旋转角度值的区间和光源参数值对的区间，选取至少一个人脸姿态旋转角度值和光源参数值对；根据所述人脸姿态旋转角度值和光源参数值对，对所述三维重建结果进行三维几何变换； 利用所述光照模型，在光照条件下，合成所述三维几何变换后的图像，并进行投影变换；对所述投影变换后的图像进行消隐处理，生成姿态、光照变化的虚图象。所述利用所述虚图像进行变化限制分类器设计的步骤，具体包括执行 "实现最优分类，其中，样本A属于iV个模式类别C—q,C2,…,cJ之一，ZeC为分类结果，；4。/A)为后验概率；执行c、啤，户fcW^/。)实现后验概率p(。/X,)由类别先验概 率P(cj和类条件概率密度p(J^/c」来表示；
得到最大条件概率分类器，其中，P(、;) 12mSM为变化因素的先验概率，M为变化因素的 阶数；利用所述虚图像进行分类器参数的估计，完成变化限制分类器设计。 在本发明中，所述利用所述虛图像进行变化限制分类器设计的步骤，还包括执行"j)2+i》("",))2得到一种离散变化的修正二次鉴别函数分类器，其中，"， 为类。在变化因素、作用下的分 布均值，\ ,为类。在变化因素^作用下的分布的协方差矩阵，^。,的特征对为w,^;)， P和 A为通过实验确定的参数。本发明提供的技术方案的有益效果是- '利用了人脸检测定位的方法，通过对正面人脸特征点自动进行检测，使得重建过程完全 自动化；通过对虚图像设计变化限制分类器，可以获得很高的识别率，在训练过程利用虚图 像，不需要在识别阶段进行姿态的校正，从而使得识别过程速度有很大提高。
图1为本发明实施例1中的人脸图像识别方法的流程图；图2为本发明实施例1中的透视投影的示意图；图3为本发明实施例1中立方体的各种正投影示意图；图4为本发明实施例1中的图像二义性示意图；图5为本发明实施例1中的Phong光照模型图；图6为本发明实施例2中的识别系统中训练阶段的框架图；图7为本发明实施例2中的识别系统中注册阶段的框架图;图8为本发明实施例2中的识别系统中测试阶段的框架图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进 一步地详细描述。 实施例1的控制下，这样的确定和检测结果被用于在拍摄人物的肖像时，在面部表情改变成微笑时控制自动快门释放，或者在拍摄身份证(ID) 照片时，在面部不是微笑时控制自动图像拍摄。在CPU 21的控制下，根据检测眼睛状态的结果确定被拍照的 的每个人是否正在眨眼，并且在所有的被拍照的人都不眨眼时自动 释放快门。根据检测被拍照的人的眼睛状态的结果，能够估计人注 视的方向，并且能够在人注视成像透镜时释放快门。根据检测眼睛 状态的结果，4企测眼睛的颜色不满意的非理想情况(例如在眼睛是 "红色"或者眼球反光时)，并且能够控制快门操作，或者能够校 正所拍摄的图像的颜色。根据检测嘴或者嘴唇状态的结果确定被拍照人是否正在说话， 并且，在人正在i兌话的情况下，能够自动打开麦克风，或者确定结 果可以被用于控制快门操作定时。因此，在不改变内部构造的情况下能够将各种高附加值的功能 包括在成像设备中，由此以低成本制造精密的产品。可以在不改变 基本构造的情况下通过灵活地改变产品的失见格将新产品才殳入市场。如上述流程图，在第二面部检测处理中，可以以并4亍方式而不 是以串行方式来4丸行由面部4企测电路14 #1^亍的面部才企测和由可编 程信号处理电路15执行的面部检测。例如，面部检测电路14执行 面部检测，而可编程信号处理电路15根据由面部检测电路14获得 的检测结果依次对下一个帧的图像执行面部检测。在这种情况下， 在可编程信号处理电3各15冲丸行面部4企测的同时，面部4企测电路14 对同一帧的图像开始执行面部检测。可选的，如果面部检测电路14 能够比可编程信号处理电^各15更快地完成面部4企测，则面部#企测 电3各14 ^"下一个帧以后的帧开始进4于面部4企测，乂人而面部4企观'j电 路14将在由可编程信号处理电路15执行的面部检测结束的同时完
构成PCA子空间的基，即形状特征向量》，可由以下特征分解得到-<formula>formula see original document page 8</formula>3.得到了三维人脸形变模型<formula>formula see original document page 8</formula>其中，f为平均人脸形状向量，^为fi:个形状系数，1,为第y个形状特征向量，似s为截取的形状主元个数；同理f为平均纹理向量，A为第,个纹理系数，G为第7'个纹理特征向 量，Mr为截取的纹理主元个数。通过变化系数^和A，即将形状和纹理特征向量分别按照 不同的系数进行线性组合，就能够得到不同形状、不同纹理的三维人脸。由于不同三维人脸的几何点数量不一定相同，需要建立稠密点对应并通过插值等方法将不同人脸的几何点数规格化成相同数量，通常可以使用光流方法或者标记锚点的方法。假设 人脸数据满足正态分布，经过(3)式的正交变换后形变参数满足下式(4)的分布<formula>formula see original document page 8</formula>，即形变参数不是任意变化的，而是服从该概率分布，从而可以避免畸变人脸的产生。 步骤102:输入二维人脸图像进行注册，利用所述三维人脸形变模型，对所述注册后的 二维人脸图像进行三维重建，得到对所述注册的二维人脸图像的三维重建结果。输入二维人脸图像进行注册，并对注册后的二维人脸图像进行三维人脸重建，方法很多，常见的为(随机)梯度法、(随机)牛顿法、Levenberg-Marquardt法等，本实施例中采用的是 Levenberg-Marquardt法，对特定人脸的三维重建过程为步骤102a:将上述步骤101中得到的三维人脸形变模型与特定人脸图像进行匹配得到形 变参数5和》，即调节形变参数，使模型产生的三维人脸在特定视角看到的图像与待识别的 二维人脸图像的误差最小。具体步骤为1.调节形变参数5时会合成不同形状的三维人脸图像，同样，当形变参数》改变时，贝l) 会形成不同纹理的三维人脸图像，将二维人脸的图象依次进行三维几何变换。三维几何变换通过三维点在空间中的位置平移、縮放、旋转，如果用齐次坐标的形式， 可以用矩阵乘法的形式表示出来。1)平移变换—100《—Xx + ^010y少001('10001-1_1(5)其中;c,_y,z是平移前的三维点坐标， 向的平移。 2)缩放变换', 是平移后的点坐标，1 A是延U，Z轴方\000—0000 0000000&0000100010001(6)其中&，、, 分别为x，乂z轴縮放比例。 3)绕坐标轴的旋转变换右手坐标系下相对坐标原点绕坐标轴旋转《角的变换绕Z轴旋转:<formula>formula see original document page 9</formula>(7)绕F轴旋转:<formula>formula see original document page 9</formula>绕Z轴旋转:<formula>formula see original document page 9</formula>
合起来可以得到，三维几何变换的表达式为<formula>formula see original document page 10</formula>;，S(Sx,Sy,Sz)为縮放矩阵:<formula>formula see original document page 10</formula>M(ty,ty,to)为平移矩阵:<formula>formula see original document page 10</formula>其中，[x y zj为旋转前的顶点坐标，[;c' / zT为旋转后的顶点坐标，A, ,《分 别为绕;c,乂z轴旋转的角度。2.将经过三维几何变换后的人脸图像进行投影变换。把三维物体变为二维表示的过程称为投影变换。透视投影及其常用的一种简化形式为正 投影，以x。j。，z。表示物体上的点坐标，、，3v、为投影点坐标，如图2所示，其中图a为透 视投影观察坐标系图，图b为透视投影计算图。透视投影投影射线汇聚于投影中心，或者说投影中心在有限远处的投影。如图3所示， 为透视投影的示意图和坐标计算方法。如图3所示，透视投影变换的观察坐标系中，投影中心处于坐标系原点，投影平面与z轴 垂直并距原点距离为d 。由相似三角形关系得<formula>formula see original document page 10</formula>(11)正平行投影正投影的投影方向与观察坐标系的某个坐标轴方向平行，即投影方向与另 外两个坐标轴组成的平面垂直。图4给出了立方体的各种正投影。在观察坐标系中进行平行正投影很方便，如果是按Z方向投影，物体的投影图坐标便与 它的z值无关，所以去掉z变量便是三维物体的二维投影描述。沿z方向正投影的变换可表示<formula>formula see original document page 11</formula>(12)对三维模型上的一个顶点[x少zf，经过(10)几何变换后的坐标为[x' j' zf。使用正投影模型可以得到该点在图像平面上的投影坐标为<formula>formula see original document page 11</formula> (13) 其中^Wt力为二维图象的宽度，力e t为二维图象的高度，eo^e为三维视区边界的长度。 如图4所示，由于投影变换失去了深度信息，往往导致图形的二义性。要消除二义性，就必须在绘制时消除被遮挡的不可见的线或面，习惯上称作消除隐藏线和隐藏面，或简称为消隐。经过消隐得到的投影图称为物体的真实图形。 消隐可以采用Z-buffer、扫描线、光线投射等。前述中的三维人脸形变模型都是基于顶点计算的，即三维人脸的三维顶点经投影后形成 二维的点，这会导致形成的二维图像不连续。为了构造真实感的二维虚图像，必须将三维人 脸的点形式变换为面形式，将原始的三维点连接为三维空间中的三角形面片，这一步称为三 角剖分。三角剖分有很多方法，例如，逐点插入方法实现的三角剖分算法过程如下a. 遍历所有散点，找出点集的包容盒，得到作为点集凸壳的初始三角形并放入三角形链表；b. 将点集中的散点依次插入，在三角形链表中找出其外接圆包含插入点的三角形(称为 该点的影响三角形)，删除影响三角形的公共边，将插入点同影响三角形的全部顶点连接起 来，从而完成一个点在Delauney三角形链表中的插入；c. 根据优化准则对局部新形成的三角形进行优化(例如互换对角线等)。将形成的三角 形放入Delauney三角形链表；d. 循环执行上述第2歩，直到所有散点插入完毕为止。3.使用上述经投影变换后的人脸图像与输入的待识别的人脸图像对应像素点的灰度差的 平方和作为两图像的误差，则要求模型参数5和》使得下式最小<formula>formula see original document page 11</formula> (14)其中 是给定人脸图像，为经三纟t几何变换得到的二维图象；/m^,是模型产生的人脸图
像，由于4。^是由三维模型产生的模型图像，所以在上面误差中除了模型参数^和^外，还 涉及摄像机的水平和俯仰角度、尺度变换因子、像平面上的旋转和平移、环境光和方向性光 源等与投影和光照有关的参数，使用-来表示这些参数。
4.对参数^^,P使用先验经验进行合理性约束。因为一张二维图像可能对应着多个可能 的三维形体，这些当中有一些并不是真实的人脸。5,-由等式(4)给定的分布进行约束，/3的 先验分布可用正态分布进行估计。给定5,A-时，假设图像/,，,的观察受标准差为c^的高斯 噪声的影响，b口
尸(D力) exp
(15)
从而问题转化为给定特定人脸图像的最大后验估计问题。由贝叶斯(Bayesian)估计理 论，后验概率的最大化等价于下式代价函数的最小化
五-与+!;《+!^+z"一f')2
Wa ^ A , 《 (16)
a为第《'个摄影参数(投影、光照等参数)，s和^,分别为该参数的均值和标准差。从而模 型对于特定人脸图像的匹配问题转化为上式关于AA-的最小优化问题。可以使用确定性优
化或随机优化算法来求式(16)的最优解。从而得到特定的人脸三维图像。该三维图像包括纹 理和形状信息。
步骤102b:利用输入的人脸图像对模型进行纹理映射。对于三维模型上任意一点，其空
间坐标为[x y zf ，由(12)式和(13)得到其在图像平面上的投影坐标为[A尸/，将该坐标 上输入的人脸图像的像素值作为三维模型上对应点的纹理，从而得到三维人脸的纹理重建。
因此，通过步骤102，完成了将二维人脸图像的三维重建，包括形状和纹理信息，并且， 对重建结果中的纹理作进一步映射处理，获得了更好效果的纹理重建结果。
步骤103:通过建立光照模型，从上述三维重建结果中生成姿态、光照变化的虚图像。
具体步骤如下
步骤103a:对上述步骤102中得到的人脸三维图像，制定光照模型，可以是采用Phong 模型，也可以是其他的光照模型；其中，Phong模型的制定方法如下-
当光照射到物体表面时，光线可能被吸收、反射和透射。被物体吸收的部分转化为热， 反射、透射的光进入人的视觉系统，使我们能看见物体。为模拟这一现象，人们建立了一些 数学模型来替代复杂的物理模型，这些模型就称为光照模型。
如图5所示为Phong光照模型图，其中图a为Phong光照模型的示意图，图b为Phong 光照模型的几何向量图。
在Phong光照模型中，有三个分量环境光、漫反射和镜面反射。由物体表面上一点尸反
射到视点的光强/为环境光的反射光强、理想漫反射光强、和镜面反射光的总和，即:<formula>formula see original document page 13</formula>
其中/。为环境光的光强，《。为物体对环境光的反射系数，/p为入射光强，i^是与物体 有关的漫反射系数，0<i^<l，尺,是与物体有关的镜面反射系数。物体表面上点尸的法向 为iV，从点尸指向光源的向量为Z，视线方向为F，反射方向为i 。
步骤103b:在确定了光照模型后，就可以根据人脸姿态三维的旋转角度值《,《,《的区
间和光源参数的区间，选取一定数量的《，《,《值和光源参数值对，对特定人的人脸图像进行 三维几何变换，利用光照模型合成光照条件下的图像，进行投影变换，将三维人脸投影到图 像平面，并进行消隐，从而产生光照和姿态变化的人脸虚图象。
步骤104:利用虚图像进行变化限制分类器设计。 具体包括如下步骤
步骤104a:预处理。在模式识别技术领域中，样本的预处理对于后面步骤中的分类器的 性能十分重要。样本所具有的变化是否能体现真实样本的变化，采用的样本预处理方法是否 能减小模式类内的变化，将直接影响分类器的性能。因此，基于对上述问题结果的最优化， 本实施例中将人脸样本的特征矢量Xf经过预处理过程变换为X,，采用如下的方法；
首先，对得到的虚图像进行特征点检测，特征点可以是指定的任意点，利用AdaBoost 等算法进行人眼等特征点的检测。
AdaBoost算法是人脸检测的常用算法。它通过利用一些固定大小的包含人脸特征点样本 和背景样本，训练产生一个能够识别特征点是否存在的分类器。然后通过在输入的人脸图像 上进行窗口搜索，找到包含特征点窗口，从而确定特征点的位置。
然后，对特征点检测后的虚图像进行几何归一化包括将人脸图像的主要器官位置矫正 到标准位置，然后根据器官位置剪裁出人脸区域。人脸矫正的目的是将人脸的主要器官矫正 到指定位置，减小样本间的尺度、平移和平面旋转差异。矫正的方法是对图像进行二维仿射 变换(平移、放缩和旋转)将标定的器官位置变换到定义的标准位置。剪裁的目的是使人脸 样本尽量少地引入背景干扰，使人脸样本的器官位置具有一致性。
最后，对几何归一化处理后的虚图像进行灰度归一化由于外界光照、成像设备等因素
可能导致人脸图像亮度或对比度异常，出现强阴影或反光等情况。所以还需要对几何归一化
后的人脸样本进行灰度均衡化处理，改善其灰度分布，增强模式间的一致性。虽然目前的灰 度预处理方式都不可能从根本上解决光照、姿态问题，但是它仍然在很大程度上改善了识别 算法的性能。常用的图像灰度均衡化方法包括灰度直方图均衡、照度平面修正和灰度均值、
方差归一化等。
步骤104b:特征抽取和压縮。虚图像中的特征进行抽取，是人脸识别中非常关键的环节。
常用的特征有灰度特征、边缘特征、小波特征、Gabor特征等。本发明实施例以Gabor特征 为例。
在获得长度为丄的初始特征矢量X,后，可以进一步进行特征压縮，从中抽取具有鉴别能 力的特征，例如利用前述中的PCA、 LDA或两者相结合，同时改善特征的分布，降低特征的 维数，从而提高系统的识别性能。
步骤104c:利用虚图像进行分类器设计，这有很多方法可以实现，常用的有最小欧氏距 离和二次分类器等方法。
在传统的人脸识别中，面对的都是小样本问题，即在少量甚至只有一张模板图像下的识 别问题。如果按传统的单模板或少量模板的情况进行分类器设计，即不能利用大量虚样本所 提供的信息，也不能避免虚图像所造成的缺陷，有可能会造成识别性能的下降，因此，本发 明实施例在二次分类器的基础上，提出一类基于虚图像特点的变化限制分类器(VCC， Variation Conscious Classifier)及其一种特殊形式变化限制修正二次鉴别函数分类器(VC-MQDF)。
迄今为止，贝叶斯(Bayesian)决策理论是分类器设计的理论基础，并获得了广泛的应 用，也取得了较好的识别性能，成为人脸识别中分类器设计的主流方法。贝叶斯决策理论指
出设样本Z,属于iV个模式类别C-^,C2,…,Cwl之一，如果已知Z,属于类别。，1S J、iV的
后验概率为M。/I/)，那么执行如下的判决规则将实现最小错误意义上的最优分类
<formula>formula see original document page 14</formula> (18)
其中e C是分类结果。通常后验概率P(。/A)由类别的先验概率户(c」和类条件概率密 度乂Z〃c」来表示'则式(18)成为
<formula>formula see original document page 14</formula> (19)
假设各人脸类别的先验概率相等，即P^^P(C,) 1S/,J、W，则最大后验概率变为最大 类条件概率密度准则
<formula>formula see original document page 14</formula> (20)
实际应用中，类条件概率密度的函数开》式和参数通常都是未知的。为了实现贝叶斯决策，分类器设计的一种方式是利用训练样本对类条件概率密度进行估计，即估计类条件概率密度 的函数形式及参数。但目前在有限数量的训练样本上尚难以通过统计方法得到类条件概率的 函数形式，因此该函数形式通常由经验方法预先给定。采用不同方法对p(X,/。)进行建模， 就得到不同形式的鉴别函数和对应的分类器。下面介绍一些常用的方法。
目前的人脸识别基本都是在小样本情况下进行的。如果假设每个类别都具有高斯分布， 就可以得到式(21)的二次鉴别函数分类器
<formula>formula see original document page 15</formula>(21)
其中& )=(<formula>formula see original document page 15</formula>为类^的均值，、是类。的协方差矩阵。
如果每类的协方差矩阵都相等，类内各特征间相互独立，具有相等的方差。此时式(21) 的分类器变为最小距离分类器(MDC):<formula>formula see original document page 15</formula> (22)
其中，a为类。的均值，所以在小^本情况下只需要估计类均值即可。
对本发明实施例中在光照、旋转变化因素K的作用下所产生的大量虚图像，类条件概率 分布普遍存在着多峰和非对称等现象，难以用简单的高斯分布来有效地描述，而且当拥有大 量样本时，估计随机变量的高阶距成为可能。基于这个考虑，本发明实施例设计了在旋转变 化变化因素r限制下的分类器，以更好地描述人脸特征的类条件概率分布，称为变化限制分 类器(Variation Conscious Classifier,简称VCC)。
如果在估计类条件概率密度的时候，考虑变化因素的存在。此时，(20)式的最大条件概
率分类器为
-<formula>formula see original document page 15</formula>其中M为变化因素的阶数。
在此将变化因素进行了离散化，在实际中，变化都是连续的，比如姿态变化，严格来说， (23)式中的求和应当是积分，在此为了简化，采用了离散化处理，称之为离散变化(DV， Dicrete Variation).其中/^ ,) 1《wS M为变化因素的先验概率，在本发明实施例中假设先验概率相 等，则上式为
<formula>formula see original document page 15</formula>采用不同方法对P(^0/^，^)进行建模，就得到不同形式的变化限制分类器。确定鉴别 函数的形式后，就可以利用虚图象进行分类器训练，估计分类器的参数。训练完成后可以根
据鉴别函数，代入进行(24)式识别。
利用所述进行特征抽取和压缩处理后的虚图像进行分类器参数的估计，从而完成变化限 制分类器设计。
如果采用修正二次鉴别函数分类器(MQDF)分类器作为鉴别函数，可以得到一种 DV-MQDF分类器。形式为
(25)
式中为类。在变化因素、作用下的分布均值，2,, ，为类。在变化因素、作用下的分布的 协方差矩阵，2^,的特征对为(义,A)， ^和A为常数。本实施例中/72取所有类别的第^:+1个 本征值估计量4+1的均值，々通过实验确定。'
估计(25)式的参数可以采用现有的估计样本均值、协方差的方法，并进行特征值分解来 进行。
歩骤105:输入待识别的二维人脸图像，进行抽取和压縮处理，然后将抽取和压缩处理 后的特征输入到变化限制分类器中，输出分类结果，最后实现了对二维人脸图像的识别。由 于分类结果与人脸的一一对应关系，所以，实现了人脸身份的识别。
W ，
S幼W - ))2+,,))2 +h
实施例2
本实施例以两个人脸数据库为例，说明本发明中的二维人脸图像识别的过程。 人脸数据库一为CMUPIE人脸库的一个子集，包含67个人的脸部图像，每人有8个姿
态。使用一张正面人脸图象进行注册。该数据库为二维图像数据库，用于注册阶段的数据输入。
人脸数据库二为来源于488个中国人的三维人脸数据库，是通过三维扫描仪获取的，进 行预处理后可以根据实施例1步骤101中的建立人脸三维形变模型。接下来的流程具体实施 时分为训练、注册、识别三个阶段，如图6、图7和图8所示，具体流程介绍如下
步骤201:训练阶段。
对于输入的正面人脸首先自动检测人脸区域。
对人脸区域，进行平面旋转的矫正和尺度、灰度归一化以后，得到180X280大小的人脸。 进行三维人脸重建得到特定人的人脸三维图像。
然后根据人脸三维图像在《[-45。,45。]和《.[-90°,90°]区间范围内，采用正投影模型，生成
16随姿态变化的虚图像。对虚图像提取Gabor特征，通过先训练PCA投影子空间，得到PCA投影矩阵，存储PCA 投影矩阵，然后用压縮后的特征训练LDA投影子空间，得到LDA投影矩阵，与PCA投影矩 阵相乘，得到总的特征压縮矩阵，存储这个压縮矩阵以便后面阶段进行特征压缩。PCA与上述实施例1中一样，LDA是一种常用的有监督的线性降维方法，它寻找一个 线性子空间，以使得样本在该子空间上投影的类内散布紧密、类间散布分散。以人脸图像为 例，具体做法如下首先将所有的两维人脸图像按照行序或者列序排列成列向量的形式 x, / = l,2,...,iV。这样一幅图像对应了高维空间中的一个样本。假设这些样本共分为c类，每 类有iV,个样本，则有1 w总均值m二^;gx,各类均值m,=去J . = l,2,..,c)c (26) 类内散布矩阵5; = J Z (x; --w,)7'类间散布矩阵& =￡iV,(w, - ——, - mf构成LDA子空间的基『ia4 = argmax 解得到=从w, (27)步骤202:注册阶段。对于输入的含人脸图像，首先检测人脸区域。对人脸区域，进行平面旋转的矫正和尺度、灰度归一化以后得到Xw。"进行三维人脸重 建得到特定人的三维人脸。然后用训练阶段同样的方法，根据人脸三维图像在《[-45， 45]和《[-90， 90]区间范围 内，采用正投影模型生成姿态变化的虚图像。对虚图像提取Gabor特征Xc。6，用前面训练得到的特征压縮矩阵进行特征压縮，然后用 得到的々训练身份的DV-MQDF分类器。步骤203:识别阶段。对于输入的含人脸图像，对人脸区域进行平面旋转的矫正和尺度、灰度归一化以后得到=[Wl,w2,...,Wm]可由以下广义特征值分XNor。,，提取Gabor特征XGab，然后进行特征压縮，最后用DV-MQDF分类器对得到的Xf进行 分类识别。
在实施例中，采用本方法对8个姿态的人脸进行识别，分别是c05 (左转22.5°)、 c37 (左 转45°)、 c02 (左转67.5°)、 c29 (右转22.5°)、 cll (右转45°)、 c14 (右转67.5°)、 c09 (低 头)、c07 (抬头)。分别达到了 70%,94%， 100%， 100%,95%,68%的首选识别率。本发明实施例，通过对正面人脸特征点自动进行检测，使得重建过程完全自动化；利用 该三维人脸重建算法得到充分的不同姿态下的虚拟人脸图像，从而在仅有一张正面标准人脸 图像的情况下使得下一步的训练、识别过程可以实施；通过在训练阶段使用变化模拟方法生 成姿态和光照变化的虚图象，增加学习到的样本变化情况，以提高图像的姿态和光照与样本 发生变化时的识别率，并且避免在测试阶段进行费时的姿态校正；通过对虚图像设计变化限 制分类器，可以获得很高的识别率，在训练过程利用虚图像，不需要在识别阶段进行姿态的 校正，从而使得识别过程速度有很大提高。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之 内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种二维人脸图像的识别方法，其特征在于，所述方法包括根据已知三维人脸数据库，建立三维人脸形变模型；输入二维人脸图像进行注册，利用所述三维人脸形变模型，对所述注册后的二维人脸图像进行三维重建，得到对所述注册的二维人脸图像的三维重建结果；通过建立光照模型，从所述三维重建结果中生成姿态、光照变化的虚图像；利用所述虚图像进行变化限制分类器设计；输入待识别的二维人脸图像，进行特征提取和压缩处理，然后将所述抽取和压缩处理后的特征输入到所述变化限制分类器中，输出分类结果，最后实现了对人脸图像的识别。
2. 根据权利要求1所述的二维人脸图像的识别方法，其特征在于，所述通过建立光照模 型，从所述三维重建结果生成姿态、光照变化的虚图像的步骤，具体包括制定光照模型，获得人脸姿态旋转角度值的区间和光源参数值对的区间； 根据所述人脸姿态旋转角度值的区间和光源参数值对的区间，选取至少一个人脸姿态旋 转角度值和光源参数值对；根据所述人脸姿态旋转角度值和光源参数值对，对所述三维重建结果进行三维几何变换； 利用所述光照模型，在光照条件下，合成所述三维几何变换后的图像，并进行投影变换； 对所述投影变换后的图像进行消隐处理，生成姿态、光照变化的虚图象。
3. 根据权利要求1所述的二维人脸图像的识别方法，其特征在于，所述利用所述虚图像 进行变化限制分类器设计的步骤，具体包括执行c =argl^a P(。/z/)实现最优分类，其中，样本J^属于iV个模式类别 C二^,C2,…,c^之一，c'eC为分类结果，户(。/Zj为后验概率；执行e、argi^P(。XAA)实现后验概率^^/z」由类别先验概 率尸y和类条件概率密度^Z〃c」来表示；得到最大条件概率分类器，其中，1^m《M为变化因素的先验概率，M为变化因素的 阶数；利用所述虚图像进行分类器参数的估计，完成变化限制分类器设计。
4.根据权利要求1所述的二维人脸图像的识别方法，其特征在于，所述利用所述虚图像 进行变化限制分类器设计的步骤，还包括<formula>formula see original document page 3</formula>得到一种离散变化的修正二次鉴别函数分类器，其中，A，为类。.在变化因素^作用下 的分布均值，5;, 为类。在变化因素、作用下的分布的协方差矩阵，2^的特征对为(义,肩)， v和A为通过实验确定的参数。
全文摘要
本发明公开了一种二维人脸图像识别的方法，属于模式识别和计算机视觉领域。所述方法包括根据已知三维人脸数据库，建立三维人脸形变模型；输入二维人脸图像进行注册，利用三维人脸形变模型，对注册后的二维人脸图像进行三维重建，得到对所述注册的二维人脸图像的三维重建结果；通过建立光照模型，从所述三维重建结果中生成姿态、光照变化的虚图像；利用所述虚图像进行变化限制分类器设计；输入待识别的二维人脸图像，进行特征提取和压缩处理，然后将所述抽取和压缩处理后的特征输入到所述变化限制分类器中，输出分类结果，最后实现了对人脸图像的识别。通过采用本发明的方法，实现了识别过程完全自动化，提高了识别准确率，识别速度也有很大改善。
文档编号G06K9/00GK101159015SQ200710177020
公开日2008年4月9日 申请日期2007年11月8日 优先权日2007年11月8日
发明者镠 丁, 丁晓青, 刘长松, 彭良瑞, 驰 方, 峰 薛 申请人:清华大学