视频序列中的笑脸识别系统及方法

视频序列中的笑脸识别系统及方法
【专利摘要】本发明揭示了一种视频序列中的笑脸识别系统及方法，所述系统包括预处理模块、特征提取模块、分类识别模块。预处理模块通过视频采集、人脸检测、嘴巴检测，从而获得能够直接提取光流特征或PHOG特征的人脸图像区域；特征提取模块采用Optical_PHOG算法进行笑脸特征的提取，得到最有利于笑脸识别的信息；分类识别模块采用随机森林算法根据特征提取模块中得到的大量训练样本的特征向量，通过机器学习的方法，得到笑脸和非笑脸两种类别的分类标准。将待识别图像的特征向量与这个分类器进行对比或匹配等操作，识别出该待识别图像属于笑脸和非笑脸的哪个类别，达到对其进行分类识别的目的。本发明提出的视频序列中的笑脸识别系统及方法，可提高笑脸识别的精确度。
【专利说明】视频序列中的笑脸识别系统及方法

【技术领域】
[0001] 本发明属于人脸识别【技术领域】，涉及一种笑脸系统，尤其涉及一种视频序列中的 笑脸识别系统；同时，本发明还涉及一种视频序列中的笑脸识别方法。

【背景技术】
[0002] 目前，针对笑脸识别的研究主要集中在特定环境、特定数据库中单张图像的笑脸 分类识别，其应用于视频序列中的识别研究并不多，相应的技术也不完善。根据一些使用数 码产品的用户反馈，所体验到的笑脸功能并不理想，在实际应用中存在着很多不足之处。
[0003] 首先，笑脸识别功能的准确性不高。由于人类表情的表现方式有细微和强烈之分、 缓和和激动之分、轻松和紧张之分等诸多形式，所W同一种表情往往表现出不同的面部形 变和强度。
[0004] 其次，笑脸识别功能的敏感度不高。目前有很多产品中的笑脸识别功能只有当被 拍摄者的笑容达到一定程度或者符合一定规范时，甚至是必须露出牙齿，笑脸快口才能起 到作用。
[0005] 此外，笑脸识别功能的实时性也不好。用户面对摄像头，露出微笑，希望在自己的 笑容最为自然的情况下进行捕捉和拍摄，而目前的相机捕捉笑容都有一定的延时，甚至是 很迟缓，结果导致拍出的照片中面部表情反而比人工拍摄的更加僵硬。
[0006] 有鉴于此，如今迫切需要设计一种新的笑脸识别方式，W便克服现有识别方法的 上述缺陷。


【发明内容】

[0007] 本发明所要解决的技术问题是：提供一种视频序列中的笑脸识别系统，可提高笑 脸识别的精确度。
[0008] 此外，本发明还提供一种视频序列中的笑脸识别方法，可提高笑脸识别的精确度。
[0009] 为解决上述技术问题，本发明采用如下技术方案：
[0010] 本发明主要针对人脸图像中笑脸特征的提取方法进行研究，旨在特征提取过程 中，取得更加有效的信息，从而提高笑脸识别的准确性，并将其应用于视频序列环境下的笑 脸识别系统当中。本发明的工作主要分为两个方面：一是结合人脸检测、五官定位等相关技 术，采用有效的特征提取方法对视频序列中的人脸图像进行笑脸特征提取；二是在视频采 集、分类识别等技术的辅助下，结合本发明的特征提取算法，实现视频序列的环境中，完整 的笑脸识别系统。
[0011] 本发明在光流法与P册G(分层梯度方向直方图，Pyramid Histogram of Oriented Gradients)算法的基础上，提出了对光流特征与PHOG特征进行特征融合，即化tical_PH0G 特征提取技术。在化tical_PH0G特征提取中，光流特征采用化rn-Schunck算法对人脸区 域进行提取，得到的特征向量能够表示视频序列中每峽图像之间的相关性信息；PH0G特征 采用sobel算子计算梯度，角度划分为无方向9通道，在对人脸图像的嘴部进行两层金字培 分割之后，对每个分割区域进行HOG提取，得到的特征向量能够很好地携带图像本身的纹 理细节。将两种信息结合之后，所提取的化tical_PHOG特征向量携带了光流特征的同时， 还携带了 PH0G特征，使得从笑脸图像中提取出的特征信息更加饱满。得到了笑脸特征的特 征向量之后，下一步就是利用该些特征进行训练和分类识别。特征的训练是指通过某种方 法（该里主要是机器学习的方法），将得到的该些特征向量按照所属类别进行划分，找到一 种分类规则，能够使该两种类别之间的区别最大。分类识别是指将待识别的特征向量与训 练得到的分类规则进行比较，得出待识别的特征向量所属类别的过程。
[0012] 本发明设计了一个基于视频序列的笑脸识别系统。系统首先对Jaffe人脸表情 数据库中的样本图像，提取特征送入随机森林中进行训练，得出笑脸分类器；然后通过摄像 头进行图像采集，对采集到的人脸图像，提取特征，送入随机森林，结合分类器，进行分类识 另ij，得出识别结果并输出。在该个系统中，特征提取采用光流法、PH0G算法和化tical_PH0G 算法分别实现。
[0013] 一种视频序列中的笑脸识别系统，所述系统包括：
[0014] 预处理模块，通过视频采集、人脸检测、嘴己检测，从而获得能够直接提取光流特 征或PH0G特征的人脸图像区域；
[0015] 特征提取模块，采用化tical_PH0G算法进行笑脸特征的提取，得到最有利于笑脸 识别的信息；
[0016] 分类识别模块，采用随机森林算法根据特征提取模块中得到的大量训练样本的特 征向量，通过机器学习的方法，得到笑脸和非笑脸两种类别的分类标准。将待识别图像的特 征向量与该个分类器进行对比或匹配等操作，识别出该待识别图像属于笑脸和非笑脸的哪 个类别，达到对其进行分类识别的目的。
[0017] 作为本发明的一种优选方案，所述特征提取模块包括化tical_PH0G特征提取单 元，分类识别模块包括随机森林分类识别单元。
[0018] 作为本发明的一种优选方案，所述预处理模块整理数据库，将所用的人脸图像进 行筛选，得到符合实验条件的样本图像；
[0019] 所述特征提取模块完成的功能是根据化tical_PH0G算法从样本集图像或者待识 别图像中提取可W代表其特征的信息，组成特征向量，送入分类识别模块中进行后续识别 工作；该系统采用的样本图像为JAFFE人脸表情数据库。
[0020] 一种视频序列中的笑脸识别方法，所述方法包括如下步骤：
[0021] (1)预处理步骤；
[0022] 预处理步骤中，得到能够直接提取光流特征或PH0G特征的感兴趣区域图像；对于 训练流程来说，其处理对象为化ffe表情库，所做工作为人脸检测与嘴部区域检测，对于识 别流程来说，其处理对象为通过摄像头直接采集到的人脸图像，需要在人脸检测和嘴己检 测之前，首先进行简单的灰度化处理；
[0023] 其中，人脸检测步骤中，通过类化ar特征对人脸特征进行描述，同时采用积分图 方法实现类化ar特征的快速计算，采用Ad油oost级联分类器实现对图像中人脸的检测，得 到人脸区域的位置，并将人脸提取出来；
[0024] 嘴部区域检测基于人脸检测的基础之上，在得到了人脸图像之后，利用先验知识 和图像处理技术，其中包括灰度化、图像增强、二值化等方法，定位到人眼位置，然后根据竖 直方向，两眼之间的位置为嘴部区域在竖直方向的中也点等先验知识，进行嘴部区域检测， 得到嘴己的位置，并将其提取出来；
[00巧](2)特征提取步骤；
[0026] 从人脸图像上，众多特征中提取出能够表达其表情的形变的特征，该里的表情特 征指能够区分其为笑脸还是非笑脸的形变特征，得到最有利于笑脸识别的信息；该些提取 出来的特征的准确性和有效性直接影响到最后的笑脸识别率；由于形变特征能够由像素点 的运动方向、图像纹理等很好地表示；
[0027] 其中，光流特征的提取通过化rn-Schunck的全局平滑约束，结合光流基本约束方 程计算得到，PH0G特征通过对嘴己区域进行两层金字培分割，提取HOG而得到，化tical_ PH0G特征通过分别提取人脸区域的光流特征和嘴己区域的PH0G特征，并进行串接而得到；
[0028] (3)分类识别步骤；
[0029] 采用随机森林算法进行训练和分类识别，该里，随机森林是由装袋法和输入变量 进行随机分组构建而成的化rests-RI ;
[0030] 在训练流程中完成的功能是，根据特征提取模块中得到的大量训练样本的特征向 量，通过机器学习的方法，得到笑脸和非笑脸两种类别的分类标准，即，训练得到笑脸分类 器；
[0031] 在识别流程中完成的功能是，将待识别图像的特征向量与该个分类器进行对比或 匹配等操作，识别出该待识别图像属于笑脸和非笑脸的哪个类别，对其进行分类识别。
[0032] 作为本发明的一种优选方案，训练分类的流程是：
[0033] Stepll ;输入化ffe人脸表情数据库中共10人的样本，对每一个样本图像进行人 脸检测，得到人脸区域；
[0034] St巧12;选取每个人的一幅中性表情图作为基准图像，将其余样本图像（该里称 为表情图像）与同一个人的基准图像成对进行光流特征的提取；
[00巧]Step 13 ;对表情图像进行嘴己检测，在嘴己区域做金字培分割，提取PH0G特征； [003引 Step 14 ;将光流特征与raOG特征串接，得到每个表情图像的化tical_P册G特征 向量；
[0037] Stepl5;将所有表情图像的特征向量送入随机森林RF模块中，进行分类器的训 练。
[0038] 笑脸识别的流程是：
[0039] Step21 ;通过摄像头采集一段视频序列，对该段视频序列中的每一峽图像进行人 脸检测；
[0040] Step22 ;选取视频序列中的第一峽作为基准图像，随机选取视频序列后面的任意 一峽作为待识别的表情图像，将该基准图像和表情图像分别进行灰度化处理之后，成对进 行光流特征的提取；
[0041] Step23;对待识别的表情图像的灰度图像进行嘴己检测，在嘴己区域做金字培分 害I]，提取PH0G特征；
[0042] Step24 ;串接提取到的光流特征与PH0G特征，得到待识别表情图像的化tical_ PH0G特征向量；
[0043] Step25;利用训练流程中得到的笑脸分类器，对待识别表情图像的特征向量进行 分类识别，得出识别结果。
[0044] 本发明的有益效果在于；本发明提出的视频序列中的笑脸识别系统及方法，可提 高笑脸识别的精确度。
[004引本发明结合笑脸的特征，提出化tical_PH0G算法，将光流特征与PH0G特征串接， 形成一种新的特征，进行笑脸识别实验，提高了识别率。同时引入随机森林进行笑脸特征的 分类识别。利用随机森林算法的特点，通过从整体的数据库中进行多次的随机选取样本，可 W在训练出分类效果非常好的分类器的同时，解决了目前笑脸识别数据库资源少的问题， 同时使用袋外估计代替识别率，使得实验得到的识别率更加具有说服力。

【专利附图】

【附图说明】
[0046] 图1为本发明笑脸识别系统的框架图。
[0047] 图2为基于化tical_PH0G特征提取的笑脸识别的流程图。
[004引 图3为化tical_P册G特征提取流程图。
[0049] 图4为光流特征提取流程图。
[0050] 图5为4种矩形特征示意图。
[0051] 图6为矩阵和计算示意图。
[0052] 图7为矩阵特征值计算示意图。
[0053] 图8为级联分类器结构示意图。
[0054] 图9为Ad油oost分类器的训练过程示意图。
[00巧]图10为PH0G特征提取流程图。
[0056] 图11为嘴己定位流程图图。
[0057] 图12为HOG特征提取流程图。
[0058] 图13为单元直方图的通道划分示意图。
[0059] 图14为R-H0G矩形图。
[0060] 图15为RF示意图。
[0061] 图16为二分类的决策树结构图。
[0062] 图17为笑脸识别系统框图。
[0063] 图18为各功能模块的技术设计方案示意图。

【具体实施方式】
[0064] 下面结合附图详细说明本发明的优选实施例。
[0065] 实施例一
[0066] 请参阅图1，本发明掲示了一种视频序列中的笑脸识别系统，所述系统主要包括： 预处理模块、特征提取模块、分类识别模块。所述特征提取模块包括化tical_PH0G特征提 取单元，分类识别模块包括随机森林分类识别单元。
[0067] 预处理模块通过视频采集、人脸检测、嘴己检测，从而获得能够直接提取光流特征 或PH0G特征的人脸图像区域。
[0068] 特征提取模块采用化tical_PH0G算法进行笑脸特征的提取，得到最有利于笑脸 识别的信息。
[0069] 分类识别模块采用随机森林算法根据特征提取模块中得到的大量训练样本的特 征向量，通过机器学习的方法，得到笑脸和非笑脸两种类别的分类标准。将待识别图像的特 征向量与该个分类器进行对比或匹配等操作，识别出该待识别图像属于笑脸和非笑脸的哪 个类别，达到对其进行分类识别的目的。
[0070] 笑脸识别系统的框架如图1所示。首先选取数据库，一个好的数据库，能够更好的 用于训练。在通过预处理获取图像中的人脸图像，通过特征提取，获取笑脸特征值，通过特 征值，通过分类器进行识别，最终输出是不是笑脸。
[0071] 首先是数据库的整理，将所用的人脸图像进行筛选，得到符合实验条件的样本图 像。特征提取模块完成的功能是根据一定的特征提取算法，从样本集图像或者待识别图 像中提取可W代表其特征的信息，组成特征向量，送入分类识别模块中进行后续识别工作。 本实施例中，该系统采用的样本图像为JAFFE(The Japanese化111316 Facial Expression Dat油ase)人脸表情数据库。
[0072] 【预处理模块】
[0073] 人脸图像由于实际拍摄条件的不同，由于光照W及受到拍摄设备的性能优劣等诸 多因素的影响，往往存在很多缺陷，如图像色彩、亮度、大小的不同和噪声等，图像预处理就 是要尽量多的去除该些缺陷，预处理模块包括图像平滑单元、尺寸归一化单元、灰度均衡单 兀等。
[0074] -图像平滑单元
[0075] 图像的平滑是一种实用的数字图像处理技术，主要目的是为了减少噪声，本发明 采用邻域平均法来减少噪声。
[0076] 邻域平均法是简单的空域处理方法。图像平滑单元用几个像素灰度的平均值来代 替每个像素的灰度。假定有一幅NXN个像素的图像f(x，y)，平滑处理后得到一幅图像为 g(x，y)。g(x，y)由下式决定：
[0077]

【权利要求】
1. 一种视频序列中的笑脸识别系统，其特征在于，所述系统包括： 预处理模块，通过视频采集、人脸检测、嘴巴检测，从而获得能够直接提取光流特征或PHOG特征的人脸图像区域； 特征提取模块，采用〇ptical_PHOG算法进行笑脸特征的提取，得到最有利于笑脸识别 的信息； 分类识别模块，采用随机森林算法根据特征提取模块中得到的大量训练样本的特征向 量，通过机器学习的方法，得到笑脸和非笑脸两种类别的分类标准。将待识别图像的特征向 量与这个分类器进行对比或匹配等操作，识别出该待识别图像属于笑脸和非笑脸的哪个类 另Ij，达到对其进行分类识别的目的。
2. 根据权利要求1所述的视频序列中的笑脸识别系统，其特征在于： 所述特征提取模块包括〇ptical_PHOG特征提取单元，分类识别模块包括随机森林分 类识别单元。
3. 根据权利要求1所述的视频序列中的笑脸识别系统，其特征在于： 所述预处理模块整理数据库，将所用的人脸图像进行筛选，得到符合实验条件的样本 图像； 所述特征提取模块完成的功能是根据〇ptical_PHOG算法从样本集图像或者待识别图 像中提取可以代表其特征的信息，组成特征向量，送入分类识别模块中进行后续识别工作； 该系统采用的样本图像为JAFFE人脸表情数据库。
4. 根据权利要求1所述的视频序列中的笑脸识别系统，其特征在于： 所述预处理模块对数据进行预处理；预处理模块包括图像平滑单元、尺寸归一化单元、 灰度均衡单元； 所述图像平滑单元采用邻域平均法来减少噪声；邻域平均法是简单的空域处理方法； 用几个像素灰度的平均值来代替每个像素的灰度；假定有一幅NXN个像素的图像f(x，y)， 平滑处理后得到一幅图像为g(x，y) ;g(x，y)由下式决定：
式中X，y= 0, 1，2,......，N-I;S是（x,y)点邻域中点的坐标的集合,但其中不包括 (x，y)点，M是集合内坐标点的总数；式（1)说明，平滑化的图像g(x，y)中的每个像素的灰 度值均由包含在（x，y)的预定邻域中的f(x，y)几个像素的灰度值的平均值来决定；以（X， y)点为中心，取单位距离构成一个邻域，其中点的坐标集合为 S= {(x, y+1), (x, y - I), (x+1, y), (x - I, y)} (2) 随着邻域的增大，图像的模糊程度也愈加严重；为克服这一缺点，采用阈值法减少由于 邻域平均所产生的模糊效应；当一些点和它的邻域内的点的灰度平均值的差不超过规定的 阈值T时，就仍然保留其原灰度值不变，如果大于阈值T时就用它们的平均值来代替该点的 灰度值；减少模糊的程度；其基本方法由下式决定
式中T就是规定的非负阈值； 尺寸归一化单元用以去除图像中的结构变形，使人脸图像标准化； 灰度均衡单元用以对人脸样本图像进行直方图均衡化；把原始图像的灰度直方图从比 较集中的某个灰度区间变成在全部灰度范围内的均匀分布。
5. 根据权利要求1所述的视频序列中的笑脸识别系统，其特征在于： 所述特征提取模块利用特征融合的方法将光流特征与分层梯度方向直方图PHOG特征 有效地结合起来，形成一种新的特征向量，这里称为〇ptical_PHOG特征，同时，结合随机森 林分类方法，将该特征送入随机森林模块中进行训练和分类的笑脸识别技术； 所述0ptical_PH0G特征指的是，结合光流特征和PHOG特征，通过串接得到一组新的特 征向量，这组新的特征向量中，既包含了光流的特征信息，又包含了PHOG的特征信息，这里 将其称为〇ptical_PHOG特征； 光流特征和PHOG特征串接的过程如下： 设X= [X^x2, 为光流OpticalFlow特征向量，xi= 为第i个样本的特征向 量；其中，Xi=[Xn,xi2，…，xip]为第i个样本的p维特征向量值，Xij第i个样本中第j维 特征的值； Y=Iiy1, …，yJT为PHOG特征向量，yi= 1...n为第i个样本的特征向量；其中，yi= [yii，yi2,…，yiQ]为第i个样本的q维特征向量值，Yij为第i个样本中第维特征的值；n 为样本数；则串接后的特征向量E为： I： = [X1UHXy1,X2UHXy2,xnUHXyJ1 (4) 其中H称为串接系数，如下： H=max(Xij)/max(Yij) (5) 在式5中，max(Xij)为n个样本中，最大的光流特征值，max(yj为最大的PHOG特征值； 其中，i= 1，2, ...，n,j= 1，2, ? ? ?，m。
6. 根据权利要求1所述的视频序列中的笑脸识别系统，其特征在于： 所述特征提取模块包括〇ptical_PHOG特征提取单元，0ptical_PH0G特征提取单元包 括光流特征提取单元，提取光流特征，就是对两幅图像做以下操作： 1) 输入图像；输入图像为两幅图像，进行笑脸识别，意图是测试某一幅表情图像是否 是笑脸图像； 2) 人脸检测；光流特征提取严格针对人脸区域，采用的Jaffe数据库中的图像需要进 行人脸检测，剔除周围不相关的区域，得到准确的人脸区域，将人脸区域从图像中提取出 来，并进行归一化； 人脸检测是指在输入的图像中如果存在人脸区域，则检测出人脸，确定所有人脸的大 小、位置和位姿；采用Haar-Like特征与级联的Adaboost学习算法相结合的方法；具体步 骤如下： 第一步、对人脸进行Haar-Like特征计算，运用"积分图"算法快速提取特征； Haar特征由两个或多个形状相同的黑白矩形按一定规则排列构成，每一个类Haar特 征都会量化成一个矩形特征值进行描述；矩形特征值指的是矩形内所有像素点的像素灰度 值按照黑白区域加减后的值，一般是用白色矩形区域中所有像素的灰度值之和，减去黑色 矩形区域中所有像素的灰度值之和； 将训练窗口的规模初始化为W*H个像素点；W代表特征原型长度具有的像素个数，h代 表特征原型宽度具有的像素个数； 令：X=(?W) /w，. 〃?〃表示对数值取整；一个大小为w*h的特征原型在一个大小为W*H的搜索窗中得到的矩形特征的个数用下面的公式的计算结果来表示：
矩形特征的数量非常庞大，如果每次计算特征值都要统计矩形内所以像素之和，将会 大大降低训练和检测的速度；因此引入了一种新的图像表示方法--积分图像，矩形特征 的特征值计算，只与此特征矩形的端点的积分图有关，所以不管此特征矩形的尺度变换如 何，特征值的计算所消耗的时间都是常量；这样只要遍历图像一次，就求得所有子窗口的特 征值； 积分图的定义为：
进行2种运算： (1) 任意矩形区域内像素积分；由图像的积分图可方便快速地计算图像中任意矩形内 所有像素灰度积分； (2) 特征值计算；矩形特征的特征值是两个不同的矩形区域像素和之差，由（9)式能计 算任意矩形特征的特征值； 运用积分图快速计算给定的矩形之所有象素值之和Sum(r);假设r= (x，y，w，h)，那 么此矩形内部所有元素之和等价于下面积分图中下面这个式子： Sum(r) =ii(x+w,y+h)+ii(x-1,y-1)-ii(x+w,y-1)-ii(x-1,y+h) (10) 第二步、根据AdaBoost算法提取最有效的Haar-Like特征，经过多次迭代确定各个弱 分类器的权值； AdaBoost算法同时进行训练分类器和特征选择的工作；AdaBoost算法中的每个弱分 类器都与某个特征对应，弱分类器的个数等于矩形特征数；训练过程中从大量的弱分类器 中选出一个在当前样本权重分布情况下具有最小分类错误率的弱分类器作为本轮的最优 弱分类器，进行T轮训练以后，最终得出T个最具代表性的特征，对应了T个弱分类器，最后 根据每个特征的不同权值加权后连接得到一个非常强大的分类器； 令X为训练样本空间，Y= {0，1}中包含了训练样本可能来自的类别的记号.1代表正 的样本点，即人脸样本，O代表负的样本点，即非人脸样本；假设一共有K个矩形特征；j代 表第t轮迭代过程中的第j个样本点所具有的权重；算法的具体实现通常包含下面的4个 重要环节： (1) 已知训练样本集X=Kx1,y)，（x2,y2)，…，（xn，yn)};式中XiGX;假定训练集中共 包含1个人脸样本点，m个非人类样本点，1+m=n; (2) 给每个样本点一个起始权重；
(3) 对于t= 1，…，T;T为循环次数； ① 对样本所具有的权重执行归一化操作； ② 针对每一个特征j，在已知的样本权重分布情况下训练得到弱分类器hy(x)，通过计 算得到每个弱分类器对样本集的分类错误率，
③ 确定第t轮迭代的最优弱分类器ht (X)，令k=argminet，」，并将样本集的分类错误 率取为et=et，k; ④ 根据获得的最优弱分类器修改样本的权重：= 广其中￠,=ey(i-et);ei= 0,表示Xi被正确分类，ei= 1表示xi被错误分类； (4) 最后得到的强分类器为：
第三步、将训练得到的弱分类器进行级联，组成完整的人脸检测系统； 为改善人脸检测的时间性能，利用级联分类器结构：包括多个分层的分类器，通过这样 的一种分类器组织方式能使得人脸检测过程随着层数的递增得到更高的精度； 上述的级联分类器的判决过程与经过退化的决策树的判定过程是非常相似的，若第i层将搜索子窗判定为"是"，那么这个可能会包含人脸图像的搜索子窗便会被继续派发到 第i+1层分类器，同时诱发第i+1层的分类器进行分类工作，如此逐级检测；这种检测方法 首先副除巨量的不包含人脸图像的搜索子窗，从而使得人脸检测的时间性能得打很好的优 化； Adaboost分类器的训练过程包括： 计算光流；采用Horn-Schunck算法进行光流（u,V)的计算；Horn-Schunck算法核心思 想是：图像上每一点的光流之间都有联系，光流在整个图像范围内应该是平滑变化的，所以 引入了平滑性约束，使平滑约束项极小化； 设平滑性约束项为极小化：
结合基本等式，要求极小化： Ec=/ / (I Xu+Iyv+It)2dxdy (15) 结合式14和式15可知，最后求得的光流应满足式16 : mina[(ul+it] +vj+ ) +A(Ivu-rIv-rI1)2]dxdy (16) 这里入的取值要考虑噪声情况，噪声较强，则说明图像数据本身具有较低的置信度， 这时便需要更多的依赖加入的光流约束，A取较小的值；反之，若噪声较弱，A取较大的 值； 此时，问题将转化为求解Lagrangian最小化问题；对形如式16的形式变分问题的解释 对应Euler方程（17)的解； min{ / / F (u, v, ux, uy, vx, vy) dxdy} (17)
其中，▽ 2是Laplace算子； 实际计算过程中，处理对象为离散化的坐标，相应的，要对式（19)进行离散化处理： 离散化为

根据中性图像，利用Horn-Schunck计算出表情图像中每一点的光流矢量，所有点的光 流矢量共同构成这幅表情图像的光流特征； Horn-Schunck算法计算的是稠密光流的速度场，S卩，将图像中的每个像素都与速度关 联，针对每个像素分别计算光流向量的U和V两个分量；图像Horn-Schunck光流场的获取 需要四个步骤： 1) 计算像素点的光流分量；计算的依据是Horn-Schunck算法中的光流（u，V)迭代公 式，即式 25、26、27 ; 2) 设定搜索窗口大小；经过多次设定搜索窗口的大小，通过笑脸识别的结果，得出最 合适的窗口大小； 3) 计算窗口中的光流特征值；对窗口中含有的像素点的u和V分量进行加法运算，得 到该窗口的（u，V)分量，根据5 =arctan(v/w)计算光流特征值； 4) 获取图像的光流特征向量；将所有窗口计算所得的光流特征值串联起来，组成整幅 图像的光流特征向量。
7.根据权利要求6所述的视频序列中的笑脸识别系统，其特征在于： Optical_PHOG特征提取单元包括分层梯度方向直方图PHOG特征提取单元；PHOG特 征提取单元用特征向量表达出图像中物体的局部形状以及形状在空间中的布局；该描述 子包含了不同分辨率分割下的每个子图像的梯度方向直方图；PHOG特征提取过程中，采用 sobel算子计算梯度，角度划分为无方向9通道，金字塔分割操作针对人脸区域图像分割两 层，之后对分割得到的21个图像区域进行提取；得到能够表示图像纹理细节的特征向量； PHOG特征提取流程包括： (1)嘴部区域提取步骤； 嘴巴定位是在人脸检测之后进行的，并且加入了眼睛的检测；采用基础的图像处理方 法进行嘴巴定位； 1) 图像截取；根据先验知识，将图像分为上下两部分，在人脸的上半部分检测人眼的 位置，然后在人脸的下半部分，结合人眼的坚直坐标定位嘴巴； 2) 人眼区域定位；在人脸的上半部分继续根据先验知识进行图像截取，缩小搜索范 围，然后进行图像增强、二值化等操作之后，在水平和坚直方向分别进行直方图投影，分别 得到左、右眼的位置； 3)嘴巴定位；将左眼中心点的纵坐标作为嘴巴的左边缘，将右眼中心点的纵坐标作为 嘴巴的右边缘，再结合先验知识，确定嘴巴的上下坐标，最终确定嘴巴位置。 (2) Hog特征提取步骤； 梯度方向直方图HOG特征提取，对提取对象图像做以下操作： 1) 输入图像；采用PHOG特征提取，针对人脸嘴部区域进行，因此，这里的输入图像是数 据库的人脸图像进行嘴部区域提取之后的图像，或者经过区域分割之后各层子图像； 2) 预处理；HOG特征的提取是对灰度图而言的，所以，首先需要满足灰度图像的条件， 对输入图像进行灰度化处理； 3) 计算梯度向量；采用Sobel算子来计算梯度向量；
梯度方向 0 =arctan(Ix/Iy) (31) 创建单元直方图；细胞单元cell中，每一个像素点都将为某个方向的直方图通道做 投票；投票通常采取加权的方式，也就是说每一票都带有权值，这个权值由该像素点的梯度 函数来计算，采用幅值本身或者其他形式的函数来表示；将单元按照角度域[〇, 180]或者 [0, 360]等分成多个通道，根据像素梯度幅值I和梯度方向，投影到对应的直方图通道上； 4) 图块内归一化；由于局部光照的变化以及前景-背景对比度的变化，使得梯度强度 的变化范围非常大；这就需要对梯度强度做归一化，采取的办法是：把各个细胞单元组合 成大的、空间上连通的区间blocks;利用Block中每个通道的幅值对cell的通道幅值进行 归一化处理；Block采用矩形R-HOG形状； (3) 金字塔分割步骤； 所述金字塔是指这样一组栅格对象，它们的分辨率和尺寸是不同的，而且一般其分辨 率和尺寸分别呈等比数列形式，建立金字塔的顺序是"自底向上"的，将原始图像，通过多次 采样处理，从而得到一组尺寸变小，分辨率变低的图像，形成"金字塔"的一个图像区域组成 的序列；显然，不同层次的图像具有不同的尺寸，越接近底层则尺寸越大，包含信息也越多； 随着向金字塔上升，每隔一层尺寸都降低，其中的每一块图像区域仅表达了上一层图像区 域中1/4的信息； (4) PHOG特征提取步骤； PHOG算法提取嘴部区域纹理特征，体现在具体的操作过程中，有如下几个步骤： StepL提取人脸嘴部区域；表示从完整的人脸图像中定位嘴巴，并将嘴部区域提取出 来； Step2.金字塔分割；表示对嘴部区域做金字塔分割； Step3.提取各层子图像HOG特征；表示提取金字塔分割得到的各层子图像的边缘直方 图；这里的直方图获得方法是：将图像域[〇, 360]量化成9个方向，每20°为一个方向通 道，针对每个方向的角度范围，统计梯度方向e处于该范围的像素点的个数；并以各个像 素点梯度幅值J的大小作为权重计算每个像素点的贡献；表示在特征向量直方图中，某个 柱子的高度代表该柱子对应方向角度范围内所有像素点贡献的总和，柱子的个数代表直方 图维数，特征向量长度为9; Step4.连接所有子图像的HOG特征作为最终提取的嘴部PHOG特征，获取串联后的PHOG特征向量总长度。
8.根据权利要求1所述的视频序列中的笑脸识别系统，其特征在于： 分类识别模块使用分类器进行训练和识别笑脸；在训练和识别中，均要用到特征提取 模块得到的特征向量；训练的目的是通过对大量训练样本的特征向量进行机器学习，得到 能够最大限度地区分出笑脸和非笑脸的分类器。识别过程是将测试样本通过特征提取模块 之后得到的特征向量，送入训练得到的笑脸分类器，通过一系列对比和划分，最终得到测试 样本所属的类别； 在分类识别模块采用随机森林的分类方法，其中用到的技术有=Bagging随机选择 方法、分类回归树CART算法、Gin i系数最小原则法、袋外估计值等，构建的随机森林为 Forests-RI； 随机森林RF是一种联合分类器，每棵决策树都是一个基础分类器，多个决策树共同构 成随机森林；决策树在每个节点随机从属性集中选取若干候选属性，根据Gini系数最小原 则选择分类属性和阈值；即，每一棵树都依赖于独立抽样，并与森林中所有树具有相同分布 的随机向量的值；采用随机森林分类RFC时，每棵树都投票并返回得票最多的类； 决策树与流程图的树结构相类似，其中，每个内部节点都是一个分裂问题，每个分支代 表该测试的一个输出，而每个树叶节点存放一个类标号；树的最顶层节点是根节点； 随机森林由两种随机算法共同构建，这两种随机算法分别是装袋法，和基于输入的构 建方法； 装袋法Bagging是一个统计重采样的组合技术，利用有放回的随机重采样来生成多个 版本的预测器，然后把这些分类器融合，通常情况下，组合的分类器与单一分类器相比，其 分类效果更好，原因是在最终解决问题时，结合了所有单独分类器的特点； 利用bagging方法来生成训练集，其具体思想及操作步骤是：原始训练集D中，由于抽 取样本的随机性，每个样本未被抽取的概率为（1_1/N)N，其中N为原始训练集D中的样本个 数；当N足够大时，（1-1/N)1f收敛于1/e?0. 368,也就是说，在原始样本集D中，将会有 接近37%的样本在抽样时不会出现在bootstrap的样本中，这些未被抽取的数据称为袋外 OOB数据，使用袋外数据来估计模型性能的方法称为OOB估计；由于使用OOB估计和使用相 同样本容量的测试集的精度一样，就没有必要再使用测试集； 采用Forests-RI构建随机森林；Forests-RI构建方法是对输入变量进行随机分组，例 如，给定d个样本的训练集D，目的是为组合分类器产生k棵决策树，过程如下：首先，对于 每次迭代i(i= 1，2,…，k)，使用有放回抽样，由D产生d个样本的训练集Di，使得某些样 本可能在Dim现多次，而另一些可能不出现；设F是用来在每个节点决定划分的属性数，其 中F远小于可用属性数；为了构造决策树分类器Mi,在每个节点随机选择F个属性作为该节 点划分的候选属性；树增长到最大规模，并且不剪枝；使用这种方法形成的随机森林称为 Forests-RI0
9. 一种视频序列中的笑脸识别方法，其特征在于，所述方法包括如下步骤： (1) 预处理步骤； 预处理步骤中，得到能够直接提取光流特征或PHOG特征的感兴趣区域图像；对于训练 流程来说，其处理对象为JafTe表情库，所做工作为人脸检测与嘴部区域检测，对于识别流 程来说，其处理对象为通过摄像头直接采集到的人脸图像，需要在人脸检测和嘴巴检测之 前，首先进行简单的灰度化处理； 其中，人脸检测步骤中，通过类Haar特征对人脸特征进行描述，同时采用积分图方法 实现类Haar特征的快速计算，采用Adaboost级联分类器实现对图像中人脸的检测，得到人 脸区域的位置，并将人脸提取出来； 嘴部区域检测基于人脸检测的基础之上，在得到了人脸图像之后，利用先验知识和图 像处理技术，其中包括灰度化、图像增强、二值化等方法，定位到人眼位置，然后根据坚直方 向，两眼之间的位置为嘴部区域在坚直方向的中心点等先验知识，进行嘴部区域检测，得到 嘴巴的位置，并将其提取出来； (2) 特征提取步骤； 从人脸图像上，众多特征中提取出能够表达其表情的形变的特征，这里的表情特征指 能够区分其为笑脸还是非笑脸的形变特征，得到最有利于笑脸识别的信息；这些提取出来 的特征的准确性和有效性直接影响到最后的笑脸识别率；由于形变特征能够由像素点的运 动方向、图像纹理等很好地表示； 其中，光流特征的提取通过Horn-Schunck的全局平滑约束，结合光流基本约束方程计 算得到，PHOG特征通过对嘴巴区域进行两层金字塔分割，提取HOG而得到，Optical_PH0G特 征通过分别提取人脸区域的光流特征和嘴巴区域的PHOG特征，并进行串接而得到； (3)分类识别步骤； 采用随机森林算法进行训练和分类识别，这里，随机森林是由装袋法和输入变量进行 随机分组构建而成的Forests-RI ; 在训练流程中完成的功能是，根据特征提取模块中得到的大量训练样本的特征向量， 通过机器学习的方法，得到笑脸和非笑脸两种类别的分类标准，即，训练得到笑脸分类器； 在识别流程中完成的功能是，将待识别图像的特征向量与这个分类器进行对比或匹配 等操作，识别出该待识别图像属于笑脸和非笑脸的哪个类别，对其进行分类识别。
10. 根据权利要求9所述的视频序列中的笑脸识别方法，其特征在于： 训练分类的流程是： St印11 :输入Jaffe人脸表情数据库中共10人的样本，对每一个样本图像进行人脸检 测，得到人脸区域； Step 12:选取每个人的一幅中性表情图作为基准图像，将其余样本图像（这里称为表 情图像）与同一个人的基准图像成对进行光流特征的提取； St印13:对表情图像进行嘴巴检测，在嘴巴区域做金字塔分割，提取PHOG特征； Step 14:将光流特征与PHOG特征串接，得到每个表情图像的Optica 1_PH0G特征向 量； St印15 :将所有表情图像的特征向量送入随机森林RF模块中，进行分类器的训练。 笑脸识别的流程是： Step21 :通过摄像头采集一段视频序列，对这段视频序列中的每一帧图像进行人脸检 测； Step22 :选取视频序列中的第一帧作为基准图像，随机选取视频序列后面的任意一帧 作为待识别的表情图像，将该基准图像和表情图像分别进行灰度化处理之后，成对进行光 流特征的提取； St印23 :对待识别的表情图像的灰度图像进行嘴巴检测，在嘴巴区域做金字塔分割，提 取PHOG特征； St印24 :串接提取到的光流特征与PHOG特征，得到待识别表情图像的Optica1_PH0G特征向量； St印25 :利用训练流程中得到的笑脸分类器，对待识别表情图像的特征向量进行分类 识别，得出识别结果。
【文档编号】G06K9/62GK104504365SQ201410679227
【公开日】2015年4月8日 申请日期:2014年11月24日 优先权日:2014年11月24日
【发明者】李保印 申请人:闻泰通讯股份有限公司