专利名称：静态图像中陌生人面部表情的识别方法
技术领域：
本发明涉及一种陌生人面部表情的识别方法，特别是静态图像中陌生人面部表情
的识别方法。
背景技术：
人脸表情识别在人机交互、图像检索、心理学、远程教育、安全驾驶、安全监控、辨 别谎言、电脑游戏等方面具有越来越广泛的应用，其中静态图像中陌生人表情的识别是基 本技术之一。 文献"基于局部二元模式的面部表情识别研究，计算机工程与应用，2009， Vol. 45(29)， pl80-183"公开了一种静态图像中陌生人表情的计算机识别方法。该方法提 取人脸的纹理特征后进行降维处理，然后对特征进行分类，该方法在日本女性人脸表情数 据库JAFFE上测试，对陌生人表情识别率为70. 95%。由于对静态图像提取的纹理特征征往 往不仅包含了表情特征，还包含了人脸特征，表情特征描述不准确，而且，人类的表情特征 复杂多样，底层视觉特征尤其是人脸表情的整体特征，很难较完整地描述人类的各种表情 特征。因此，文献中的表情视觉特征提取方法难以对人脸表情进行完整而准确地描述，对陌 生人表情识别率不高。
发明内容
为了克服现有技术对静态图像中陌生人面部表情识别率低的不足，本发明提供一 种静态图像中陌生人面部表情的识别方法，该方法采用底层视觉特征和语义级面部活动单 元特征两级表情特征描述方法，利用面部活动单元特征作为视觉特征与表情类别间的桥 梁，以有效降低视觉特征描述的不准确和不完整性。同时，采用两级分类器进行表情分类 第一级分类器实现从视觉特征到活动单元特征的分类，第二级分类器实现从活动单元特征 到表情类别的分类。可以提高静态图像中陌生人面部表情的识别率。 本发明解决其技术问题所采用的技术方案一种静态图像中陌生人面部表情的识 别方法，其特点是包括以下步骤 (a)选取Cohn-Kanade表情数据库作为活动单元学习用样本集，对该样本集合中 的每一幅图像进行归一化和对齐预处理，并根据人脸各部位的几何比例，计算双眉、双眼、 嘴巴、鼻子特征部位的位置和空间范围，提取这些特征部位图像的纹理特征，完成表情视觉 特征库的建立； 根据表情视觉特征库的所有视觉特征向量，训练44个SVM分类器，实现从视觉特 征到44个面部活动单元的分类器学习； (b)选择表情识别学习用样本集，对该样本集中的每一幅图像进行归一化和对齐 预处理，并根据人脸各部位的几何比例，提取双眉、双眼、嘴巴、鼻子等特征部位图像，提取 这些特征部位的纹理特征，分别用这些纹理特征训练SVM分类器，识别其包含的面部活动 单元，构造面部活动单元特征向量；
(c)用表情识别学习用样本集中的样本的面部活动单元特征向量训练6个SVM分 类器，实现从面部活动单元到6种基本表情的分类器学习； (d)对表情测试图像，按步骤(b)的方法得到其面部活动单元特征向量并输入6个 SVM分类器，实现从面部活动单元到6种基本表情的识别。 本发明具有以下有益效果由于采用底层视觉特征和语义级面部活动单元特征的
两级特征描述，利用语义级面部活动单元特征作为视觉特征与表情类别间的桥梁，一方面
减少了视觉特征包含的人脸特征对表情识别的影响，提高了特征描述的准确性，另一方面，
面部活动单元是心理学研究得出的面部表情编码系统中的单元，其对表情特征的描述更完
整；同时，采用两级分类器进行表情分类，降低了对分类器映射能力的要求。该方法结果采
用与文献相同的划分方法，在日本女性人脸表情数据库JAFFE上测试，对陌生人表情识别
率由现有技术的70. 95%提高到76%。 下面结合具体实施方式
对本发明作详细说明。
具体实施例方式
本实施例采用Cohn-Kanade表情数据库作为活动单元学习用样本库，采用JAFFE 表情数据库作为活动单元识别、表情学习和测试用数据库。具体步骤如下
(1)面部活动单元学习过程。 选取Cohn-Kanade表情数据库作为活动单元学习用样本集，对该集合中的每一幅 图像，手工定位人的两眼的外眼角位置和左、右嘴角位置，设0q， y》，(x2， y2)， (x3， y3)和 (x4，y4)分别表示左外眼角、右外眼角、左嘴角和右嘴角位置，则 两眼间距离《=J(Xi—^)2+"—，两眼中心0位置为(:^1^1/^1) 从中心0起，向左右各剪切0. 6dp向上剪切0. 6dp向下剪切2. 3dp将图像縮放为 100 X 80像素大小，完成人脸大小归一化和人脸对齐。
双眉、双眼、嘴巴、鼻子等特征区域计算如下； 左眉左上角位置Oq-lO， y「66)，右眉右上角位置(x2+10， y2_66)，两眉区 域宽度均为^^ ，高度均为45;左眼左上角位置Oq-lO， y「22)，右眼右上角位
置(x2+10， y厂22)，两眉区域宽度均为^^，高度均为42 ;鼻子区域的左上角位置
(^"- -10,少1+15)，区域宽度 + 10，高度为^^-^Zl-50;嘴巴
区域的左上角位置(x3-10， y3-20)，区域宽度x4-x3+20，高度为30。
至此，可根据上述计算结果提取特征部位图像。 对双眉、双眼、嘴巴、鼻子等特征部位图像，分别采用文献中的LBP特征作为其纹
理特征，采用文献中的SVM分类器进行面部活动单元的分类器学习，共训练44个分类器，每
个分类器对应一个活动单元。 (2)面部活动单元识别过程。 选择JAFFE数据库，用步骤(1)中同样的方法，对库中的图像进行归一化和对齐预 处理，获取双眉、双眼、嘴巴、鼻子等特征部位图像，提取这些特征部位的纹理特征。
4
将这些纹理特征分别输入44个SVM分类器，根据分类器的输出是0或1 ，识别其包 含的面部活动单元，组成面部活动单元向量。
(3)表情学习过程。 采用弃一交叉验证法。选择JAFFE数据库中某一个人的表情图像作为测试集，其 余9个人的表情图像作为表情学习样本集。用学习样本集中各样本的面部活动单元特征向 量训练6个SVM分类器，实现从面部活动单元到6种基本表情的分类器学习。
(4)表情识别过程。 与步骤(3)对应，选择JAFFE数据库中某一个人的表情图像作为测试集，将测试样 本的面部活动单元特征向量输入6个SVM分类器，根据分类器的输出是0或1，实现从面部 活动单元到6种基本表情的识别。 该方法在日本女性人脸表情数据库JAFFE上测试，对陌生人表情识别率为76 % 。
权利要求
一种静态图像中陌生人面部表情的识别方法，其特征在于包括以下步骤(a)选取Cohn-Kanade表情数据库作为活动单元学习用样本集，对该样本集合中的每一幅图像进行归一化和对齐预处理，并根据人脸各部位的几何比例，计算双眉、双眼、嘴巴、鼻子特征部位的位置和空间范围，提取这些特征部位图像的纹理特征，完成表情视觉特征库的建立；根据表情视觉特征库的所有视觉特征向量，训练44个SVM分类器，实现从视觉特征到44个面部活动单元的分类器学习；(b)选择表情识别学习用样本集，对该样本集中的每一幅图像进行归一化和对齐预处理，并根据人脸各部位的几何比例，提取双眉、双眼、嘴巴、鼻子等特征部位图像，提取这些特征部位的纹理特征，分别用这些纹理特征训练SVM分类器，识别其包含的面部活动单元，构造面部活动单元特征向量；(c)用表情识别学习用样本集中的样本的面部活动单元特征向量训练6个SVM分类器，实现从面部活动单元到6种基本表情的分类器学习；(d)对表情测试图像，按步骤(b)的方法得到其面部活动单元特征向量并输入6个SVM分类器，实现从面部活动单元到6种基本表情的识别。
全文摘要
本发明公开了一种静态图像中陌生人面部表情的识别方法，属于图像识别领域，用于对静态图像中陌生人面部表情的识别。所述方法首先用Cohn-Kanade表情数据库作为活动单元学习用样本集，完成表情视觉特征库的建立；将该样本集中图像的视觉特征输入面部活动单元分类器，识别各图像包含的面部活动单元；用面部活动单元特征向量实现从面部活动单元到6种基本表情的分类器学习；对表情测试样本，利用其视觉特征识别其包含的面部活动单元，并构造面部活动单元特征向量，根据面部活动单元特征向量实现面部基本表情的识别。该方法结果采用与文献相同的数据库划分方法，在日本女性人脸表情数据库JAFFE上测试，对陌生人表情识别率由现有技术的70.95％提高到76％。
文档编号G06K9/66GK101719223SQ20091025458
公开日2010年6月2日 申请日期2009年12月29日 优先权日2009年12月29日
发明者何贵青, 冯晓毅, 季战领, 彭进业, 杨雨奇, 谢红梅, 阎坤 申请人:西北工业大学