一种人脸表情识别方法
【专利摘要】本发明公开了一种人脸表情识别方法，属于图像处理。本发明为：从表情库中选择多幅不同人的中性表情图像，以及多幅与所选中性表情同人的各类表情图片，并分别提取N个特征点的位置信息向量；基于后者与前者的向量差得到对应不同表情类别的底层表情特征点信息向量feij，并基于feij训练各类表情的SVM分类器；再feij分别送入各SVM分类器中，计算feij分别到各SVM分类器的超平面的距离，形成表情特征库；在待识别人的中性表情图像和实时输入的待识别图像上提取位N个特征点的位置信息向量，计算前者与后者的向量差，并送入各SVM分类器中进行特征变换处理，得到特征向量；取该特征向量与表情特征库中欧式距离所对应的特征向量为识别出的表情。本发明能提升识别的准确性和实时性。
【专利说明】一种人脸表情识别方法
【技术领域】
[0001]本发明涉及图像处理，具体涉及人脸表情识别技术。
【背景技术】
[0002]人脸表情识别技术在近年来随着一些相关领域的飞速发展如机器学习，图像处理，人类识别等，成为了一个热点发展的技术。人脸表情识别系统的影响和潜力同时推广到广大的应用场合中，如人机交互，智能机器人，驾驶员状态监督等等。人脸表情识别系统是计算机理解人们情感的前提，也是人们探索智能、理解智能的有效途径。如何实现计算机的拟人化，使其能根据周围的环境以及对象的状态等内容，自适应地为交流对象提供最友好的操作环境，消除操作者和机器之间的障碍，己经成为下一代人机界面发展的目标，是智能机器人走进人们日常生活必须解决的问题，对建立多信息智能化人机交互系统有着重要意义。
[0003]人脸表情识别技术一般包括三部分内容:(I)人脸检测；(2)人脸表情特征的提取；(3)表情特征的分类。其中人脸表情特征提取是整个系统中最为核心的步骤，特征提取直接影响到识别的精度，鲁棒性，和实时性。常见的人脸特征提取的方法包括:基于几何特征，表观特征，动态特征的方法。
[0004]I)基于几何特征的方法，这类方法是对人脸特定的区域如眼睛，嘴，鼻等区域建立模型或者二维的拓扑结构，提取几何特征。这类方法很大程度上减少了数据量的输入，但对于基准点的准确性要求高，而且对于图像质量低的情况难以处理。
[0005]2)表观特征的提取方法，即对图像进行预处理后，获得局部区域像素之间的关系如梯度，纹理等。比如以Gabor小波作为初始特征，然后利用基因规划算法合成新的特征，最后通过SVM(支持向量机)分类器进行表情识别，Gabor特征虽然区分能力强，但是缺点在于其维数高，计算量大。详见文献:J.Yu, B, Bhanu.Evolut1naryfeature synthesis for facial express1n recognit1n[J].Pattern Recognit1nLetters, 2006, 27(11):289-1298。
[0006]3)动态特征提取方法，此类针对图像序列的人脸特征提取的方法有光流法，特征点跟踪法等。如利用AAM(主动外观模型)在图像序列中提取多个特征点后，根据特征点估计其中特定特征点组成的运动特征向量，最后利用SVM的分类投票进行分类识别。但其存在的问题是AAM通过人工标点的位置信息结合纹理信息建立数学统计模型，其复杂度大，然后再利用最优化理论通过多次迭代进行特征点定位，运算量极大，特征点虽能够达到精石角但无法实时° 详见文献:S.Park, D.Kim.Subtle facial express1n recognit1n usingmot1n magnificat1n [J].Pattern Recognit1n Letters, 2009, 30 (7): 708-716。
[0007]综上所述，人脸表情识别虽然经过多年的发展，精确提取出表情特征从而进行强鲁棒性人脸表情的识别仍就是一个亟需解决的技术难题，同时提升基于SVM进行表情自动识别时的实时性和准确性仍需要进一步提升。
【发明内容】
[0008]本发明的发明目的在于:提供一种识别准确度高的人脸表情识别方法。
[0009]本发明的人脸表情识别方法，包括下列步骤:
[0010]步骤1:构建表情特征库
[0011]步骤101:从表情库中选择R幅不同人的中性表情图像，其中所述R大于或等于20 ；
[0012]分别在各图像上定位N个表情特征点的位置信息，提取每幅图片的表情特征点信息向量 Vi = (X1, X2,...，Xn, Yi, Y2,...yn),其中 η = 1，2，...，N ;i = 1，2，...，R ;并分别对
各特征点信息向量Vi进行预处理得到Vi = (X1 - - Λ%.,,，Α.? -XJ1 U2 - j,..., v? -y)，其中?、V分别表示向量Vi中N个Xn的均值，N个yn的均值；
[0013]步骤102:从表情库中选择与步骤I中对应R人的各类表情图片各S幅，其中所述S大于或等于5;
[0014]分别在每幅图像上定 位N个表情特征点的位置信息，提取每幅图片的表情特征点信息向量》/ = (.VA&JWb…J',J，其中上标j用于标识不同的表情分类；并分别对各
特征点信息向量进行预处理得到a/ = (X, — XiX1-X,...,Xn-X, -y,y2 -7,,..,凡-J}，其中
X、y分别表示向量中N个Xn的均值，Nf yn的均值；
[0015]步骤103:计算底层表情特征点信息向量爲j =m/ -v,；
[0016]步骤104:基于底层表情特征点信息向量fe?训练各类表情对应的SVM分类器；
[0017]步骤105:将底层表情特征点信息向量fe?分别送入步骤4得到的各SVM分类器中，计算每一个底层表情特征点信息向量f<_分别到各SVM分类器的超平面的距离
，由各个feature^形成表情特征库；
[0018]步骤2:人脸表情识别
[0019]步骤201:输入待识别人的人脸中性表情图像，在当前图像上定位N个表情特征点的位置信息，提取位置信息向量V’ = (X1, X2,..., xn, Y1, y2，…yn)，并进行预处理得到
V= (xt-X3X2-x,yt -y,y2-y,...y?-y) * 其中 p 分别表示向量 V，中 N 个 xn 的
均值，N个yn的均值；
[0020]步骤202:实时输入步骤201所述的待识别人的人脸图像序列，在每一幅图像上定位N个表情特征点的位置信息,提取位置信息向量U’ = (X1, X2,, xn, Y1, y2,...yn),并进
行预处理得到?' =Ixl —χ,χ2 -X,…,? u U2 —y,...ya —,)，其中χ、y分别表示向量u’
中N个xn的均值，N个yn的均值；
[0021]步骤203:将了-了送入步骤104得到的各SVM分类器中进行特征变换处理，得到特征向量featest ；
[0022]步骤204:计算特征向量featest与表情特征库/i?atere/中各个向量的欧式距离，将欧式距离最小的特征向量j的所对应的表情类别确定为当前待识别人的表情。[0023]本发明通过上述步骤将现有人脸表情识别处理时的分类投票问题在SVM映射的高维空间中转换成了一个向量匹配问题，从而完成了低层表情特征到高层表情特征的转换，低层特征与各个分类超平面的精确距离，使得高层的表情特征具有更强更准确的区分能力。
[0024]进一步，本发明对现有的在图像上定位N个表情特征点的位置信息，提取每幅图片的表情特征点信息的处理进行了改进，提出了一种基于随机森林的表情特征点的定位方法，以提升对人脸表情特征点定位的准确度和运算速度。
[0025]所谓随机森林,实质是一个组合分类器，将构成随机森林的基础分类器称作决策树。随机森林即是由多颗决策树形成。每课决策树为一个树状预测模型，它由节点和有向边组成的层次结构。决策树中包含3种节点:根节点，内部节点(中间节点)，叶子节点(终节点)。每课决策树只有一个根节点，为全体训练数据的集合。决策树中的每个内部节点都是一个分裂问题，它将分到该节点的样本数据按某个特定的属性(分类规则)进行分割成2块。每个叶子节点是带有最终分类结果标签的数据集合。从决策树的根节点到叶子节点的每一条路径都形成一个分类。
[0026]本发明改进的在图像上定位N个表情特征点的位置信息具体包括下列步骤:
[0027]A.基于采样的人脸表情特征点，训练特征点定位的随机森林:
[0028]步骤al:对训练样本图像进行特征点标记，并记录得到的N个特征点的位置信息；
[0029]步骤a2:将训练 样本图像随机分为M组图像组，每组图像组分别对应特征点定位的随机森林的一颗决策二叉树Tni，其中m = 1，...，M ;分别在各图像组的每幅图像上随机抽取若干相同大小的方块bi;标识符i用于区分不同的方块，第m组图像组所包含的所有方块
h构成训练集^，落入决策二叉树Tm的根节点；
[0030]步骤a3:随机生成O到255之间的两个以上随机数Ti，构成分离参数组G ={xj,基于分离参数组G对决策二叉树Tm的节点进行分类处理:
[0031]确定当前待处理节点的最优分离参数τ%
[0032]若方块匕的积分图均值或积分图的任一像素点的值小于分离参数τ i7则方块h属于子训练集，否则属于子训练集Ρκ;设当前待处理节点所包含的方块匕构成训练
集6，基于公式Σ计算分离参数Ti的分类信息增益
IG(Ti),即原训练集(P:)的不确定度减去分离后2个子训练集的不确定度，对任意训练
集P的分类不确定度可通过分类不确定度函数=进
『I I|尸丨
行计算，其中P(CnIbi)表示方块匕属于第η个特征点的概率，且=
Λ
k e (0，I)，λ e [0.1, 0.15]，其中<表示方块匕的中心坐标到第η个特征点的坐标偏移量，|Ρ|表示训练集P所包含的方块匕的个数，SiP(C1Jbi)表示对训练集P中所有元素的P(C1Jbi)求和；[0033]从分离参数组G中选择分类信息增益IG(Ti)最大的τ ,作为本次最优分离参数 并记录^到分类分离参数集合T!,;
[0034]基于当前最优分离参数τ %对待处理节点进行分类处理:若训练集6中的方块
h的积分图均值或积分图的任一像素点的值小于分离参数则落入当前节点的左子女节点；否则落入当前节点的右子女节点；
[0035]步骤a4:当决策二叉树Tm深度等于预设阈值或当前分类信息增益IG( τ ,)均低于预设阈值时，创建决策二叉树Tm的一个叶子节点；否则对当前得到的子女节点继续执行步骤a3 ；
[0036]B.人脸表情特征点的定位:
[0037]步骤bl:将输入的待定位人脸图像分割成多个相同大小的子块P」，标识符j用于区分不同的子块，所述子块h的大小与步骤a2中所述的方块匕相同；
[0038]步骤b2:将所有的子块P」全部投放到步骤A训练好的随机森林中的每一颗决策树Tffl上进行判决，即将当前图像的全部子块P」分别落入M棵决策二叉树Tm的根节点，基于分离参数集合TIt中所记录的决策二叉树、各节点的最优分离参数τ %根据步骤a3所述的分类处理对各子块Pj进行分类处理，直到各子块Pj落入对应的叶子节点；
[0039]在决策二叉树Tm中，子块Pj所在的叶子节点定义为。由M个叶子节点^构成子块Pj的定位集Lj ；
[0040]步骤b3:基于公式
【权利要求】
1.一种人脸表情识别方法，其特征在于，包括下列步骤: 步骤1:构建表情特征库步骤101:从表情库中选择R幅不同人的中性表情图像，其中所述R大于或等于20 ；分别在各图像上定位N个表情特征点的位置信息，提取每幅图片的表情特征点信息向量 Vi = (X1, X2,, Xn, Y1, Y2,...Jr),其中 η = I, 2,..., N ；i = 1，2，…，R ;并分别对各特征点信息向量vi进行预处理得到Vi =(? -XiX2.-Xi,,,,Xtt--j)，其中JC、J分别表示向量Vi中N个Xn的均值，N个yn的均值； 步骤102:从表情库中选择与步骤I中对应R人的各类表情图片各S幅，其中所述S大于或等于5 ； 分别在每幅图像上定位N个表情特征点的位置信息，提取每幅图片的表情特征点信息向量w/其中上标j用于标识不同的表情分类；并分别对各特征点信息向量U进行预处理得到《/ =(Λ., -y2-?,,.,?-.1’，...,凡-.!’>，其中X、y分别表示向量w/中N个Xn的均值，N个yn的均值； 步骤103:计算底层表情特征点信息向量? ? ； 步骤104:基于底层表情特征点信息向量fe?训练各类表情对应的SVM分类器； 步骤105:将底层表情特征点信息向量fV_分别送入步骤4得到的各SVM分类器中，计算每一个底层表情特征点信息向量fe?分别到各SVM分类器的超平面的距离feature?，由各个Jkiture丨形成表情特征库； 步骤2:人脸表情识别 步骤201:输入待识别人的人脸中性表情图像，在当前图像上定位N个表情特征点的位置信息，提取位置信息向量V’ =并进行预处理得到V= (x, —1,? —I,..,,xn -XtV1 -JiJ2 — - J)，其中1、J 分别表示向量 V’ 中 N个 Xn 的均值，N个yn的均值；步骤202:实时输入步骤201所述的待识别人的人脸图像序列，在每一幅图像上定位N个表情特征点的位置信息，提取位置信息向量u’ = (X1, X2,, xn, Y1, y2,...yn)，并进行预处理得至Li U =(馬-x,x2 -X,,?txe -x, V, -y^ -1dl其中?、；分别表示向量u’中N个Xn的均值，N个yn的均值； 步骤203:将?7送入步骤104得到的各SVM分类器中进行特征变换处理，得到特征向量 featest ； 步骤204:计算特征向量featest与表情特征库中各个向量的欧式距离,将欧式距离最小的特征向量j的所对应的表情类别确定为当前待识别人的表情。
2.如权利要求1所述的方法，其特征在于，所述步骤101中，提取每幅图片的表情特征点信息包括下列步骤: A.基于采样的人脸表情特征点，训练特征点定位的随机森林:步骤al:对训练样本图像进行特征点标记，并记录得到的N个表情特征点的位置信息； 步骤a2:将训练样本图像随机分为M组图像组，每组图像组分别对应特征点定位的随机森林的一颗决策二叉树Tm，其中m = 1，...，M ;分别在各图像组的每幅图像上随机抽取若干相同大小的方块bi;标识符i用于区分不同的方块，第m组图像组所包含的所有方块匕构成训练集< ?落入决策二叉树Tm的根节点； 步骤a3:随机生成O到255之间的两个以上随机数Ti，构成分离参数组G= |>J，基于分离参数组G对决策二叉树Tm的节点进行分类处理: 确定当前待处理节点的最优分离参数 若方块h的积分图均值或积分图的任一像素点的值小于分离参数^，则方块匕属于子训练集，否则属于子训练集Ρκ;设当前待处理节点所包含的方块h构成训练集pqm 基于公式
3.如权利要求2所述的方法，其特征在于，所述步骤b2中，基于公式
4.如权利要求2或3所述的方法，其特征在于，所述步骤a3中， 在确定当前待处理节点的最优分离参数^时，基于方块h的积分图均差与分离参数h的大小关系，将训练集#分为两个子训练集L、R，计算分离参数Ti的分类信息增益IG ( τ j)； 在基于当前最优分离参数1%对待处理节点进行分类处理时，基于方块I3i的积分图均差与最优分离参数^大小关系，确定当前节点的子女节点分别包含的方块匕； 所述方块匕的积分图均差为积分图最右下角的点与中心点的值之差的其中常数C的取值区间为8-15。
【文档编号】G06K9/46GK104036255SQ201410280557
【公开日】2014年9月10日 申请日期:2014年6月21日 优先权日:2014年6月21日
【发明者】马争, 解梅, 陈路, 蔡家柱 申请人:电子科技大学