一种人脸表情识别方法研究与流程

本发明属于图像分类技术，特别涉及一种基于cs-lsbp与hoag特征融合的人脸表情识别方法。
背景技术：
：表情是人际交往中传递情感的重要方式之一，人脸表情识别是指利用计算机对检测到的人脸进行面部表情特征提取，使计算机能够按照人的思维认识对人脸表情进行相应的理解处理，并能够根据人们的需求做出响应，建立友好的、智能化的人机交互环境。该项研究是图像处理，模式识别，心理学，情感计算以及计算机视觉等多学科交叉研究的前沿热点。人脸表情识别主要由三部分组成：人脸检测、表情特征提取和表情特征分类识别。其中，表情特征提取是人脸识别过程中一个非常重要的技术环节，提取具有鉴别性和区分性的表情特征，对后续分类有重要的影响。基于纹理的表情特征提取方法是找到一种能够反映纹理特征的度量，通过各种分析计算从图像中提取有效特征，主要有gabor小波，lbp算子等。另外，基于表情形状信息提取方法，如hog特征，该方法是计算和统计图像局部区域的梯度方向直方图来构成特征，通过划分图像块和设置图像块不同的重叠率，可以很好的描述人脸图像局部目标的形状(例如嘴，眼等部位)边缘的方向密度分布，具有计算简单，抗干扰能力强的优点。然而，单一的特征提取方式，如gabor小波，虽然能从不同尺度不同方向提取图像的纹理特征，但是特征提取的维数非常高，容易造成维数过大而导致的小样本问题。传统的lbp统一模式，将所有非统一模式下的特征化为一类模式处理，而这种处理方式忽略了很多有用的纹理信息。技术实现要素：本发明所要解决的技术问题在于针对采用单一特征提取效果不明显的情况，改进了两种特征提取方法，并结合cca在特征融合方面的优势，将提取到的两种改进特征进行特征融合，并利用svm应用在人脸表情识别中。再表情识别方面表现出一定的优越性。本发明具体采用以下技术方案。人脸表情识别方法，其特征在于，该方法包括以下步骤：a)输入人脸图像样本并进行几何校正、尺寸归一化和滤波的预处理；b)用中心对称局部平滑二值模式(cs-lsbp)对人脸表情图像进行纹理特征提取；c)用绝对梯度方向直方图(hoag)对人脸表情图像进行局部形状特征提取；d)用典型线性分析法(cca)将人脸表情图像的局部纹理特征和局部形状特征进行特征融合；e)最后利用支持向量机(svm)进行表情分类。附图说明图1是本发明的算法流程图图2是jaffe人脸表情库图像示例；图3是人脸图像预处理；图4是cs-lbp(1，8)算子；图5是本发明改进的cs-lsbp特征提取图。图6是本发明改进的hoag特征提取图具体实施方式下面结合附图和实施例对本发明的技术方案进行详细说明。图1为基于cs-lsbp与hoag特征融合的表情识别方法算法流程图，主要包括：1、利用haar-like和adaboost检测图像中人眼位置，利用两眼坐标位置对人脸进行几何变换，以减少姿态变化对表情识别的影响。2、检测并截取人脸感兴趣区域，将尺寸归一化为64×96。3、为了减弱噪声对图片的影响，提高识别精度，对截取的表情图像进行滤波处理。4、对预处理后的人脸表情图像进行cs-lsbp特征提取。5、lbp算子是通过比较中心像素点c与邻域像素点灰度值的大小对图像进行编码，具体编码方式如下：其中，p表示邻域像素点的个数(p＝8)，xi表示像素点i(i＝0，1，…，7)的灰度值。6、cs-lbp算子是通过计算4个梯度方向上处于中心对称的两像素点灰度值的差异来对图像进行编码，具体编码方式如下：其中：r表示图4中圆形区域的半径(r＝1)，n表示邻域像素点的个数(n＝8)，pc表示中心像素点c的灰度值，pi表示邻域像素点i(i＝0，1，...，(n/2)-1)的灰度值，t为阈值。由于lbp算子只比较了中心像素点与其邻域像素点灰度值的大小，未考虑邻域像素点相互间的灰度值差异，而cs-lbp算子只考虑了4个梯度方向上处于对称位置的像素点灰度值的变化，忽略了中心像素点的作用，且阈值难以在理论上寻找出最优值，只能通过实验获得。基于此，本文提出一种局部平滑二值模式(lsbp)，并将其与cs-lbp算子相结合，提出中心对称局部平滑二值模式(cs-lsbp)。lsbp算子是通过判定中心像素点灰度值是否在各梯度方向上两邻域的灰度值范围之内来对图像进行编码，如果在这个范围内，标记为1，否则标记为0。lsbp算子能较好地度量图像的局部纹理平滑程度，具体编码方式如下：将cs-lbp的阈值设为0，并串联lsbp算子组成cs-lsbp。表1为lsbp和cs-lbp的不同取值相结合时，pi，pc和pi+(n/2)之间的关系。由表1可以看出，cs-lsbp能很好地表示出梯度方向上3个像素点灰度值之间的相互关系，即它不但能反映出中心对称的两像素点灰度值之间的大小关系，也能反映出中心像素点与其周围邻域灰度值之间的大小关系，具有较强的纹理表征能力。表1梯度方向直方图(hog)算法的基本思想是通过统计不同梯度方向上的梯度幅值分布来描述图像的局部形状信息。但是这种梯度计算方法忽略了中心像素点的作用，即中心像素点c的像素值变化时，其梯度仍不改变。所以对hog中梯度计算方法进行改进，并提出了绝对梯度方向直方图(hoag)。该方法在符号不变的基础上，通过计算梯度方向上中心像素点与其邻域两像素点像素值变化量的绝对值之和来表示梯度的大小。具体计算方式如下：v(i，j)＝|xi-xc|+|xc-xj|(9)改进的计算方法考虑了中心像素点像素值的作用，即当中心像素点的像素值在其两邻域像素值范围内时，两种梯度计算方法求的梯度相同，而当中心像素点的像素值不在这个范围内时，改进后的梯度计算方法所得的梯度值比改进前大，且会随着中心像素点像素值的改变而改变。得到水平梯度和垂直梯度后，再由如下公式，可以得到改进后图像中每个像素点的梯度幅值和梯度方向。将图像划分为若干个单元(cell)和块(block)，其中单元由8×8个像素点构成，块由4个相邻的单元组成。将梯度方向量化为n个区间(bin)，把每个单元内具有相同梯度方向的像素点的梯度幅值按权重累加，组成该单元的梯度直方图。级联每个块中4个单元的直方图，再级联所有块的直方图，归一化后得到最终的hoag特征。典型相关分析是一种反映两组变量之间的相关关系的多元统计分析方法，假设x和y分别代表人脸表情图像的局部纹理特征矩阵和局部形状特征矩阵，则cca的目的就是求取投影方向a和b，使得x*＝atx和y*＝bty之间的相关系数corr(x*，y*)最大。其中，sxx与syy分别表示x与y的协方差矩阵，sxy表示xy之间的互协方差矩阵。令利用奇异值分解定理分解为其中是g1＝hth与g2＝hht的非零特征值，ui和vi分别是g1和g2关于的单位正交的特征矢量。则x与y的第i对典型投影矢量最终的融合特征z＝atx+bty。由于人脸表情识别是高维小样本问题，sxx与syy常常是奇异的，与推导过程中的假设不符，因此在融合前先采用pca降维。采用svm对融合特征进行分类。选用多项式核函数作为svm核函数，并利用svm自动训练函数确定其最优参数，在jaffe数据库的实验结果(如表2所示)。表2andifehasasuan89.934.000.320.583.022.15di5.5686.673.222.31.440.81fe0.832.5092.500.831.761.58ha00.350.9193.643.641.46sa2.270.855.913.4587.270.25su009.051.646.0983.22其中：表格的行表示各个表情类的分类结果，例如，生气表情类别所在的一行，生气表情(an)正确分类精度为89.93％，其他的数据为错误分到其它类别的精度。如上所述，厌恶表情(di)正确分类精度为86.67％、害怕表情(fe)正确分类精度为92.50％、高兴表情(ha)正确分类精度为93.64％、悲伤表情(sa)正确分类精度为87.27％和惊奇表情(su)正确分类精度为83.22％。当前第1页12