一种基于视频图像序列的人脸表情识别方法
【专利摘要】本发明公开了一种基于视频图像序列的人脸表情识别方法，涉及人脸识别领域，包括如下步骤：（1）身份验证：从视频中捕捉图像，获得该视频中的用户信息，然后通过与人脸训练样本的比对，进行身份验证，确定用户表情库；（2）表情识别：对视频进行纹理特征提取，获得用户表情程度最大化时的关键帧，将关键帧图像与步骤（1）确定的用户表情库中的表情训练样本进行比对，达到表情识别的目的，最终输出表情识别的统计结果。本发明提供通过纹理特征分析视频中获取的关键帧，并建立用户表情库对用户表情进行表情识别，能有效抑制干扰、降低计算复杂度和提高识别率。
【专利说明】一种基于视频图像序列的人脸表情识别方法
【技术领域】
[0001]本发明涉及人脸识别领域，尤其涉及一种基于视频图像序列的人脸表情识别方法。
【背景技术】
[0002]在众多的生物特征中，人脸无疑是最具表现力的一部分。在人与人的当面交流中，人脸作为信息传递最直接的媒介，扮演者极为重要的角色，我们通过分析可以感知人脸情绪。为了使计算机具备相同的能力，人脸视觉感知成为人机交互、安全认证等计算机科学领域的重要研究课题。其中，人脸表情识别是一个涉及到模式识别、图像处理、人工智能等多学科的综合课题。所谓人脸表情识别是让计算机对人脸的表情信息进行特征提取分析，结合人类所具有的表情信息方面的先验知识使它进行自我思考、推理以及判断，进而去理解人脸表情蕴含的信息，实现人机之间智能化的交互。它在许多领域都有着潜在的应用价值，包括机器人技术、图像理解、视频检索、合成脸部动画、心理学研究、虚拟现实技术等。对人脸表情识别的研究主要包括三个部分:人脸检测、表情特征提取以及表情分类。目前在这三个方面计算机视觉研究者们进行了很多研究，但这三个方面仍有问题未得到很好的解决，包括人脸误检、表情识别的鲁棒等。
【发明内容】
[0003]发明目的:为了克服现有技术中存在的不足，本发明提供一种基于视频图像序列的人脸表情识别方法，通过纹理特征分析视频中获取的关键帧，能有效抑制干扰、降低计算复杂度和提高识别率。
[0004]为实现上述目的，本发明采取如下技术方案:
[0005]一种基于视频图像序列的人脸表情识别方法，包括如下步骤:
[0006](I)身份验证:从视频中捕捉图像，获得该视频中的用户信息，然后通过与人脸训练样本的比对，进行身份验证，确定用户表情库；
[0007](2)表情识别:对视频进行纹理特征提取，获得用户表情程度最大化时的关键帧，将关键帧图像与步骤(I)确定的用户表情库中的表情训练样本进行比对，最终输出表情识别的统计结果。
[0008]更进一步的，步骤(I)包括如下步骤:
[0009](11)视频用户信息提取；
[0010](12)身份验证。
[0011]更进一步的，步骤(2)包括如下步骤:
[0012](21)视频关键巾贞提取；
[0013](22)人脸区域的检测；
[0014](23)人脸区域的定位；
[0015](24)人脸表情特征的提取；[0016](25)表情特征的分类识别；
[0017](26)表情识别结果输出。
[0018]更进一步的，步骤(21)包括如下步骤:
[0019](211)采用逆差矩特征参数提取视频所反映的纹理特征，得到视频每帧的纹理特征参数值随着视频帧的变化曲线；
[0020](212)对步骤(211)所述变化曲线参数进行最大最小归一化处理；
[0021](213)对步骤(211)所述变化曲线进行曲线平滑拟合处理。
[0022]更进一步的，步骤(22)采用基于肤色模型的人脸区域定位方法，包括如下步骤:
[0023](221)将视频图像基于彩色空间的RGB模型转换为YCbCr模型；
[0024](222)选取合适阈值将视频图像彩色差值图转换成二值差值图像。
[0025]更进一步的，步骤(23)结合灰度图像边缘检测方法，采用4连通方法提取连通区域，在区域内寻找面积最大的板块，确认人脸所在位置，完成人脸区域的定位。
[0026]更进一步的，步骤(24)采用基于平均值的主成分分析表情人脸特征提取方法，具体包括如下步骤:
[0027](241)计算用户表情库训练样本特征向量
[0028]设训练样本的维数为n，共有L类，N1, N2,...，队分别表示每一类训练样本的数目，N为训练样本总数，第c类训练样本集合表示为尤='[对，4，一,4(]，其中_<￡尺％ Nc为第c
类训练样本的数目；所有训练样本集合用X=IX1, X2,, XlI表示；
[0029]第c类训练样本的平均脸定义为:
【权利要求】
1.一种基于视频图像序列的人脸表情识别方法，其特征在于包括如下步骤: (1)身份验证:从视频中捕捉图像，获得该视频中的用户信息，然后通过与人脸训练样本的比对，进行身份验证，确定用户表情库； (2)表情识别:对视频进行纹理特征提取，获得用户表情程度最大化时的关键帧，将关键帧图像与步骤(1)确定的用户表情库中的表情训练样本进行比对，最终输出表情识别的统计结果。
2.根据权利要求1所述的一种基于视频图像序列的人脸表情识别方法，其特征在于:所述步骤(1)包括如下步骤: (11)视频用户信息提取； (12)身份验证。
3.根据权利要求1所述的一种基于视频图像序列的人脸表情识别方法，其特征在于:所述步骤(2)包括如下步骤: (21)视频关键帧提取； (22)人脸区域的检测； (23)人脸区域的定位； (24)人脸表情特征的提取； (25)表情特征的分类识别；· (26)表情识别结果输出。
4.根据权利要求3所述的一种基于视频图像序列的人脸表情识别方法，其特征在于:所述步骤(21)包括如下步骤: (211)采用逆差矩特征参数提取视频所反映的纹理特征，得到视频每帧的纹理特征参数值随着视频帧的变化曲线； (212)对步骤(211)所述变化曲线参数进行最大最小归一化处理； (213)对步骤(211)所述变化曲线进行曲线平滑拟合处理。
5.根据权利要求3所述的一种基于视频图像序列的人脸表情识别方法，其特征在于:所述步骤(22)采用基于肤色模型的人脸区域检测方法，包括如下步骤: (221)将视频图像基于彩色空间的RGB模型转换为YCbCr模型； (222)选取合适阈值将视频图像彩色差值图转换成二值差值图像。
6.根据权利要求3所述的一种基于视频图像序列的人脸表情识别方法，其特征在于:所述步骤(23)结合灰度图像边缘检测方法，采用4连通方法提取连通区域，在区域内寻找面积最大的板块，确认人脸所在位置，完成人脸区域的定位。
7.根据权利要求3所述的一种基于视频图像序列的人脸表情识别方法，其特征在于:所述步骤(24)采用基于平均值的主成分分析表情人脸特征提取方法，具体包括如下步骤: (241)计算用户表情库训练样本特征向量 设训练样本的维数为n，共有L类，N1, N2,...，队分别表示每一类训练样本的数目，N为训练样本总数，第c类训练样本集合表示为尤eiT，N。为第c类训练样本的数目；所有训练样本集合用X= (X1, X2,, XJ表示； 第c类训练样本的平均脸定义为:
8.根据权利要求3所述的一种基于视频图像序列的人脸表情识别方法，其特征在于:所述步骤(25)采用欧氏距离分类器对步骤(24)提取后的待识别图像进行识别。
【文档编号】G06K9/00GK103824059SQ201410073222
【公开日】2014年5月28日 申请日期:2014年2月28日 优先权日:2014年2月28日
【发明者】徐平平, 谢怡芬, 吴秀华 申请人:东南大学