一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法与流程

本发明属于模式识别以及计算机视觉领域，涉及到特征点运动的表情识别方法，尤其涉及到一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法。

背景技术：

近年来，随着人们生活、工作压力的加大，焦虑症、抑郁症患者越来越多，我们试图通过对声音、面部表情、肢体语言等特征的识别，来更早地发现人们是否有焦虑、抑郁的倾向。随着人工智能的发展，人机交流技术已广泛应用于人类情感识别。其中，面部表情是人类情感识别最重要的特征。抑郁是一种持久的心境低落状态，抑郁症患者的情绪主要为蔑视、厌恶以及悲伤，面部表情经常会出现皱鼻，嘟嘴等动作；焦虑是一种无明确客观对象下紧张担心的心理状态，焦虑症患者会莫名紧张、恐惧，经常出现皱眉，抿嘴等面部动作。除了抑郁、焦虑，愤怒是人们六种基本情绪之一，也是另外一种更为负面的情绪，人们在愤怒的时候多会皱眉同时瞪眼。表情识别是指从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的心理情绪。其中，焦虑、抑郁及愤怒的表情识别就是根据分离出的表情来确定识别对象是否具有这三种心理状态。高效准确地识别技术能极大地促进人类情感识别技术的发展，在临床诊断及公共安全等领域具有十分重要的应用前景和价值。

在过去的研究中，由于缺少焦虑、抑郁患者的面部表情数据库等问题，所以没有大量的样本去寻求规律，只有高强度训练的人才能通过表情来判断对方是否有这些负面情绪状态，但即使经过训练，识别率也不高。因此，通过识别面部表情来进行焦虑、抑郁、愤怒等情绪心理的识别技术成为了计算机视觉和模式识别领域炙手可热的研究课题。

人脸表情识别经过了四十年的发展，尤其是近年来随着计算机视觉和模式识别技术的飞速发展，表情识别技术取得了很多成果。pantic等人进行面部特征检测并确定面部几何关系，然后他们通过规则推理系统将这种面部几何关系转化为面部动作单元的活动，最终通过专家系统实现表情识别。ying-litian等人采用几何特征提取与神经网络相结合的方法对正面或接近正面的面部图像进行表情识别，其中提取几何特征主要包括对于关键部位的定位特征和表情区的形状特征。ginalucal等人在以前人脸识别算法的基础上，将pca算法应用到人脸表情识别上，实验结果表明，当取前30个主分量并使用欧氏距离时，达到了最好的79.3％的识别率。

近年来，越来越多的人关注gabor小波并进行深入研究，把它应用于面部表情识别，也取得了不错的识别结果。gabor小波核函数具有与人类大脑皮层简单细胞的二维反射区相同的特性，它相当于一组窄带带通滤波器，其方向、基频带宽及中心频率均可以调节，具有明显的方向选择和频率选择特性。基于梯度的光流场计算法最早是由horn和schunk提出来的，随后mase首次利用光流来进行人脸运动跟踪，在facs系统中的44个运动单元中，他利用光流检测到了其中的12个。essa和pentland扩展了这种方法，使用光流来估计面部解剖学和物理学模型中的面部运动。anderson使用光流法计算人脸的多渠道灰度模型，完成对人脸区域的跟踪，最后用svm算法实现了表情分类。中国科技大学的尹星云等用隐马尔科夫模型(hmm)的基本理论和方法设计了人脸表情识别系统。余棉水等提出了一种基于光流的方法，利用光流技术跟踪人脸表情图像序列中的特征点，然后提取特征向量，最后利用神经网络对六种基本表情进行分类识别。

综上，在现有技术在基于几何特征提取、统计特征提取以及运动和形变特征提取方法对面部表情进行识别，识别过程复杂，不能实时进行识别，其次现有基于人机交流技术的表情识别均是针对于六类基本情绪的表情识别，对于焦虑、抑郁这类比较隐晦的情绪的表情识别少之又少，最后现有技术并未对面部动作出现的概率进行计算，而是通过特征提取，样本训练得出识别结果。

技术实现要素：

针对现有技术的不足，本发明提出了一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法；

与上述其他识别方法相比，本发明提出的方法是对三种情绪心理状态的表情识别，因此我们识别一个连续的表情视频，而不是单一的含有表情的图片。

发明概述：

一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法。首先，对含有表情的视频进行预处理得到表情片段，进而用lk角点跟踪法跟踪68个人脸特征点，并根据不同表情对应的面部肌肉运动单元(au组合)，从而得到不同表情所对应感兴趣区域内关键特征点的运动，主要强调眼睛、眉毛、鼻子和嘴巴等重要的表情部位；其中，本发明首次将人脸au组合转为实时追踪特征点的运动，从而实时的判断识别对象的心理状态，在上述方法中大多数都是对六类基本情绪的面部表情识别，而焦虑、抑郁这两种心理状态是通过多种情绪下的面部表情结合来识别，而愤怒作为六种基本情绪之一，其面部表情可以直接识别。其次，通过计算表情序列中关键特征点间的距离在前后帧的变化累加值，以及与预设基准值的对比，得到每种表情出现的概率，从而得到更全面、更有判决力的表情识别结果；最后，利用不同的面部表情动作出现概率来识别情绪，进而判断识别对象是否有焦虑、抑郁、愤怒的表现，该方法可以形象直观地得到表情出现的概率，提高情感识别的效率，且该方法仅对人脸面部区域特征点进行光流追踪计算，可以减少计算量，降低时耗，是一种高鲁棒性的表情识别方法。

术语解释：

1、dlib视觉库，dlib是一个现代的c++工具包，包含了用c++创建复杂软件来解决实际问题的机器学习算法和工具。dlib所有的设计都是高度模块化的，快速执行，使用起来非常简单。它用于各种应用，包括机器人技术，嵌入式设备，手机和大型高性能计算环境。调用dlib视觉库来检测人脸68个特征点。

2、人脸68个特征点，人脸68个特征点主要分布于眉毛，眼睛，鼻子，嘴巴以及面部轮廓，如图3所示，通过dlib视觉库来检测；

3、klt角点跟踪算法，全称kanade-lucas-tomasitracking，又称lk跟踪算法，是经典的角点跟踪算法；lk跟踪算法是目标在一段视频流中，只存在一致性的小的位置变化，并且目标的灰度变化不大，算法必须在以下三个假设成立的前提下发挥好的效果：第一，亮度恒定。第二，时间连续或者运动位移小。第三，空间一致性，邻近点有相似运动，保持相邻。

本发明的技术方案为：

一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法，包括步骤如下：

(1)对表情视频进行预处理；

(2)调用dlib视觉库，检测人脸68个特征点；

(3)根据人脸68个特征点的运动规律，将其划分为不同的感兴趣区域；

(4)采用klt角点跟踪算法(光流法)，追踪人脸68个特征点；

(5)设置五种表情在对应感兴趣区域内关键特征点之间距离的阈值；先选择数据库中一个识别对象，计算其做五种表情时关键特征点的运动距离，作为标准值c，再计算表情阈值var，

(6)根据facs编码的提示，识别焦虑、抑郁、愤怒三种情绪状态，焦虑表现为au4+au14，即皱眉并抿嘴；抑郁表现为au10+au17，即皱鼻并嘟嘴；愤怒表现为au4+au5，即皱眉并瞪眼；au4是指皱眉，au14是指抿嘴，au10是指皱鼻，au17是指嘟嘴，au5是指瞪眼；

对于每一段表情图像序列，从初始帧开始，循环找到每个感兴趣区域内关键特征点距离在前后帧的变化累加值，并与每种表情的阈值对比，计算每种表情出现的概率p，设置概率p的阈值t为80％，当皱眉概率高于t且抿嘴概率高于t时，情绪识别为焦虑；当皱鼻概率高于t且嘟嘴概率高于t时，情绪识别为抑郁；当皱眉概率高于t且瞪眼概率高于t时，情绪识别为愤怒；否则，情绪识别为其它。

根据本发明优选的，所述步骤(1)中，对表情视频进行预处理，包括步骤如下：

a、对表情依次进行分帧、人脸定位；

b、人脸对齐：人脸定位完成后，检测到27个面部特征点，包括：左眼中心、右眼中心、鼻子中心、左嘴角、右嘴角、左眉毛左边缘、左眉毛右边缘、左眼左边缘、左眼睫毛上、左眼睫毛下、左眼右边缘、右眉毛左边缘、右眉毛右边缘、右眼左边缘、右眼睫毛上、右眼睫毛下、右眼右边缘、鼻梁高左、鼻梁高右、鼻梁中左、鼻梁中右、鼻梁低左、鼻梁低右、人中、嘴唇上、嘴唇中、嘴唇下；左眼中心、右眼中心连线和水平线有一定夹角，对人脸驱动变形后，通过使左眼中心、右眼中心连线与水平线平行，矫正人脸姿态，实现人脸对齐。

根据本发明优选的，所述步骤(3)中，根据人脸68个特征点的运动规律，将其划分为不同的感兴趣区域，是指：选取皱眉动作变化最明显的关键特征点包括左眉毛右边缘、右眼左边缘、鼻梁中部，组成区域一；选取瞪眼动作变化最明显的关键特征点包括左、右眼周八个特征点，组成区域二；选取皱眉动作变化最明显的关键特征点包括鼻子部位八个特征点，组成区域三；选取抿嘴、嘟嘴动作变化最明显的关键特征点包括嘴唇周围17个特征点，组成区域四，区域即感兴趣区域。

根据本发明优选的，所述步骤(4)中，采用光流法，追踪人脸68个特征点，包括步骤如下：

klt对于图像中的目标，并不是目标框和跟踪框内的所有的点都求取偏移量，而是选择一些特征不变的角点(corners)，这里将fast角点作为跟踪点。

选择fast角点作为跟踪点，通过方程式①解得的残差e：

zd＝e①

式①中，z是2×2的矩阵；z＝∫∫wg(x)g^t(x)ω(x)dx；

e是2×1的向量，是计算的残差，e＝∫∫w[j(x)-i(x)]g(x)ω(x)dx；

设置残差e的阈值为100；

如果求得的残差e小于残差e的阈值，则认为是跟踪到的一个角点，求出角点的偏移d；

设置d的阈值为10，若d小于10，则被认为是跟踪正确的角点。

在表情序列的初始帧检测到68个特征点，从第二帧开始用klt角点追踪法对每个特征点进行追踪，当角点与前一帧对应特征点偏移d小于10时认为追踪到正确的角点即追踪到对应的特征点在下一帧中的位置。

根据本发明优选的，所述步骤(6)中，包括步骤如下：

d、检测第一帧图像中68个人脸特征点的位置，从第二帧图像开始，利用lk角点跟踪法在表情图像序列中跟踪68个人脸特征点的位置，计算出68个人脸特征点在表情图像序列前后帧运动的欧氏距离，在第i帧中特征点p1(x1,y1)与p2(x2,y2)之间的距离为di，如式②所示：

式②中，i表示表情图像序列中第i帧图像；

e、将前后帧间两个特征点距离作差，并计算整个表情图像序列差值的累加和d，如式③所示：

式③中，n为表情序列的帧数。

根据本发明优选的，所述步骤(6)中，对于不同的au所对应表情动作，取不同感兴趣区域内特征点进行计算，包括步骤如下：

f、au4皱眉对应感兴趣区域为区域一，选择特征点22,23,28，分别求得表情序列中，特征点22与28的距离差值累加和d1，以及特征点23与28的距离差值累加和d2；皱眉过程中，特征点22与28的距离以及特征点23与28的距离在变小，因此d1,d2均为负值；

找到d1,d2的最小值d1min,d2min，其所对应的表情帧，即为皱眉幅度最大的位置；

设置皱眉的特征点形变阈值var1为：2.5为特征点22与28以及特征点23与28在皱眉幅度最大时设置的标准值，320为人脸大小的标准值，facesize为当前表情序列中人脸大小；

计算au4皱眉出现的概率p1：

g、au5瞪眼对应的感兴趣区域为区域二，选择左眼特征点38,39,41,42以及右眼特征点44,45,47,48，分别求得表情序列中特征点38与特征点42、特征点39与特征点41、特征点44与与特征点48、特征点45与特征点47的距离差值累加和d1′,d2′,d3′,d4′；瞪眼过程中四对特征点的距离均在变大，因此d1′,d2′,d3′,d4′均为正值；

找到d1′,d2′,d3′,d4′的最大值d′1max,d′2max,d′3max,d′4max，其对应的表情帧即为瞪眼动作幅度最大的位置；

设置瞪眼的特征点形变阈值var2为：2.5为左眼特征点对(38,42)与(39,41)距离取均值以及右眼特征点对(44,48)、(45,47)距离取均值后的标准值，320为人脸大小的标准值，facesize为当前表情序列中人脸大小；

先分别对左眼、右眼特征点最大距离差值累加和取均值dleft、dright：

计算au5瞪眼出现的概率p2：

h、au10皱鼻对应感兴趣区域为区域三，选择特征点29,32,36，分别求得表情序列中特征点对(29,32)以及(29,26)的距离差值累加和d″1,d″2；皱鼻过程中特征点对(29,32)以及(29,26)的距离在变小，因此d1,d2均为负值，

找到d″1,d″2的最小值d″1min,d″2min，其所对应的表情帧，即为皱鼻幅度最大的位置，设置皱眉的特征点形变阈值var3为：7.5为特征点对(29,32)以及(29,26)在皱鼻幅度最大时设置的标准值，320为人脸大小的标准值，facesize为当前表情序列中人脸大小；

计算au10皱鼻出现的概率p3：

i、au17嘟嘴对应的感兴趣区域为区域四，选择区域内特征点对(51，59)、(52,58)、(53,57)计算嘴部上下的运动幅度，选择特征点对(49,55)计算嘴部左右的运动幅度，分别求得表情序列中特征点对(51，59)、(52,58)、(53,57)三对特征点的距离差值累加和d″′1,d″′2,d″′3,d″′4,；嘟嘴过程中上下方向上三对特征点的距离均在变大，因此d″′1,d″′2,d″′3均为正值，而左右方向上特征点的距离在变小，因此d″′4为负值；

找到d″′1，d″′2,d″′3的最大值d″′1max,d″′2max,d″′3max以及d″′4的最小值d″′4min，此时对应的表情帧即为嘟嘴动作幅度最大的位置，设置嘟嘴的特征点形变阈值左右方向为-5，上下方向为5；

先对嘴部上下方向上特征点对最大距离差值累加和取均值：

计算au17嘟嘴出现的概率p4:

j、au14抿嘴对应的感兴趣区域为区域四，选择区域内特征点对(51，59)、(52,58)、(53,57)计算嘴部上下的运动幅度，分别求得表情序列中特征点对(51，59)、(52,58)、(53,57)三对特征点的距离差值累加和抿嘴过程中三对特征点的距离均在变小，因此均d1,d2,d3为负值，找到d1,d2,d3的最小值此时对应的表情帧即为抿嘴动作幅度最大的位置，设置抿嘴的特征点形变阈值为-5；

先对特征点对(51，59)、(52,58)、(53,57)最大距离差值累加和取均值：

计算au14抿嘴出现的概率p5：

k、进行情绪状态识别：

若p1≥80％且p5≥80％，即皱眉与抿嘴出现概率均达80％，au4+au14，则情绪识别为焦虑；若p3≥80％且p4≥80％，即皱鼻与嘟嘴出现概率均达80％，au10+au17，则情绪识别为抑郁；若p1≥80％且p2≥80％，即皱眉与瞪眼出现概率均达80％，au4+au5，则情绪识别为焦虑；否则，情绪识别为其它。

本发明的有益效果是：

本发明提出了一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法，相比于已有的表情识别方法，本发明提出的方法首先对表情视频进行预处理得到表情序列，进而提取表情序列初始帧人脸68个关键特征点，强调了眼睛、眉毛、鼻子和嘴巴等重要的表情部位，通过lk角点跟踪法从第二帧开始对68个特征点进行跟踪，并将人脸分为四个感兴趣区域，计算不同表情前后帧间对应感兴趣区域内的关键特征点间距离的变化累加值，并与每种表情的特征点形变阈值作比较，计算表情出现的概率的方法，最后根据facs版本的提示，识别焦虑、抑郁、愤怒三种情绪心理。本发明提出的方法是基于表情视频通过对人脸面部特征点进行实时追踪，计算相关面部动作出现的概率，来实时进行三种情绪心理的表情识别，更具有高效性和鲁棒性。

附图说明

图1为本发明基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法流程示意图；

图2为人脸对齐效果示意图；

图3为人脸68个特征点检测示意图；

图4为人脸识别感兴趣区域划分示意图；

图5为愤怒表情识别效果图；

图6为焦虑表情识别效果图；

图7为抑郁表情识别效果图。

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。

实施例1

一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法，如图1所示，包括步骤如下：

(1)对表情视频进行预处理；

(2)调用dlib视觉库，检测人脸68个特征点；

(3)根据人脸68个特征点的运动规律，将其划分为不同的感兴趣区域；

(4)采用klt角点跟踪算法(光流法)，追踪人脸68个特征点；

(5)设置五种表情在对应感兴趣区域内关键特征点之间距离的阈值；先选择数据库中一个识别对象，计算其做五种表情时关键特征点的运动距离，作为标准值c，再计算表情阈值var，

(6)根据facs编码的提示，识别焦虑、抑郁、愤怒三种情绪状态，焦虑表现为au4+au14，即皱眉并抿嘴；抑郁表现为au10+au17，即皱鼻并嘟嘴；愤怒表现为au4+au5，即皱眉并瞪眼；au4是指皱眉，au14是指抿嘴，au10是指皱鼻，au17是指嘟嘴，au5是指瞪眼；

对于每一段表情图像序列，从初始帧开始，循环找到每个感兴趣区域内关键特征点距离在前后帧的变化累加值，并与每种表情的阈值对比，计算每种表情出现的概率p，设置概率p的阈值t为80％，当皱眉概率高于t且抿嘴概率高于t时，情绪识别为焦虑；当皱鼻概率高于t且嘟嘴概率高于t时，情绪识别为抑郁；当皱眉概率高于t且瞪眼概率高于t时，情绪识别为愤怒；否则，情绪识别为其它。

实施例2

根据实施例1所述的一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法，步骤(1)中，对表情视频进行预处理，包括步骤如下：

a、对表情依次进行分帧、人脸定位；

b、人脸对齐：人脸定位完成后，检测到27个面部特征点，包括：左眼中心、右眼中心、鼻子中心、左嘴角、右嘴角、左眉毛左边缘、左眉毛右边缘、左眼左边缘、左眼睫毛上、左眼睫毛下、左眼右边缘、右眉毛左边缘、右眉毛右边缘、右眼左边缘、右眼睫毛上、右眼睫毛下、右眼右边缘、鼻梁高左、鼻梁高右、鼻梁中左、鼻梁中右、鼻梁低左、鼻梁低右、人中、嘴唇上、嘴唇中、嘴唇下；左眼中心、右眼中心连线和水平线有一定夹角，对人脸驱动变形后，通过使左眼中心、右眼中心连线与水平线平行，矫正人脸姿态，实现人脸对齐。图2为对齐后的效果图。

步骤(3)中，根据人脸68个特征点的运动规律，将其划分为不同的感兴趣区域，如图4所示，是指：选取皱眉动作变化最明显的关键特征点包括左眉毛右边缘、右眼左边缘、鼻梁中部，组成区域一；选取瞪眼动作变化最明显的关键特征点包括左、右眼周八个特征点，组成区域二；选取皱眉动作变化最明显的关键特征点包括鼻子部位八个特征点，组成区域三；选取抿嘴、嘟嘴动作变化最明显的关键特征点包括嘴唇周围17个特征点，组成区域四，区域即感兴趣区域。

感兴趣区域，就是从图像中选择一个图像区域，这个图像区域就是图像分析所关注的焦点。在人脸表情识别中，因为表情运动中心点主要集中在眼睛、眉毛、嘴角和鼻翼等敏感部位，面部其它肌肉部分的运动一般为这些中心的牵连导致，因此，将人脸划分为图4中的若干感兴趣区域，该图的划分依据的是人脸特征点的具体位置，例如区域1划分过程为先定位眉毛内角两个特征点22和23，结合该区域运动特点和facs编码提示，得到感兴趣区域1(区域一)。

步骤(4)中，采用光流法，追踪人脸68个特征点，包括步骤如下：

klt对于图像中的目标，并不是目标框和跟踪框内的所有的点都求取偏移量，而是选择一些特征不变的角点(corners)，这里将fast角点作为跟踪点。

选择fast角点作为跟踪点，通过方程式①解得的残差e：

zd＝e①

式①中，z是2×2的矩阵；z＝∫∫wg(x)g^t(x)ω(x)dx；

e是2×1的向量，是计算的残差，e＝∫∫w[j(x)-i(x)]g(x)ω(x)dx；

设置残差e的阈值为100；

如果求得的残差e小于残差e的阈值，则认为是跟踪到的一个角点，求出角点的偏移d；

设置d的阈值为10，若d小于10，则被认为是跟踪正确的角点。

在表情序列的初始帧检测到68个特征点，从第二帧开始用klt角点追踪法对每个特征点进行追踪，当角点与前一帧对应特征点偏移d小于10时认为追踪到正确的角点即追踪到对应的特征点在下一帧中的位置。

式①的推导过程如下：

假设：目标不受亮度的影响；在目标领域内有对应的特征点；并且，在同一窗口内，所有特征点的位移相同；

定义同一目标出现在两帧图像i、j中，如果图像中两个点匹配，那么以这两点为中心，w为窗口，存在极小的灰度平方差ε，定义如式(ⅰ)所示：

ε＝∫∫w[j(x)-i(x-d)]²ω(x)dx(ⅰ)

式(ⅰ)中，坐标x＝[x,y]^t，偏移量d＝[dx,dy]^t，设置权重系数ω(x)＝1；j(x)为坐标为x的目标点在图像j中的灰度值；i(x-d)为目标点偏移d后在图像i中的灰度值；

将式(ⅰ)中的[j(x)-i(x-d)]替换成对称的形式式(ⅰ)改写为式(ⅱ)：

为了得到最佳匹配，使ε最小，令式(ⅱ)倒数为0，求取极小值，将式(ⅱ)在点a＝[ax,ay]^t进行泰勒级数展开，截断高阶保留线性项，得到式(ⅲ)：

式(ⅲ)中，ξ＝[ξx,ξy]^t，a是一个特征点的坐标，ξ是a偏移后的坐标；

令和x＝a，代入式(ⅲ)，得到式(ⅳ)：

令和x＝a，代入式(ⅲ)，得到式(ⅴ)：

因此，得到式(ⅵ)：

式(ⅵ)中，

为了找到偏移量d，设置式(ⅵ)等于0，求极小值，如下所示：

将上式展开到等式两边：

∫∫w[j(x)-i(x)]g(x)ω(x)dx＝-[∫∫wg(x)g^t(x)ω(x)dx]d

相当于求解方程式①：

zd＝e①

z是2×2的矩阵；

z＝∫∫wg(x)g^t(x)ω(x)dx

e是2×1的向量，是计算的残差：

e＝∫∫w[j(x)-i(x)]g(x)ω(x)dx

求解方程式(ⅵ)，不一定能得到精确解，利用牛顿迭代法求解，当残差e小于一定阈值时，就认为得到了近似解。

步骤(6)中，包括步骤如下：

d、检测第一帧图像中68个人脸特征点的位置，从第二帧图像开始，利用lk角点跟踪法在表情图像序列中跟踪68个人脸特征点的位置，计算出68个人脸特征点在表情图像序列前后帧运动的欧氏距离，在第i帧中特征点p1(x1,y1)与p2(x2,y2)之间的距离为di，如式②所示：

式②中，i表示表情图像序列中第i帧图像；

e、将前后帧间两个特征点距离作差，并计算整个表情图像序列差值的累加和d，如式③所示：

式③中，n为表情序列的帧数。

步骤(6)中，是指：对于不同的au所对应表情动作，取不同感兴趣区域内特征点进行计算，包括步骤如下：

f、au4皱眉对应感兴趣区域为区域一，选择特征点22,23,28，分别求得表情序列中，特征点22与28的距离差值累加和d1，以及特征点23与28的距离差值累加和d2；皱眉过程中，特征点22与28的距离以及特征点23与28的距离在变小，因此d1,d2均为负值；

找到d1,d2的最小值d1min,d2min，其所对应的表情帧，即为皱眉幅度最大的位置；

设置皱眉的特征点形变阈值var1为：2.5为特征点22与28以及特征点23与28在皱眉幅度最大时设置的标准值，320为人脸大小的标准值，facesize为当前表情序列中人脸大小；

计算au4皱眉出现的概率p1：

g、au5瞪眼对应的感兴趣区域为区域二，选择左眼特征点38,39,41,42以及右眼特征点44,45,47,48，分别求得表情序列中特征点38与特征点42、特征点39与特征点41、特征点44与与特征点48、特征点45与特征点47的距离差值累加和d1′,d2′,d3′,d4′；瞪眼过程中四对特征点的距离均在变大，因此d1′,d2′,d3′,d4′均为正值；

找到d1′,d2′,d3′,d4′的最大值d′1max,d′2max,d′3max,d′4max，其对应的表情帧即为瞪眼动作幅度最大的位置；

设置瞪眼的特征点形变阈值var2为：2.5为左眼特征点对(38,42)与(39,41)距离取均值以及右眼特征点对(44,48)、(45,47)距离取均值后的标准值，320为人脸大小的标准值，facesize为当前表情序列中人脸大小；

先分别对左眼、右眼特征点最大距离差值累加和取均值dleft、dright：

计算au5瞪眼出现的概率p2：

h、au10皱鼻对应感兴趣区域为区域三，选择特征点29,32,36，分别求得表情序列中特征点对(29,32)以及(29,26)的距离差值累加和d″1,d″2；皱鼻过程中特征点对(29,32)以及(29,26)的距离在变小，因此d1,d2均为负值，

找到d″1,d″2的最小值d″1min,d″2min，其所对应的表情帧，即为皱鼻幅度最大的位置，设置皱眉的特征点形变阈值var3为：7.5为特征点对(29,32)以及(29,26)在皱鼻幅度最大时设置的标准值，320为人脸大小的标准值，facesize为当前表情序列中人脸大小；

计算au10皱鼻出现的概率p3：

i、au17嘟嘴对应的感兴趣区域为区域四，选择区域内特征点对(51，59)、(52,58)、(53,57)计算嘴部上下的运动幅度，选择特征点对(49,55)计算嘴部左右的运动幅度，分别求得表情序列中特征点对(51，59)、(52,58)、(53,57)三对特征点的距离差值累加和d″′1,d″′2,d″′3,d″′4,；嘟嘴过程中上下方向上三对特征点的距离均在变大，因此d″′1,d″′2,d″′3均为正值，而左右方向上特征点的距离在变小，因此d″′4为负值；

找到d″′1,d″′2,d″′3的最大值d″′1max,d″′2max,d″′3max以及d″′4的最小值d″′4min，此时对应的表情帧即为嘟嘴动作幅度最大的位置，设置嘟嘴的特征点形变阈值左右方向为-5，上下方向为5；

先对嘴部上下方向上特征点对最大距离差值累加和取均值：

计算au17嘟嘴出现的概率p4:

j、au14抿嘴对应的感兴趣区域为区域四，选择区域内特征点对(51，59)、(52,58)、(53,57)计算嘴部上下的运动幅度，分别求得表情序列中特征点对(51，59)、(52,58)、(53,57)三对特征点的距离差值累加和抿嘴过程中三对特征点的距离均在变小，因此均d1,d2,d3为负值，找到d1,d2,d3的最小值此时对应的表情帧即为抿嘴动作幅度最大的位置，设置抿嘴的特征点形变阈值为-5；

先对特征点对(51，59)、(52,58)、(53,57)最大距离差值累加和取均值：

计算au14抿嘴出现的概率p5：

k、进行情绪状态识别：

若p1≥80％且p5≥80％，即皱眉与抿嘴出现概率均达80％，au4+au14，则情绪识别为焦虑；若p3≥80％且p4≥80％，即皱鼻与嘟嘴出现概率均达80％，au10+au17，则情绪识别为抑郁；若p1≥80％且p2≥80％，即皱眉与瞪眼出现概率均达80％，au4+au5，则情绪识别为焦虑；否则，情绪识别为其它。

图5为愤怒表情识别效果图，通过本发明的方法计算得该表情视频中皱眉、抿嘴、嘟嘴、皱鼻、歪头、瞪眼发生的概率分别为100％、43％、65％、40％、32％、100％；其中，皱眉和瞪眼发生的概率均高于80％，因此，判定此表情为愤怒。

图6为焦虑表情识别效果图，通过本发明的方法计算得该表情视频中皱眉、抿嘴、嘟嘴、皱鼻、歪头、瞪眼发生的概率分别为92％、100％、47％、25％、48％、24％；其中，皱眉和抿嘴发生的概率均高于80％，因此，判定此表情为焦虑。

图7为抑郁表情识别效果图，通过本发明的方法计算得该表情视频中皱眉、抿嘴、嘟嘴、皱鼻、歪头、瞪眼发生的概率分别为57％、52％、100％、100％、37％、23％；其中，嘟嘴和皱鼻发生的概率均高于80％，因此，判定此表情为抑郁。

本实施例通过对实验室情绪心理数据集中表情视频进行表情识别实验，来检验本发明的效果。首先对表情视频进行预处理得到表情序列，进而提取表情序列初始帧人脸68个关键特征点，强调了眼睛、眉毛、鼻子和嘴巴等重要的表情部位，将人脸分为四个感兴趣区域，通过lk角点跟踪法从第二帧开始对68个特征点进行跟踪，计算不同表情前后帧间对应感兴趣区域内的关键特征点间距离的变化累加值，并与每种表情的特征点形变阈值作比较，计算表情出现的概率的方法，最后根据facs版本的提示，识别焦虑、抑郁、愤怒三种情绪心理。

表1为实验室情绪心理数据集表情识别结果，假设样本数量为m总，成功检测数量为m成功，则每种识别率f可表示为：

表1

检测结果显示基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法在实验室情绪心理数据集上焦虑、抑郁、愤怒、其他分别获得75.7％、71.9％、77.8％、71.4％的识别率，证明了本方法进行表情识别的有效性，并且该识别方法是对表情视频进行实时识别，能够高效的识别视频中识别对象的情绪心理。