视频序列中人脸微表情的识别方法
【技术领域】
[0001] 本发明的技术方案涉及用于识别图形的记录载体的处理，具体地说是视频序列中 人脸微表情的识别方法。
【背景技术】
[0002] 微表情（micro-expression)是人类试图压抑或隐藏真实情感时泄露的非常短暂 的不能自主控制的面部表情，Ekman等人对微表情开展了一系列研究，其结果表明微表情是 识别谎言的有效线索，可以被广泛地应用于安全、司法、临床和法律领域。但是微表情持续 时间短且难以识别，即使是受过良好训练的人，进行微表情识别时，准确率仅在40%左右。 因此，研发自动微表情识别系统，实现计算机自动识别微表情，无论对于开展微表情识别的 机理研究，还是对于进行微表情识别的实际应用都是非常必要的。
[0003] 目前，国内外很多团队都在开展微表情研究。Ekman和Friesen于1969首次发现微 表情的重要性，并且一直是微表情研究的主要力量之一，但他们的大部分研究工作成果至 今并未见到公开发表。中科院王甦菁提出了一种基于判别式分析的独立张量子空间（DTSA) 和极限学习机的微表情识别算法，但是该方法计算复杂，而且识别效率只有50%左右。后 来，王甦菁对颜色信息加以考虑，因为颜色信息R、G、B三个成分有较大的相关，所以考虑利 用独立成分分析（ICA)，对张量的第四阶（颜色）去相关性，建立了 TICS模型，并且在对 CASME数据库进行分类的时候，提出将紧张和压抑这两个非常相似的微表情归为一类，将识 别率提高到了 61. 8%。日本筑波大学Polikovsky团队利用3D梯度直方图方法进行微表 情的检测识别，对200fps的视频序列进行处理，首先将人脸表情按照特定区域进行分块， 然后在每一个区域提取3D直方图特征描述运动方向，在检测到微表情之后，根据一些给定 的规则诸如FACS编码进行分类，该方法利用的数据库是研究人员自己构建的，参与人员被 要求以尽可能低的表情强度、尽可能快的速度做出面部表情，论文并没有给出最终的识别 率，该方法的人脸跟踪效果不好，没有足够的测试集进行测试，分类算法无法适应复杂的人 脸变化。美国南佛罗里达大学Shreveport团队把光流法用于微表情研究，该方法利用应变 模式处理连续的、不断变化的长视频，对面部表情的自动分割，通过对面部划分成的8个兴 趣区域计算得到的光学应力与训练等得到的某一阈值进行比较，实现了对表情和微表情的 分割。虽然该方法对光照不均匀和大量移动问题是鲁棒性的，但较为依赖于面部皮肤中形 变的大小。芬兰奥卢大学的赵国英团队利用时间差值模型和LBP-TOP算法提取微表情序列 的特征，通过提取序列图像或视频在时域和空域方向上的动态LBP纹理特征进行微表情的 识别，算法测试库样本量相对较小，识别率较低。CN 103258204A公开了一种基于Gabor和 EOH特征的自动微表情识别方法，利用Gabor和EOH特征进行微表情特征提取，但Gabor和 EOH表征全局的能力较弱，且需要结合改进后的GentleSVM分类器才能进行微表情的分类 识别，所需的硬件设备性能要求较高，而识别性能低于人们的期望。CN104298981A提出了基 于CBP-TOP特征的自动微表情识别方法，使用ELM分类器进行分类，该方法在计算每一个像 素的CBP值的时候都涉及到了乘和幂运算，相比于本发明方法，计算复杂度高，而且提取的 微表情信息不够完整。现有人脸微表情的识别方法主要存在提取的微表情序列信息单一， 没有从多个频率和方向考虑，因而识别性能低的缺陷。
【发明内容】
[0004] 本发明所要解决的技术问题是：提供视频序列中人脸微表情的识别方法，是在对 人脸微表情视频利用欧拉影像放大技术进行放大之后，对人脸微表情图像序列进行预处 理，再利用HLACLF-T0P算法提取人脸微表情序列的动态时空纹理特征，最后利用分类器进 行训练和预测，该方法克服了现有技术中由于人脸微表情变化幅度小造成微表情难以识别 的缺陷。
[0005] 上述 HLACLF-T0P 是 Higher-order Local Auto-Correlation Like Features from Three Orthogonal Panels的缩写，中文意思为基于三个正交平面的类似高阶局部自 相关特征。
[0006] 本发明解决该技术问题所采用的技术方案是：视频序列中人脸微表情的识别方 法，是一种利用HLACLF-T0P算法提取人脸微表情序列的动态时空纹理特征方法，具体步骤 如下：
[0007] 第一步，人脸微表情视频欧拉放大：
[0008] 利用欧拉影像放大算法对人脸微表情视频进行放大，将放大后的人脸微表情视频 转为人脸微表情图像序列；
[0009] 第二步，人脸微表情图像预处理：
[0010] 利用高斯滤波器对第一步得到的人脸微表情图像序列进行去噪处理，利用 Adaboost算法检测该微表情图像中的人脸并进行裁剪，采用双线性插值算法实现图像的尺 寸归一化，经过如此人脸微表情图像预处理后的人脸微表情图像大小为MXM像素，即人脸 微表情图像的宽度和高度均为M个像素；
[0011] 第三步，利用HLACLF-T0P算法提取人脸微表情序列的动态时空纹理特征：
[0012] 以下将HLACLF-T0P算法提取的人脸微表情序列的动态时空纹理特征简称为 HLACLF-T0P 特征，
[0013] 通过将HLAC掩膜作用在图像序列上来计算HLACLF-T0P特征，具体过程为：
[0014] (1)计算XY平面的HLACLF向量：
[0015] 人脸微表情图像序列在XY平面的HLACLF向量是将HLAC掩膜作用于人脸微表情 序列中的每一帧，得到一个HLACLF向量，将这些特征向量串联起来，得到该序列在当前平 面的特征向量（fn，f 12,. . .，flm，f21，f22,. . .，f2m，. . .，fnl，fn2,. . .，O，操作方法是：
[0016] 首先将HLAC掩膜作用在第二步提取的单帧人脸微表情图像的左上角3X3的区 域，将掩膜各位置的值作为所对应的像素的权值，进行相乘再相加，得到该区域的特征值， 然后将HLAC掩膜向右滑动3个像素，与前面的区域无重叠，进行掩膜操作，得到该3X3区 域特征值，继续向右滑动，直到该行的最右端，将这一行每个3X3小区域得到的特征值相 加得到该行的向量值fii;
[0017] 将HLAC掩膜向下滑动3个像素，按上述操作方法，继续从左到右扫描该图像进行 掩膜操作，得到该行的向量值f 12;
[0018] 重复上述操作，直到扫描完整个图像，得到该图像在该掩膜下得到的HLACLF向量 (fn，f12, f13, · · ·，fj，其中m = M/3,当前图像大小为MXM像素，即图像的宽度和高度均为 M个像素；
[0019] HLAC掩膜包含25个0到2阶的3X3掩膜，0-阶掩膜即在3X3的窗口中只有中 心位置为1，其他位置为〇 ;1_阶掩膜是在3X3的窗口中有两个位置为1，其他为0 ;2_阶 掩膜是在3X3的窗口中有三个位置为1，其他为0 ;将25个3X3经典HLAC掩膜作用在XY 平面，即按照上述方法，每个掩膜提取一个HLACLF向量，最后每个序列在XY平面上得到25 个向量，记为，
[0020]
(1>
[0021] 其中η为每个微表情序列中帧的个数，a代表人脸微表情图像序列中第a帧，b代 表每帧人脸微表情图像中的第b个向量元素，b取值范围为1，…，m，k表示第k个掩膜；
[0022] (2)计算XT平面和YT平面的HLACLF向量：
[0023] XT平面和YT平面中的T轴是时间轴，分别与Y轴和X轴垂直，
[0024] 将HLAC掩膜改进为6个I X 3的掩膜，这6个掩膜分别包含了三个0-阶和三个 1-阶的掩膜，〇-阶掩膜即只有一个位置为1，1-阶掩膜为两个位置为1，在XT和YT平面上 采用这6个IX 3的掩膜进行特征提取，操作方法是：
[0025] 将6个I X 3的掩膜分别作用于XT平面和YT平面，XT与YT平面大小为均为MXn， 其中，图像序列中每帧图像的宽为M个像素，η为每个微表情序列中帧的个数，对于XT平面 和YT平面分别在在Y轴与X轴上，以3为步长按照上述XY平面上掩膜的扫描方法，将I X 3 的掩膜在XT和YT平面上进行扫描，在每个平面上提取一个I Xn的向量，最后，每个序列在 XT及YT平面上得到的向量的大小均为nXm，其中m = Μ/3,与XY平面得到的向量大小一 致，记为，
[0026]
(句，
[0027] 其中，η表示每个微表情序列中帧的个数，a代表在Y轴或X轴上取到的第a个平 面，a取值为1，…，m，b代表该平面上的第b个向量元素，b取值为1，…，n，k表示第k个掩 膜；
[0028] (3)计算整个人脸微表情图像序列的HLACLF-T0P特征向量：
[0029] 将上述步骤（1)和步骤（2)获得的XY、XT和YT平面的特征向量进行串联，得到 25+6+6个长度为mXη的向量，作为每个人脸微表情视频序列的HLACLF-T0P特征向量，即将 37个向量串联，作为每个人脸微表情视频序列的HLACLF-T0P特征，由此利用HLACLF-T0P算 法提取到人脸微表情序列的动态时空纹理特征；
[0030] 第四步，利用ELM分类器进行训练和预测：
[0031] 利用ELM分类器进行训练和预测，用以验证HLACLF-T0P算法的有效性，同时对人 脸微表情序列的特征进行分类识别，判断提取的HLACLF-T0P特征究竟属于哪类人脸微表 情，具体操作过程如下：
[0032] (1)将第二步人脸微表情图像预处理完成的人脸微表情