Ts,T4, Ts,Te,T,为表情识别数据约束条件,其中T 1,T4为判断惊讶表情的条 件,T2为判断高兴表情的条件,T 3为判断厌恶、悲伤和生气表情的条件。
[0094] 进一步地,基于各表情的数值约束条件建立人脸表情的数学模型为:
[0095] 惊讶表情的数学模型为:
[009引 了如巧二曰 1了4+ 曰 2了7+ 曰 3了8+ 曰 4了3+ 曰 5(1-了9),
[0097] 其中 a。a2,a3,a4,a5分别为 0. 2,0. 2,0. 2,0. 1,0. 1。
[0098] 高兴表情的数学模型为:
[0099] Thapp=日 1了9+日2了 日+日3(1-了日)+ 日4(1-了4),
[0100] 其中 a。a2,a3,a4分别为 0. 3,0. 2,0. 2,0. 1。
[0101] 厌恶表情的数学模型为:
[010引 Tdisg= a i(l-T3) + a 2(l-Te) + a 3了4+口 JV+a sTs,
[010引 其中 a。a 2, a 3, a 4, a 5分别为 0. 3,0. 3,0. 2,0. 1,0. 1 ;
[0104] 害怕表情的数学模型为;
[0105] 针对各人脸的害怕表情数据约束,总结数学模型如式:
[0106] Tfear= a Je+asTs+asTg,
[0107] 其中曰 1,曰 2,曰 3分另Ij为 0. 3,0. l,〇. 1 ;
[010引悲伤表情的数学模型为:
[0109] 针对各人脸的悲伤表情数据约束,总结数学模型如式:
[0110] Tsad= a i(l-Ti) + a 2(1-了4),
[0111] 其中 a 1,a 2 分别为 0. 2,0. 1 ;
[0112] 生气表情的数学模型为:
[0113] ° J (1-13) +a 2T5+a 3(1-12) +a 4(1-14),
[0114] 其中口 1,口 2, 口 引 口 4分另Ij为 0. 3,0. 2,0. 1,0. 1。
[0115] 特别地,所述方法还包括对所述特征点进行平滑运算的步骤,其中所述平滑运算 公式为:
[0116]
[0117] 其中,其中n为曲线终点。
[0118] 优选地,中性表情体现在眉毛、眼睛、鼻子和嘴己各部分的几何特征进行数值计算 的结果由对所有参与计算的中性表情的训练图像的数值计算取平均值得到的。
[0119] 借由上述方案,本发明至少具有W下优点:
[0120] 本发明首先通过主动形状模型算法实现特征点定位,然后从人脸的器官形状变化 及相对位置的改变出发,计算不同表情下的所有特征点的曲率及相对位置等几何特征,最 后通过获得的数据信息构建数学模型,利用该模型实现表情识别。
[0121] 本发明所提出的新算法只需要处理人脸118个特征点的数据信息,具有非常明显 的计算成本优势,可W满足系统实时处理的需求。在日本ART女性人脸表情数据库(JAFFE) 上进行的仿真实验验证了本文算法的有效性。
[0122] 上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段, 并可依照说明书的内容予W实施,W下W本发明的较佳实施例并配合附图详细说明如后。
【附图说明】
[0123] 图1是本发明具体实施例中性、惊讶表情左眉毛曲率值比较;
[0124] 图2是本发明具体实施例中性、惊讶表情左眉毛一左眼睛垂直方向距离比较;
[0125] 图3是本发明具体实施例中性、惊讶表情左上眼脸曲率值比较;
[0126] 图4是本发明具体实施例中性、惊讶表情左下眼脸曲率值比较;
[0127] 图5是本发明具体实施例中性、惊讶表情左上下眼脸垂直方向距离比较;
[012引图6是本发明具体实施例中性、惊讶表情上嘴唇曲率比较;
[0129] 图7是本发明具体实施例中性、惊讶表情下嘴唇曲率值比较;
[0130] 图8是本发明具体实施例中性、惊讶表情上下嘴唇垂直方向距离比较。
【具体实施方式】
[0131] 下面结合附图和实施例,对本发明的【具体实施方式】作进一步详细描述。W下实施 例用于说明本发明,但不用来限制本发明的范围。
[0132] 主动形状模型(ASM)算法,也称为主动轮廓模型(Active Contour Models, ACM)。 该算法不同于其他算法,它第一次实现了主动性,因为其主要是通过迭代使得能量函数达 到最小化,因此表现出了主动的特性。
[0133] ASM算法是针对每一个特征点的局部纹理进行的纹理建模,在捜索过程中通过对 训练样本的局部纹理进行匹配来定位特征点,而AAM算法是将形状和纹理相融合,统一起 来建立外观模型,最后捜索时通过比较当前模型和输入模型之间的差别来进行匹配,该过 程主要是通过一个线性预测模型不断更新调整参数来实现。ASM算法相对来说,运算速度更 快,对单个特征点的定位精度高。因此本文主要通过ASM算法实现特征点信息提取。
[0134] 主成分分析方法
[013引 ASM 算法中,主要通过主成分分析(Principal Component Analysis, PCA) [34]方 法进行数据降维,并且利用该方法提取人脸特征主成分形成特征脸等。
[0136] PCA方法巧4]是通过正交变换实现数据降维的一种统计学方法,该方法通过正交 变换将一组可能线性相关的向量转换成一组线性无关的向量,并称该线性无关的向量为主 成分,并且使得第一主成分对应最大的方差,第二主成分对应第二大方差,依次类推,同时 要保证所有的主成分之间是相互正交的。主成分分析方法主要是保留低阶主成分而忽略高 阶主成分,因为一般数据的重要信息存放在低阶成分中。因此,主成分向量的数量一般会小 于或等于初始向量数。
[0137] 下面针对n个向量数据的计算过程详细介绍该算法。
[013引计算向量平均值:
[0139]
(2-1)
[0140] 其中向量X;均是m维数据且m<n。
[0141] 1.计算方差:
[01 化I
(2-2)
[0143] 同时计算该方差矩阵的特征向量P和特征值A。由于特征值很小时,对于整体方 差的贡献比较有限,可W只选取前t个特征值来实现特征降维。
[0144] 2.下面对初始向量进行近似估计:
[014 引 X^X+Ph, (2-3)
[0146] 其中P' =Pa,2,...,t),b为设置的权值参数。
[0147] 3.对于参数b的取值可W如下获得:
[014 引 & =卢r(x-或. (2-4)
[0149] 4.参数t的确定。参数t决定的是选取的特征向量的个数,选取的数目过少时,
[0150] 可能不能充分获得所需要的关键信息,使得整个算法的准确率降低;如果选取的 数目过少,那么保留的特征向量数目太多,对数据的处理依旧很复杂,难W实现数据的降维 和运算量的减少。该里根据特定的计算方法,获得了一个一般通用的特征值数目,即取特征 向量及特征值的前98%,但要注意将获得的特征向量按照特征值从大到小的顺序排列。
[0151] W上就是主成分分析方法的过程,通过公式(2-3)可W知道,任何一个原始向量 数据都可W通过平均向量和特征向量的线性表示之和来近似代替。
[0152] 主动形状模型
[0153] 主动形状模型主要包含两个阶段,第一步创建形状模型,首先要特征点训练,即对 训练图像手动标注特征点,构成一组训练样本的特征点向量,然后通过仿射变换对形状向 量进行对齐,最后利用主成分分析方法求解出主要的形状参数。第二步建立局部纹理模型, 统计每一个特征点的局部纹理特征,在特征点捜索过程中利用该模型进行匹配。
[0154] 点分布模型
[0巧5] 在ASM算法中,首先需要通过一组最能体现目标对象特征的关键点来表示目标对 象,该些点集即被称为点分布模型。在该阶段,通过手工标定特征点的方法来实现,而且特 征点的选取对于人脸表情识别的整个过程相当关键。对于关键点的选取,一般是在比较能 表现目标轮廓特征的地方,比如;角点、曲率大的点等,最后构成目标轮廓的特征点集合,可 表示为2Xn维向量;
[0156]
(2-5)
[0157] 其中n为预先定义的关键特征点的数目,(X;,切表示第i个训练样本上第j个特 征点,其中N为样本训练个数。
[015引样本训练
[0159] 在样本训练过程中,主要考虑的部位包括;眉毛,眼睛,鼻子和嘴己。首先手动选取 样本点数94个,分布情况如表2-2。另外,在选取特征点时应尽量使特征点均匀分布。
[0160] 表2-2特征点分布情况
[0161]
[016引将获得的特征点构造特征向量,如公式(2-6);
[016引P.X=(X"又2,. . . ,Xm),
[0164] P. y = (y。y],. . .,Y94). (2-6)
[0165] 形状模型
[0166] 获得点分布模型之后,利用Procrustes方法[60]对齐,去除旋转、平移等因素的 影响。然后通过主成分分析方法计算出平均形状,得到全局形状模型。
[0167] Procrustes 对齐
[016引由于特征点的选取均是在图像的各自坐标下进行的,如果不对齐最终形成的会是 一些散点图,那么后面对数据的处理将没有意义,所W需要通过本方法实现点分布模型的 归一化或对齐。Procrustes Analysis[60]是进行形状对齐的典型方法,通过寻找最优的相 似性变换T使得形状向量之间的Procrustes距离最小化,其中主要因子包括缩放因子S,旋 转角度0和坐标平移(t。ty)。对齐是一个迭代实现的过程:
[0169] 1)首先选取任一形状向量作为初始样本,使其它向量与之对齐;
[0170] 2)对齐后的向量进行平均化和规格化,得到平均形状向量;
[0171] 3)将所有向量对齐到平均形状向量;
[0172] 4)不断重复过程2),3)直到相邻平均形状向量的差值小于某一特定值。
[0173] 对齐后的形状向量记为:
[0174] =(x'i,y;,x'2,^,...,x*",y;,),i = (l,2,...,N).但
[0175] 构造形状模型
[0176] 针对训练样本的形状向量,使用PCA方法进行降维并提取样本的"特征脸"。具体 过程如下:
[0177] 计算形状向量的平均形状:
[017引
口-8)
[0179] 计算形状向量的协方差矩阵:
[0180]
(2-9)
[0181] 对协方差矩阵S求其特征值及特征向量。因为较大的特征值对应的特征向量含有 的形状特征信息比较多,所w特征值按照从大到小的顺序排列并取其对应的特征向量。其 特征向量Pk和特征值^ k( ^ k+1,声0, k = 1,2,...,化.)满足下式;
[0182]SPk=AkPk, (2-10)
[018引 P中=1. (2-11)
[0184] 由于需要选取较大特征值所对应的特征向量,所W取前t个特征值 [入。入2,...,人t],使得:
(2-12)
[0185]
[0186] 其中,n,为所选特征占总特征的比例,一般为95%~98%。取相应的特征向量 记为P= [Pl,P2, . . .,Pt],最终获得全局形状模型为:
[0187] X二X+ 円1, (2 13)
[018引其中,X表示平均形状,P为主成分特征向量构成的变换矩阵,b为形状向量的形 状参数,可由公式(2-14)求出:
[0189] 6 = /,'(X-X), 口-14)
[0190] 为了在应用模型的过程中,获得正常的人脸形状,需要控制参数