基于主动形状模型算法分析人脸表情的方法
【技术领域】
[0001] 本发明设及人脸表情识别技术领域，尤其设及一种基于主动形状模型算法分析人 脸表情的方法。
【背景技术】
[0002] 人脸在日常生活的人际交往中发挥着关键作用，所W对于人脸及人脸表情识别的 研究日益成为各学者关注的热点。最早，Ekman等屯、理学家提出在人类日常交流过程中， 有55%的信息是通过人脸面部表情来传递的，而通过语言和声音手段进行交流的信息只占 7%和38%，因此为了更好地了解人类的精神状态，需要对表情进行深入研究。
[0003] 关于人脸表情的研究起源于19世纪，20世纪70年代时，由Ekman和化iesen提出 了统一的人脸表情模板，该表情模板适用于各个种族、文化的所有人类，包括高兴、悲伤、害 怕、厌恶、惊讶和生气，被称为"六种基本表情"。
[0004] 人脸表情是人脸肌肉作用的结果，并体现在面部器官上；眼睛、眉毛、鼻子、嘴己和 皮肤纹理等，表情脸的运动特征总结规律。由戴振龙等人所研究实现的表情实时生成是基 于MPEG-4标准，该标准对人脸动作进行了量化定义，主要包括；脸部定义参数（FD巧，定义 人脸的几何结构；脸部动画参数（FAP)，定义人脸脸部基本动作。如果想要准确的描述人脸 表情，我们就需要相关的术语对产生表情的运动及变化进行描述，例如脸部运动的定位、强 度和动态规律等。人脸表情的描述可W通过脸部特征的几何形变或者脸部区域的纹理变 化来实现。比如说笑，可W通过脸颊的提高和嘴角的上扬来表示。但是，由于每个人表现表 情的方式不同及各种表情的多样性，所W很难准确地描述一个表情，本文希望对比出其它 表情和中性表情的差异，从而实现表情识别。
[0005] 人脸表情识别是首先针对脸部表情特征区域提取关键点信息，并且结合相应算法 按照计算机的理解方式给出描述，然后计算机依据先验知识来识别人脸表情，最终实现一 个良好的人机交互环境。由于表情的复杂多样性，人脸表情识别相对有较高挑战性，但是， 随着近些年的科技发展，对于人工智能方向的研究已经达到了较高的水平，尤其在人脸表 情识别发展中取得了很好的研究成果。
[0006] 人脸表情识别有广泛的应用前景：
[0007] 在智能安全监控领域，很多汽车、飞机等司机需要高度集中注意力，如果出现疲劳 驾驶或者一些突发状况时是很有危险的，将表情识别系统运用起来进行实时的监控及提 醒，将会极大地提高安全系数，保障人们的生命安全，消除不必要的安全隐患。
[0008] 在医疗卫生领域，可W通过表情识别系统等实时观察病人状况，并能够及时地反 馈给医生。另外，基于表情识别的智能机器人也可W代替医护人员，更好的了解和掌握病人 的需求，随时听候病人的差遣。目前，为照顾行动不便人±的机器人已经研发出来并得到使 用，相信未来结合表情识别的智能机器人会有更人性化的服务功能。
[0009] 在美国电视剧《Lie to Me》中，测谎专家通过观察人的表情来判断其是否撒谎， 破解了很多棘手的案例。因此，通过表情变化来测谎是未来表情识别的很有意义的一个发 展方向。
[0010] 在教育领域，通过观察儿童在一些场景和活动中的表情，发掘儿童潜在的兴趣、了 解掌握儿童的情感状况及性格问题，有助于促进儿童的健康成长，避免一些消极状况的发 生。另外，教师可W结合屯、理学等知识，通过观察学生们的表情信息了解学生们的屯、理状 况，及时地引导学生们解决学习生活中的各种问题。针对此应用目的，有研究开发出移动学 习下[13]的表情识别系统。
[0011] 总之，随着社会的不断发展W及科技的进步，人脸表情的分析与识别技术在未来 的日常生活中会得到广泛应用，并且在改善人们的生活方式W及生活质量方面有着巨大的 潜力。
[0012] 人脸表情识别在人们的日常生活中发挥重要作用。尽管近年来关于表情识别的研 究取得了明显进展，但现有方法一般技术性比较强、过程比较复杂。
[0013] 传统的基于图像分析的人脸表情识别算法需要处理整幅图像的所有像素数据，其 算法复杂度往往会制约整个视觉系统的效率。
[0014] 有鉴于上述的缺陷，本设计人，积极加W研究创新，W期创设一种基于主动形状模 型算法分析人脸表情的方法，使其更具有产业上的利用价值。
【发明内容】
[0015] 为解决上述技术问题，本发明的目的是提供一种计算效率高、识别准确性好的基 于主动形状模型算法分析人脸表情的方法。
[0016] 本发明的基于主动形状模型算法识别人脸表情的方法，所述方法包括：
[0017] 存储或选取人脸表情数据库，选取所述人脸表情数据库中部分或全部人脸表情 作为训练图像；
[0018] 基于主动形状模型算法对所述训练图像进行特征点定位，其中所述特征点为针对 所述训练图像的眉毛、眼睛、鼻子和嘴己四部分定位出的特征点，所述特征点形成所述的眉 毛、眼睛、鼻子和嘴己各部分的轮廓数据信息；
[0019] 基于所述的眉毛、眼睛、鼻子和嘴己各部分的轮廓数据信息，对所述训练图像进行 数据训练，得到各基本表情W及中性表情体现在眉毛、眼睛、鼻子和嘴己各部分的几何特征 的数据定义；
[0020] 基于所述的数据定义分别对各基本表情相较于中性表情的几何特征变化进行数 值计算，得到各表情的数值约束条件；
[0021] 基于各表情的数值约束条件建立人脸表情的数学模型，基于所述数学模型进行人 脸识别。
[0022] 进一步地，选取日本ATR女性表情数据库中部分或全部人脸图像作为训练图像， 其中所述训练图像至少包括6种基本表情中的各一副人脸图像和中性表情的至少一副人 脸图像；
[0023] 基于主动形状模型算法对所述训练图像进行人脸特征点定位，其中所述特征点为 针对人脸眉毛、眼睛、鼻子和嘴己部分定位出的特征点，所述特征点形成所述眉毛、眼睛、鼻 子和嘴己各部分的轮廓形状数据信息；
[0024] 基于所述的各部分的轮廓特征数据信息，对各表情体现在眉毛、眼睛、鼻子和嘴己 各部分的几何特征进行数据定义；
[0025] 基于所述的数据定义分别对各表情体现在眉毛、眼睛、鼻子和嘴己各部分的几何 特征进行数值计算；
[0026] 对各基本表情相较于中性表情的几何特征变化进行数值计算，得到各基本表情相 较于中性表情的数值约束条件；
[0027] 基于各基本表情的数值约束条件建立人脸表情的数学模型，基于所述数学模型进 行人脸识别。
[0028] 具体地，所述的主动形状模型算法对所述训练图像进行人脸特征点定位具体包 括：
[0029] 选取所述的表情数据库中的70副人脸图像作为进行训练，在每张所述训练图像上 选取94个特征点，将左眉毛、右眉毛、左眼睛上眼脸、左眼睛下眼脸、右眼睛上眼脸、右眼睛 下眼脸、鼻子、上嘴唇、下嘴唇部分的特征点依次构成特征向量Si，S2, S3, S4, Ss，Se，S,，Ss，S9;
[0030] 对所述的特征点进行线性插值运算，其中所述线性插值运算具体包括：使用插值 函数interp对坐标数据信息进行5倍原采样频率值重新采样；利用interpl函数在选 定特征点之间平均插入20个点，构成特征向量S' 1，S' 2, S' 3, S' 4, S' 5, S' e，S' 7, S' 8 ，S' 9;
[0031] 对所有特征向量进行对齐；
[0032] 特征向量对齐之后，构建形状模型，通过对特征向量进行PCA运算得到特征值、特 征向量、平均形状 Evalues, Evectors, x_mean ;
[0033] 圧values, Evectors, x_mean] = PCA(X),
[0034] 选取98%的特征向量来减少轮廓噪声，并对特征值设置参数限制，选取前t个特 征向量和特征值，特征值按照从大到小排列，获得全局统计形状模型X，
[00；35] P = Evectors (1, 2. . . , t),
[0036] 占 = ^/I*￡v，。/"cッ(l，2，...，0，
[0037] X 二 x_mean+机.
[0038] 依据ASM算法构造局部纹理模型，得到第j个特征点的局部纹理模型扔A' .
[0039] 应用ASM模型到数据库中各人脸图像上，基于多分辨率的捜索策略，高斯图像金 字塔层数为2层，对每一层进行特征点定位，所述的定位过程包括：
[0040] 对平均形状进行旋转、平移等变换，获得初始形状，在目标图像上选取与其接近的 位置确定初始形状的位置；
[0041] 更新参数，不断优化目标图像的特征点定位；
[0042] 重复上述过程，直到迭代次数达到阔值。
[0043] 进一步地，各表情体现在眉毛、眼睛、鼻子和嘴己各部分的几何特征进行数据定义 分别为：
[0044] 计算眉毛的曲率局来判断眉毛是否发生弯曲等形变；
[0045] 计算眉毛内点与外点在垂直方向上的距离屯来判断眉毛形状的改变；
[0046] 分别计算上眼脸和下眼脸进行曲率计算得到来判断眼睛是否发生弯 曲形变；
[0047] 计算上下眼脸对应点在垂直方向上的距离屯来判断眼睛睁开的大小变化；
[004引计算左右鼻孔的左侧点、右侧点进行水平方向上的距离差值计算，得到屯，判断鼻 子是否变宽；
[0049] 嘴己部分通过计算上嘴唇、下嘴唇的曲率巧1卸疋来判断嘴己的弯曲等形变， 同时通过上下嘴唇对应点的垂直方向上的距离差屯来判断嘴唇张开大小的变化，计算下嘴 唇相邻轮廓点之间的X坐标差值之和Pm来度量嘴己的长度变化。
[0050] 进一步地，所述的曲率通过对相邻特征点的曲率运算获得曲率值kappa,所述曲率 运算公式为：
[0056] 于一具体实施例中，中性表情体现在眉毛、眼睛、鼻子和嘴己各部分的几何特征进 行数值计算的方法包括：
[0057] 眉毛
[0058] 左眉毛的20个特征点构成向量Si，
[0059]
[0060] 除去起始点和终点，依据曲率计算公式计算获得18个曲率值及眉毛曲率均值 巧如'.
[0063] 计算眉毛内点与外点垂直方向上的距离^
[0064]
[0065] 计算眉毛与眼睛垂直方向上的距离诚f ;
[0066]
[0067] 眼睛
[0068] 针对上下眼脸各20个特征点进行计算，即讨论上眼脸、下眼脸2个特征点向量：
[0071] 获得上眼脸和下眼脸的曲率均值&?呼，&3。，》|。然后为了更准确地获得眼睛睁开 大小的变化，计算上眼脸和下眼脸对应的18个特征点的垂直方向上的距离及其平均值 d'r;
[00巧]鼻子
[0076] 对于鼻子我们同样选取了 20个特征点构成特征点向量： 口 ,I 1 0 7 勺0 勺0\
[0077]
[0078] 根据训练过程中选取点的顺序及鼻子的特征，针对第7个特征点和第14个特征点 水平方向上的距离进行计算，第7个特征点和第14个特征点均是定位在左右鼻孔的左侧点 和右侧点，得到抑
[0079]
[0080] 嘴己
[0081] 和眼睛部分的特征点选取及计算相似，对于嘴己部分，上嘴唇和下嘴唇分别选取 20个特征点构成两个特征点向量：
[0084] 对上嘴唇和下嘴唇分别进行曲率计算，得到上嘴唇和下嘴唇的曲率均值为
[00财 ，&#&，,.,,；计算上嘴唇和下嘴唇对应的18个特征点垂直方向上的距离及平均 值苗及下嘴唇的周长城^ ;
[0090] 进一步地，基于各基本表情的数值约束条件建立人脸表情的数学模型为：
[0091 ] T 二 a iTi+ a 2了2+ a 3了3+ a 4了4+ a 5了日+ a 6了6+ a 7了7-
[009引其中a。a 2, a 3, a 4, a 5, a 6, a 7为数学模型中的权值，所述参数分别为0. 6， 0. 35,0. 15,0. 1,0. 05,0. 05,0. 05 ;
[0093] Ti，T2,