一种基于多尺度特征提取的人脸表情识别模型

1.本发明涉及图像处理技术领域，具体涉及一种基于多尺度特征提取的人脸表情识别模型。


背景技术：

2.随着机器学习和深度神经网络两个领域的迅速发展以及智能设备的普及，人脸识别技术正在经历前所未有的发展。目前，基于这项技术的市场发展和具体应用正呈现蓬勃发展态势。面部表情是面部肌肉的一个或多个动作或状态的结果。这些运动表达了个体对观察者的情绪状态。面部表情是非语言交际的一种形式。它是表达人类之间的社会信息的主要手段，人脸表情识别(facialexpression recognition,fer)作为人脸识别技术中的一个重要组成部分，近年来在人机交互、安全、机器人制造、自动化、医疗、通信和驾驶领域得到了广泛的关注。
3.在现有技术中，有采用3d卷积神经网络进行训练而得到用于人脸表情识别的网络模型技术，即随机从同一表情数据库获取到训练集后，将训练集按照预先设定比例划分为训练样本和测试样本，通过训练样本对3d卷积神经网络进行训练，通过测试样本对3d卷积神经网络进行测试，虽然能得到网络模型，但仍存在的不足之处在于：无法验证训练样本和/或测试样本的有效性和可靠性，若训练样本和/或测试样本本身存在不准确问题，则得到的网络模型也将不可靠，导致采用这种网络模型进行人脸表情识别时，人脸表情识别准确性低。


技术实现要素：

4.本发明意在提供一种具备自行验证训练样本和测试样本可靠性的基于多尺度特征提取的人脸表情识别模型，以提高人脸表情识别准确性。
5.一种基于多尺度特征提取的人脸表情识别模型，包括从当前表情数据库中获取训练样本，采用训练样本对3d卷积神经网络进行训练，并保存训练得到的网络模型，从历史表情数据库中获取测试样本，采用测试样本对训练得到的网络模型进行测试，并保存测试后的网络模型，从3d卷积神经网络的最后一层全连接层提取特征向量，输入到线性svm分类器中进行训练，所述的历史表情数据库中存储有与当前表情数据库属于同一人物的历史表情数据，调取的测试样本包括与训练样本中标记为同一人物的历史表情数据。
6.本发明的有益效果在于：从当前表情数据库中获取训练样本，从历史表情数据库中获取测试样本，而历史表情数据库中存储有与当前表情数据库属于同一人物的历史表情数据，调取的测试样本包括与训练样本中标记为同一人物的历史表情数据，也即训练样本中有某人的表情数据，那么在测试样本中也存在同一个人相同的表情数据，通过此种方式，只需要对比分析采用训练样本的训练结果和采用测试样本的测试结果是否一致或者相似度是否极高，若一致或者相似度极高，则说明训练样本和测试样本具备可靠性，以此得到的网络模型其准确性也将大大提高。若训练结果与训练样本数据相差较大，但是训练结果与
测试结果一致或者相似度极高，则说明训练样本数据存在问题，需要重新选取训练样本部分数据，同样的，若测试结果与测试样本数据相差较大，但是测试结果与训练结果一致或者相似度极高，则说明测试样本数据存在问题，需要重新选取测试样本部分数据，经此样本优化之后，采用3d卷积神经网络所训练和测试的网络模型将更加可靠，准确性高。
7.进一步地，输入待测图像，从3d卷积神经网络的最后一层全连接层提取特征向量，输入到线性svm分类器中进行一次分类。
8.有益效果：以此，实现对待测图像表情识别的一次分类，也就是初步分类。
9.进一步地，调取待测图像中人物的历史图像集，从历史图像集中调取与本次待测图像相似度最高的待测历史图像。
10.有益效果：为了对同一人物表情识别结果的一次分类进行验证，调取待测图像中人物的历史图像集，从历史图像集中调取与本次待测图像相似度最高的待测历史图像，以对该待测历史图像进行分类验证。
11.进一步地，输入待测历史图像，从3d卷积神经网络的最后一层全连接层提取特征向量，输入到线性svm分类器中进行二次分类，根据一次分类和二次分类确定最终待测图像的表情分类。
12.有益效果：输入待测历史图像，从3d卷积神经网络的最后一层全连接层提取特征向量，输入到线性svm分类器中进行二次分类，根据一次分类和二次分类确定最终待测图像的表情分类，由于待测历史图像是与本次待测图像相似度最高的待测历史图像，因此对待测历史图像表情识别结果的二次分类，可用于验证一次分类结果的准确性，若一次分类和二次分类结果一致或者差别很小，则说明一次分类是准确的，以此实现对待测图像表情识别结果的一次分类的验证，从而确保分类的准确性。
13.进一步地，还包括对与历史待测图像相对应的历史周围环境图像进行处理，并识别历史周围环境图像中是否存在其他人，若存在，则进一步识别历史周围环境图像中其他人的表情类型，根据其他人的表情类型来验证所述历史待测图像中的人物表情的二次分类，根据验证后的历史待测图像的二次分类和一次分类最终确定所述待测图像中的表情分类。
14.有益效果：识别历史周围环境图像中是否存在其他人，若存在，则进一步识别历史周围环境图像中其他人的表情类型，以此根据其他人的表情类型来验证所述历史待测图像中的人物表情的二次分类，确保二次分类结果的准确性。
15.人们通常处于某种环境中，从对历史周围环境图像的分析中，可以反应历史待测图像中人物所处环境情况，若周围环境中还存在其他人，那么其他人的表情会表达出图像中的主体氛围，如其他人都在笑，那么通常历史待测图像中人物也应该是在笑，据此，就可对二次分类结果进行验证，在确保二次分类结果准确无误的情况下，根据验证后的历史待测图像的二次分类和一次分类最终确定所述待测图像中的表情分类，使待测图像的表情分类更加准确。
16.进一步地，所述的特征向量包括图像中的形状特征向量和纹理特征向量。
17.有益效果：以此，从多尺度特征，即形状特征和纹理特征来实现人脸表情的识别。
附图说明
18.图1为本发明一种基于多尺度特征提取的人脸表情识别模型实施例的示意图。
具体实施方式
19.下面通过具体实施方式进一步详细说明：
20.实施例基本如附图1所示，本实施例公开的一种基于多尺度特征提取的人脸表情识别模型，其中数据库包括了当前表情数据库和历史表情数据库，所述的历史表情数据库中存储有与当前表情数据库属于同一人物的历史表情数据，即同一个人物，当前表情数据库存储的是当前一段时间(如近一个月内)采集的表情数据，而历史表情数据库存储的是当前一段时间之前(如前三个月到前五个月之间)采集的表情数据。
21.基于多尺度特征提取的人脸表情识别模型，具体包括从当前表情数据库中获取训练样本，采用训练样本对3d卷积神经网络进行训练，并保存训练得到的网络模型，从历史表情数据库中获取测试样本，采用测试样本对训练得到的网络模型进行测试，并保存测试后的网络模型，从3d卷积神经网络的最后一层全连接层提取特征向量，输入到线性svm分类器中进行训练，其中调取的测试样本包括与训练样本中标记为同一人物的历史表情数据，即训练样本中有某人的表情数据，那么在测试样本中也存在同一个人相同的表情数据。
22.在本实施例中，3d卷积神经网络的结构包括：输入层、卷积层一、池化层一、卷积层二、池化层二、全连接层一、全连接层二和输出层。其中输入层、卷积层一、池化层一、卷积层二、池化层二、全连接层一、全连接层二和输出层依次相连，在全连接层二后设置推出，dropout值为0.5，卷积层中，卷积核的大小为3*5*5，3是时间维度上的深度，5*5是卷积核的空间大小，并且在三个维度上移动的步长均为1，卷积层一采用32个不同的3d卷积核，卷积层二采用64个不同的3d卷积核，全连接层一输出9600个神经元，全连接层二输出256个神经元。以上3d卷积神经网络的结构为现有技术，在此不再赘述。
23.在本实施例中，为了实现从多尺度对人脸特征进行提取，所述的特征向量包括图像中的形状特征向量和纹理特征向量。
24.在本实施例中，假设从当前表情数据库中选择厌恶、高兴、惊讶、悲伤四种类型的表情图像序列，从历史表情数据库中也是选择厌恶、高兴、惊讶、悲伤四种类型的表情图像序列，每种类型的表情图像序列，在当前表情数据库中和历史表情数据库中均选取相同数量的相同人物作为训练和测试对象，每种表情图像序列包含240个图像序列，可以采用样条插值函数在时间维度上进行序列长度缩放，使每个图像序列都得到10帧图像，也可对每个图像的像素进行调整，以满足统一规范的要求。
25.本实施例中为了实现对待测图像的分类，输入待测图像，从3d卷积神经网络的最后一层全连接层提取特征向量，输入到线性svm分类器中进行一次分类。
26.本实施例中，为了实现对待测图像表情识别结果的一次分类进行验证，还包括了调取待测图像中人物的历史图像集，从历史图像集中调取与本次待测图像相似度最高的待测历史图像。输入待测历史图像，从3d卷积神经网络的最后一层全连接层提取特征向量，输入到线性svm分类器中进行二次分类，根据一次分类和二次分类确定最终待测图像的表情分类。
27.进一步地，为了进一步提高一次分类结果验证的准确性，还包括对与历史待测图
像相对应的历史周围环境图像进行处理，并识别历史周围环境图像中是否存在其他人，若存在，则进一步识别历史周围环境图像中其他人的表情类型，根据其他人的表情类型来验证所述历史待测图像中的人物表情的二次分类，根据验证后的历史待测图像的二次分类和一次分类最终确定所述待测图像中的表情分类。
28.人们通常处于某种环境中，从对历史周围环境图像的分析中，可以反应历史待测图像中人物所处环境情况，若周围环境中还存在其他人，那么其他人的表情会表达出图像中的主体氛围，如其他人都在笑，那么通常历史待测图像中人物也应该是在笑，据此，就可对二次分类结果进行验证，在确保二次分类结果准确无误的情况下，根据验证后的历史待测图像的二次分类和一次分类最终确定所述待测图像中的表情分类，使待测图像的表情分类更加准确。
29.以上所述的仅是本发明的实施例，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本技术给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本技术的障碍。
30.应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本技术要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。