一种人脸表情识别方法与流程

本发明涉及人工智能、计算机视觉领域，尤其涉及一种人脸表情识别方法。

背景技术：

1、人脸表情是一种非常重要的语言交往方式，也是人与人之间进行沟通的重要手段。人脸表情识别(facial expression recognition,fer)技术是将生理学、心理学、图像处理、机器视觉与模式识别等研究领域进行交叉与融合，是近年来模式识别与人工智能领域研究的热点问题。人脸表情识别在计算机视觉、社会情感分析、刑事案件侦破、医疗诊断等方面有着广泛的应用。近年来，随着深度学习在图像识别领域的崛起，卷积神经网络(convolution neural network,cnn)被大量运用于人脸表情识别，但是目前已有的cnn模型都没有针对表情识别任务而训练，使得人脸表情识别率不高。

2、机器学习的主要假设是训练的数据与生产上使用的数据处于同一个特征变量空间并且分布一样。然而现实世界里很多场景并没有满足这个假设，目标源的数据标注可能很昂贵或者困难，比如我们有很多标注了性别，是否戴眼镜，头发颜色的人脸数据，但是只有少量的标注好表情类别的数据，同时表情数据集相对难以标定，表情类别间容易混淆界限不明确。在这个场景下我们可以使用迁移学习，利用前者数据集的知识提升cnn模型在人脸表情识别上的表现。不同于多任务学习同时学习源域和目标域的知识，迁移学习只使用源域的知识提高目标域的任务表现。

技术实现思路

1、本发明提供了一种基于迁移学习增强的人脸表情识别方法，通过对人脸属性大规模数据集进行迁移学习来增强人脸表情分类任务的准确率和训练速度，从而有效地提高了人脸表情识别准确率。

2、本发明提供了一种人脸表情识别方法，包括以下步骤：

3、步骤1，人脸属性识别训练；

4、步骤1.1，人脸检测；对输入的人脸图片进行人脸检测，并在图片中裁剪出人脸图片；

5、步骤1.2，人脸缩放；对裁剪的人脸图片进行填充和拉伸，人脸保持缩放比例至224*224*3；

6、步骤1.3，图片归一化；对224*224*3的人脸图片进行归一化，输出(224，224，3)的图片i；

7、步骤1.4，残差网络卷积：对(224，224，3)的输入图片i进行残差网络卷积，经过50次卷积，最终得到(7，7，2048)的卷积输出张量x；

8、步骤1.5，全连接层计算；张量x输入到单层全连接层，得到输出y(y为m纬向量，代表m种人脸属性输出节点)；

9、步骤1.6，计算y的损失函数；

10、步骤1.7，损失函数收敛判断；

11、步骤1.8，损失函数梯度偏置矫正。

12、步骤2，人脸表情识别；使用人脸属性识别训练后的数据集作为训练集，训练人脸表情数据集，识别人脸表情。

13、步骤2.1，人脸检测；对输入的人脸图片进行人脸检测，并在图片中裁剪出人脸图片；

14、步骤2.2，人脸缩放；对裁剪的人脸图片进行填充和拉伸，人脸保持缩放比例至224*224*3；

15、步骤2.3，图片归一化；对224*224*3的人脸图片进行归一化，输出(224，224，3)的图片i；

16、步骤2.4，残差网络卷积：对(224，224，3)的输入图片i进行残差网络卷积，经过50次卷积，最终得到(7，7，2048)的卷积输出张量x；

17、步骤2.5，全连接层计算；张量x输入到单层全连接层，得到输出y(y为7纬向量，代表7种人脸表情)；

18、步骤2.6，计算y的交叉熵损失函数；

19、步骤2.7，交叉熵损失函数收敛判断；

20、步骤2.8，交叉熵损失函数梯度偏置矫正。

21、所述(步骤1.4和步骤2.4)残差网络卷积方法，包括以下步骤：

22、(1)i卷积(7，7，64)，得到(112，112，64)的卷积输出i2。

23、(2)i2依次通过归一化(batch normalization)、激活(relu激活)、池化(maxpool，核心大小为3×3、步长为2)处理，得到(56，56，64)的卷积输出i3。

24、(3)i3经过resblock(in：64，out：256)处理，得到(56，56，256)的卷积输出i4。

25、(4)i4经过resblock(in：128，out：512)处理，得到(28，28，512)的卷积输出i5。

26、(5)i5经过resblock(in：256，out：1024)处理，得到(14，14，1024)的卷积输出i6。

27、(6)i6经过resblock(in：512，out：2048)处理，得到(7，7，2048)的卷积输出i7。

28、(7)i7经过激活函数(relu激活)，得到(7，7，2048)的卷积输出张量x。

29、鉴于人脸属性数据集的较易获得，人脸表情数据集的难以收集标记，通过上述本发明实施例提供了一种基于迁移学习增强人脸表情数据集的深度网络表情识别方法，通过对人脸属性大规模数据集进行迁移学习来增强人脸表情分类任务的准确率和训练速度，可以有效地提高人脸表情识别准确率。

技术特征：

1.一种人脸表情识别方法，其特征在于，包括以下步骤：

2.如权利要求1所述的残差网络卷积方法，其特征在于：

技术总结
本发明提供的人脸表情识别方法包括：人脸属性识别训练：人脸检测、人脸缩放、图片归一化、残差网络卷积、全连接层计算、计算损失函数、损失函数收敛判断、损失函数梯度偏置矫正；人脸表情识别：使用人脸属性识别训练后的数据集作为训练集，训练人脸表情数据集，识别人脸表情，包括人脸检测、人脸缩放、图片归一化、残差网络卷积、全连接层计算、计算交叉熵损失函数、交叉熵损失函数收敛判断、交叉熵损失函数梯度偏置矫正。本发明通过对人脸属性大规模数据集进行迁移学习来增强人脸表情分类任务的准确率和训练速度，可以有效地提高人脸表情识别准确率。

技术研发人员：蒋云超
受保护的技术使用者：蒋云超
技术研发日：
技术公布日：2024/1/15