一种基于人脸五官和轮廓曲率的表情识别方法和装置与流程

本申请涉及表情识别，尤其涉及一种基于人脸五官和轮廓曲率的表情识别方法和装置。

背景技术：

1、人脸表情识别可以应用在很多领域，包括人机交互、智能控制、安全、医疗、通信等领域。现有技术采用的方法是将图像中的人脸截取出来，并作为输入传到cnn中训练，最终在使用中由网络输出分类后的表情结果；或者，通过深度学习模型训练能够快速捕捉到人脸上对应的特征点位置，从而可以计算出面部五官的相对运动，结合表情和面部运动之间的关系，即可得出当前图片的人脸表情状态。

2、但由于人脸在不同表情下，五官的变化和区别较大，如何使用这一信息可能更好的完成表情的精准识别，即可以通过人脸五官与轮廓的先验信息辅助完成人脸表情识别，提高人脸表情识别的准确性，是需要解决的技术问题。

技术实现思路

1、本申请意在提供一种基于人脸五官和轮廓曲率的表情识别方法、装置、电子设备和存储介质，所要解决的技术问题通过以下技术方案来实现。

2、本实施例第一方面，提出了一种基于人脸五官和轮廓曲率的表情识别方法，包括：

3、输入目标人脸图像样本至人脸关键点检测模型，获得第一特征图；

4、依据通道数，将所述第一特征图转换为数量与所述通道数相对应的多张语义特征图；

5、对语义特征图进行切片操作，获得与语义特征图对应的特征点集合并拟合生成对应的曲线；

6、将语义特征图的曲线及其曲率，以及目标人脸图像样本输入至卷积神经网络模型进行分类训练，获得相应的表情识别结果。

7、进一步地，所述人脸关键点检测模型包括边缘感知人脸对齐模型lab；和/或，输入目标人脸图像样本至人脸关键点检测模型，获得第一特征图，包括：

8、提取所述边缘感知人脸对齐模型lab的中间层的边界热力图；

9、将所述边界热力图作为所述第一特征图。

10、进一步地，多张所述语义特征图分别与人脸的外轮廓、左眉、右眉、鼻梁、鼻边界、左上眼皮、右上眼皮、左下眼皮、右下眼皮、上嘴唇上边、上嘴唇下边、下嘴唇上边、下嘴唇下边相对应。

11、进一步地，对语义特征图进行切片操作，获得与语义特征图对应的特征点集合，包括：

12、依据预设间隔像素点数量，对所述语义特征图沿水平轴方向进行等分切片；

13、沿垂直轴方向，获取每个切片上具有像素信息的最大坐标值点和最小坐标值点；

14、依据所述最大坐标值点和所述最小坐标值点的连线中点，获得当前语义特征图对应的特征点。

15、进一步地，进行切片操作的语义特征图包括与人脸的外轮廓、左眉、右眉、鼻边界、左上眼皮、右上眼皮、左下眼皮、右下眼皮、上嘴唇上边、上嘴唇下边、下嘴唇上边、下嘴唇下边相对应的语义特征图。

16、进一步地，拟合生成对应的曲线，包括：使用抛物线公式，拟合出对应于每张语义特征图的特征点集合的曲线，并获得曲线的平均曲率，所述平均曲率公式表示为：

17、

18、其中，m和n分别代表曲线具有有效值x的最小和最大值，a和b分别对应了抛物线公式中y＝ax2+bx+c中的a和b。

19、进一步地，将全部语义特征图的曲线及其曲率，以及目标人脸图像样本输入至卷积神经网络模型进行分类训练，包括：

20、预先标注人脸表情标签；所述人脸表情标签包括伤心、生气、惊讶、厌恶、高兴、害怕、平静中的一种或多种；

21、确定分类器损失函数，所述分类器损失函数包括softmax损失函数。

22、第二方面，提出了一种基于人脸五官和轮廓曲率的表情识别装置，包括：

23、第一模块，被配置为输入目标人脸图像样本至人脸关键点检测模型，获得第一特征图；

24、第二模块，被配置为依据通道数，将所述第一特征图转换为数量与所述通道数相对应的多张语义特征图；

25、第三模块，被配置为对语义特征图进行切片操作，获得与语义特征图对应的特征点集合并拟合生成对应的曲线；

26、第四模块，被配置为将语义特征图的曲线及其曲率，以及目标人脸图像样本输入至卷积神经网络模型进行分类训练，获得相应的表情识别结果。

27、本实施例第三方面，提出了一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，所述处理器在执行所述计算机程序时，实现如第一方面所述的基于人脸五官和轮廓曲率的表情识别方法的步骤。

28、本实施例第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于人脸五官和轮廓曲率的表情识别方法的步骤。

29、本申请实施例包括以下优点：

30、本申请实施例提供的基于人脸五官和轮廓曲率的表情识别方法，通过输入目标人脸图像样本至人脸关键点检测模型，获得第一特征图；依据通道数，将所述第一特征图转换为数量与所述通道数相对应的多张语义特征图；对语义特征图进行切片操作，获得与语义特征图对应的特征点集合并拟合生成对应的曲线；将语义特征图的曲线及其曲率，以及目标人脸图像样本输入至卷积神经网络模型进行分类训练，获得相应的表情识别结果。本申请利用人脸在不同表情下五官的变化和区别特征，通过人脸五官与轮廓的先验信息辅助人脸表情识别，提高了人脸表情识别的准确性。

技术特征：

1.一种基于人脸五官和轮廓曲率的表情识别方法，其特征在于，包括：

2.根据权利要求1所述的基于人脸五官和轮廓曲率的表情识别方法，其特征在于，所述人脸关键点检测模型包括边缘感知人脸对齐模型lab；和/或，输入目标人脸图像样本至人脸关键点检测模型，获得第一特征图，包括：

3.根据权利要求2所述的基于人脸五官和轮廓曲率的表情识别方法，其特征在于，多张所述语义特征图分别与人脸的外轮廓、左眉、右眉、鼻梁、鼻边界、左上眼皮、右上眼皮、左下眼皮、右下眼皮、上嘴唇上边、上嘴唇下边、下嘴唇上边、下嘴唇下边相对应。

4.根据权利要求3所述的基于人脸五官和轮廓曲率的表情识别方法，其特征在于，对语义特征图进行切片操作，获得与语义特征图对应的特征点集合，包括：

5.根据权利要求4所述的基于人脸五官和轮廓曲率的表情识别方法，其特征在于，进行切片操作的语义特征图包括与人脸的外轮廓、左眉、右眉、鼻边界、左上眼皮、右上眼皮、左下眼皮、右下眼皮、上嘴唇上边、上嘴唇下边、下嘴唇上边、下嘴唇下边相对应的语义特征图。

6.根据权利要求4至5任一项所述的基于人脸五官和轮廓曲率的表情识别方法，其特征在于，拟合生成对应的曲线，包括：使用抛物线公式，拟合出对应于每张语义特征图的特征点集合的曲线，并获得曲线的平均曲率，所述平均曲率公式表示为：

7.根据权利要求6所述的基于人脸五官和轮廓曲率的表情识别方法，其特征在于，将全部语义特征图的曲线及其曲率，以及目标人脸图像样本输入至卷积神经网络模型进行分类训练，包括：

8.一种基于人脸五官和轮廓曲率的表情识别装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器在执行所述计算机程序时，实现如权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。

技术总结
本申请涉及一种基于人脸五官和轮廓曲率的表情识别方法和装置，该方法包括：输入目标人脸图像样本至人脸关键点检测模型，获得第一特征图；依据通道数，将所述第一特征图转换为数量与所述通道数相对应的多张语义特征图；对语义特征图进行切片操作，获得与语义特征图对应的特征点集合并拟合生成对应的曲线；将语义特征图的曲线及其曲率，以及目标人脸图像样本输入至卷积神经网络模型进行分类训练，获得相应的表情识别结果。本申请利用人脸在不同表情下五官的变化和区别特征，通过人脸五官与轮廓的先验信息辅助人脸表情识别，提高了人脸表情识别的准确性。

技术研发人员：李冬冬,胡敏,王磊,唐小江,宁欣,李爽
受保护的技术使用者：北京中科睿途科技有限公司
技术研发日：
技术公布日：2024/3/4