一种基于PCB模型的微表情识别方法及系统

本发明涉及表情识别，特别指一种基于pcb模型的微表情识别方法及系统。

背景技术：

1、随着科技的进步，人工智能也在不断发展，其中便包括表情识别技术，通过自动识别视频中人物的微表情，可快速判断当前人物的心情以及心理活动。然而，传统上基于深度学习的微表情识别方法，往往不能较好地区分不同面部区域的特征对微表情识别的贡献，导致微表情的识别效果欠佳。

2、因此，如何提供一种基于pcb模型的微表情识别方法及系统，实现提升微表情识别性能，成为一个亟待解决的技术问题。

技术实现思路

1、本发明要解决的技术问题，在于提供一种基于pcb模型的微表情识别方法及系统，实现提升微表情识别性能。

2、第一方面，本发明提供了一种基于pcb模型的微表情识别方法，包括如下步骤：

3、步骤s10、获取人像视频，对所述人像视频中的各帧人头图像的人脸进行关键点检测；

4、步骤s20、基于各所述关键点对各帧人头图像进行对齐、剪裁以及缩放的预处理，得到若干张人脸图像；

5、步骤s30、对所述人脸图像的帧数进行归一化；

6、步骤s40、对各所述人脸图像进行光流计算，得到光流图像序列；

7、步骤s50、将所述光流图像序列输入pcb模型以进行微表情识别。

8、进一步地，所述步骤s10具体为：

9、获取人像视频，通过主动形状模型对所述人像视频中的各帧人头图像的人脸进行68个关键点的检测。

10、进一步地，所述步骤s20具体为：

11、从各所述关键点获取各帧人头图像中左眼内角点和右眼内角点，基于所述左眼内角点和右眼内角点的连线对各帧人头图像进行旋转对齐，再基于各所述关键点对人头图像中的人脸区域进行剪裁，将剪裁后的各所述人脸区域缩放到统一尺寸，以完成各帧所述人头图像的预处理，得到若干张人脸图像。

12、进一步地，所述步骤s30具体为：

13、对各帧所述人脸图像进行灰度处理后，利用时间插值算法对所述人脸图像的帧数进行归一化。

14、进一步地，所述步骤s50中，所述pcb模型由骨干网络、特征张量分割网络以及分类器组成；

15、所述骨干网络基于pcanet+网络构建，用于提取所述光流图像序列的空间特征，得到特征张量；所述特征张量分割网络用于对所述特征张量进行分割，并输入对应的所述分类器，且所述特征张量分割的每个分支末端加入lstm网络；所述分类器用于对分割后的特征张量进行训练和微表情特征提取，以进行微表情识别。

16、第二方面，本发明提供了一种基于pcb模型的微表情识别系统，包括如下模块：

17、关键点检测模块，用于获取人像视频，对所述人像视频中的各帧人头图像的人脸进行关键点检测；

18、人头图像预处理模块，用于基于各所述关键点对各帧人头图像进行对齐、剪裁以及缩放的预处理，得到若干张人脸图像；

19、图像帧数归一化模块，用于对所述人脸图像的帧数进行归一化；

20、光流计算模块，用于对各所述人脸图像进行光流计算，得到光流图像序列；

21、微表情识别模块，用于将所述光流图像序列输入pcb模型以进行微表情识别。

22、进一步地，所述关键点检测模块具体用于：

23、获取人像视频，通过主动形状模型对所述人像视频中的各帧人头图像的人脸进行68个关键点的检测。

24、进一步地，所述人头图像预处理模块具体用于：

25、从各所述关键点获取各帧人头图像中左眼内角点和右眼内角点，基于所述左眼内角点和右眼内角点的连线对各帧人头图像进行旋转对齐，再基于各所述关键点对人头图像中的人脸区域进行剪裁，将剪裁后的各所述人脸区域缩放到统一尺寸，以完成各帧所述人头图像的预处理，得到若干张人脸图像。

26、进一步地，所述图像帧数归一化模块具体用于：

27、对各帧所述人脸图像进行灰度处理后，利用时间插值算法对所述人脸图像的帧数进行归一化。

28、进一步地，所述微表情识别模块中，所述pcb模型由骨干网络、特征张量分割网络以及分类器组成；

29、所述骨干网络基于pcanet+网络构建，用于提取所述光流图像序列的空间特征，得到特征张量；所述特征张量分割网络用于对所述特征张量进行分割，并输入对应的所述分类器，且所述特征张量分割的每个分支末端加入lstm网络；所述分类器用于对分割后的特征张量进行训练和微表情特征提取，以进行微表情识别。

30、本发明的优点在于：

31、通过对获取的人像视频中的各帧人头图像的人脸进行关键点检测，基于各关键点对各帧人头图像进行对齐、剪裁以及缩放的预处理后，得到若干张人脸图像；接着对人脸图像的帧数进行归一化后进行光流计算，得到光流图像序列，并将光流图像序列输入pcb模型以进行微表情识别；由于pcb模型结合了pcanet+网络和lstm网络，通过pcanet+网络提取空间特征，通过lstm网络提取时序特征，在提取微表情时空特征的基础上，能够通过每个局部的时空特征对应的分类器进行更加细化地学习微表情的分类信息，最终极大的提升了微表情识别性能。

技术特征：

1.一种基于pcb模型的微表情识别方法，其特征在于：包括如下步骤：

2.如权利要求1所述的一种基于pcb模型的微表情识别方法，其特征在于：所述步骤s10具体为：

3.如权利要求1所述的一种基于pcb模型的微表情识别方法，其特征在于：所述步骤s20具体为：

4.如权利要求1所述的一种基于pcb模型的微表情识别方法，其特征在于：所述步骤s30具体为：

5.如权利要求1所述的一种基于pcb模型的微表情识别方法，其特征在于：所述步骤s50中，所述pcb模型由骨干网络、特征张量分割网络以及分类器组成；

6.一种基于pcb模型的微表情识别系统，其特征在于：包括如下模块：

7.如权利要求6所述的一种基于pcb模型的微表情识别系统，其特征在于：所述关键点检测模块具体用于：

8.如权利要求6所述的一种基于pcb模型的微表情识别系统，其特征在于：所述人头图像预处理模块具体用于：

9.如权利要求6所述的一种基于pcb模型的微表情识别系统，其特征在于：所述图像帧数归一化模块具体用于：

10.如权利要求6所述的一种基于pcb模型的微表情识别系统，其特征在于：所述微表情识别模块中，所述pcb模型由骨干网络、特征张量分割网络以及分类器组成；

技术总结
本发明提供了表情识别技术领域的一种基于PCB模型的微表情识别方法及系统，方法包括如下步骤：步骤S10、获取人像视频，对所述人像视频中的各帧人头图像的人脸进行关键点检测；步骤S20、基于各所述关键点对各帧人头图像进行对齐、剪裁以及缩放的预处理，得到若干张人脸图像；步骤S30、对所述人脸图像的帧数进行归一化；步骤S40、对各所述人脸图像进行光流计算，得到光流图像序列；步骤S50、将所述光流图像序列输入PCB模型以进行微表情识别。本发明的优点在于：极大的提升了微表情识别性能。

技术研发人员：姚俊峰,王仕琪,龙飞
受保护的技术使用者：厦门大学
技术研发日：
技术公布日：2024/1/15