面部表情识别方法、装置、电子设备及存储介质与流程

本发明涉及图像处理，尤其涉及一种面部表情识别方法、装置、电子设备及存储介质。

背景技术：

1、在智能车载系统中，对驾乘人员面部表情的识别能够显著提升驾驶安全和乘车体验。

2、现有技术中，面部表情识别方案存在计算资源消耗大、实时性不足的问题。

技术实现思路

1、本发明提供了一种面部表情识别方法、装置、电子设备及存储介质，以降低数据计算量，提升数据处理速度，从而实现高效且实时的面部表情识别。

2、根据本发明的一方面，提供了一种面部表情识别方法，包括：

3、获取多张包含待检测目标的视频帧；

4、对每一所述包含待检测目标的视频帧进行关键点检测，得到各所述包含待检测目标的视频帧对应的面部关键点坐标；

5、确定各所述面部关键点坐标对应的关键点坐标偏移量；

6、基于各所述面部关键点坐标对应的关键点坐标偏移量构建面部变化时空图；

7、将所述面部变化时空图输入至预先训练完成的面部表情识别模型中，得到面部表情识别结果。

8、根据本发明的另一方面，提供了一种面部表情识别装置，包括：

9、视频帧获取模块，用于获取多张包含待检测目标的视频帧；

10、关键点检测模块，用于对每一所述包含待检测目标的视频帧进行关键点检测，得到各所述包含待检测目标的视频帧对应的面部关键点坐标；

11、关键点坐标偏移量确定模块，用于确定各所述面部关键点坐标对应的关键点坐标偏移量；

12、面部变化时空图构建模块，用于基于各所述面部关键点坐标对应的关键点坐标偏移量构建面部变化时空图；

13、面部表情识别结果预测模块，用于将所述面部变化时空图输入至预先训练完成的面部表情识别模型中，得到面部表情识别结果。

14、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

15、至少一个处理器；

16、以及与所述至少一个处理器通信连接的存储器；

17、其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的面部表情识别方法。

18、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的面部表情识别方法。

19、本发明实施例的技术方案，通过获取多张包含待检测目标的视频帧，对每一包含待检测目标的视频帧进行关键点检测，得到各包含待检测目标的视频帧对应的面部关键点坐标，进而确定各面部关键点坐标对应的关键点坐标偏移量，进而基于各面部关键点坐标对应的关键点坐标偏移量构建面部变化时空图，进而将面部变化时空图输入至预先训练完成的面部表情识别模型中，得到面部表情识别结果。上述技术方案，通过基于关键点坐标偏移量构建的面部变化时空图进行面部表情识别，相比全图特征分析，降低了数据计算量，提升了数据处理速度，从而实现了高效且实时的面部表情识别。

20、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种面部表情识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对每一所述包含待检测目标的视频帧进行关键点检测，得到各所述包含待检测目标的视频帧对应的面部关键点坐标，包括：

3.根据权利要求1所述的方法，其特征在于，所述确定各所述面部关键点坐标对应的关键点坐标偏移量，包括：

4.根据权利要求3所述的方法，其特征在于，确定关键点坐标偏移量的公式为：

5.根据权利要求1所述的方法，其特征在于，在确定各所述面部关键点坐标对应的关键点坐标偏移量之后，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述基于各所述面部关键点坐标对应的关键点坐标偏移量构建面部变化时空图，包括：

7.根据权利要求1-6中任一所述的方法，其特征在于，在所述将所述面部变化时空图输入至预先训练完成的面部表情识别模型中，得到面部表情识别结果之后，所述方法还包括：

8.一种面部表情识别装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的面部表情识别方法。

技术总结
本发明公开了一种面部表情识别方法、装置、电子设备及存储介质。该方法包括：获取多张包含待检测目标的视频帧；对每一所述包含待检测目标的视频帧进行关键点检测，得到各所述包含待检测目标的视频帧对应的面部关键点坐标；确定各所述面部关键点坐标对应的关键点坐标偏移量；基于各所述面部关键点坐标对应的关键点坐标偏移量构建面部变化时空图；将所述面部变化时空图输入至预先训练完成的面部表情识别模型中，得到面部表情识别结果。上述技术方案，通过基于关键点坐标偏移量构建的面部变化时空图进行面部表情识别，相比全图特征分析，降低了数据计算量，提升了数据处理速度，从而实现了高效且实时的面部表情识别。

技术研发人员：赵兴科,袁鲁峰,付振,刘相超,张俊,梁小明,王明月
受保护的技术使用者：中国第一汽车股份有限公司
技术研发日：
技术公布日：2024/8/21