一种动态手势的识别方法、装置及设备与流程

本发明涉及目标检测，特别是指一种动态手势的识别方法、装置及设备。

背景技术：

1、手势识别有动态手势识别和静态手势识别,相较于静态手势识别而言,动态手势识别特点在于跟踪目标伴随时间和空间的改变而产生形态和运动轨迹的变化；

2、现有对动态手势识别的方法，需要通过二维卷积神经网络处理单帧图像，进而识别动态手势；或者基于深度图像作为输入，依赖支持深度摄像的设备，并同时运行三个网络模型，这种动态手势识别方法会影响实时识别性能；再或者利用手部的大体位置进行图像区域收集，从而判断手势，但这种动态手势的识别方式只可以识别简单的上升下降等动作。

技术实现思路

1、本发明要解决的技术问题是提供一种动态手势的识别方法、装置及设备。实现了泛化能力强，表达能力强，扩展性好，在保证准确率的情况下，模型使用了尽可能少的参数，保证了模型的识别速度，分类效果较优。

2、为解决上述技术问题，本发明的技术方案如下：

3、一种动态手势的识别方法，所述方法包括：

4、获取手部图像序列；所述手部图像序列包括n帧待检测手部图像；其中，n>1，n为整数；

5、对待检测手部图像进行手部区域检测，得到与待检测手部图像对应的n帧检测图像；

6、将相邻两帧的待检测手部图像进行光流分析处理，得到n-1帧光流灰度图像；

7、对所述待检测手部图像、所述检测图像以及所述光流灰度图像进行融合图像处理，得到融合图像序列；

8、将所述融合图像序列输入三维残差网络，得到动态手势的分类和动态手势类别的识别结果。

9、可选的，对待检测手部图像进行手部区域检测，得到与待检测手部图像对应的n帧检测图像，包括：

10、对待检测手部图像进行目标检测，得到目标检测结果；所述目标检测结果包括：手部区域框，手部区域框内的手部区域，手部区域框外的非手部区域；

11、对所述目标检测结果进行掩膜处理，得到待检测手部图像对应的n帧检测图像。

12、可选的，对所述目标检测结果进行掩膜处理，得到待检测手部图像对应的检测图像，包括：

13、将目标检测结果中的每个像素和预设掩膜的像素进行运算，得到待检测手部图像对应的检测图像。

14、可选的，将相邻两帧的待检测手部图像进行光流分析处理，得到光流灰度图像，包括：

15、通过对相邻两帧的待检测手部图像中的第一待检测手部图像和第二待检测手部图像进行对比，得到光点移动情况；

16、根据所述光点移动情况，得到光流灰度图像。

17、可选的，对所述待检测手部图像、检测图像以及所述光流灰度图像进行融合图像处理，得到融合图像序列，包括：

18、根据第n帧待检测手部图像，对第n帧光流灰度图像按照预设规则得到k帧光流灰度图像；

19、将第n帧待检测手部图像与对应的第n帧检测图像进行一级叠加处理，得到第n帧第一叠加图像；

20、将所述第n帧第一叠加图像和k帧光流灰度图像进行二级叠加处理，得到第n帧融合图像序列；其中，n-1≥n≥1；k，n，n为整数。

21、可选的，将所述融合图像序列输入三维残差网络，得到动态手势类别和所述动态手势类别的识别结果，包括：

22、将所述融合图像序列输入三维残差网络，得到动态手势类别；

23、根据所述动态手势类别和历史识别结果，得到动态手势类别的识别结果。

24、可选的，根据所述动态手势类别和历史识别结果，得到动态手势类别的识别结果，包括：

25、对历史识别结果进行中位数计算和/或加权平均处理，得到动态手势类别对应的概率分布情况；

26、通过预设函数对所述动态手势类别对应的概率分布情况进行计算，得到动态手势类别的识别结果。

27、本发明的方案还提供一种动态手势的识别装置，所述装置包括：

28、获取模块，用于获取手部图像序列；所述手部图像序列包括n帧待检测手部图像；其中，n>1，n为整数；

29、处理模块，用于对待检测手部图像进行手部区域检测，得到与待检测手部图像对应的n帧检测图像；将相邻两帧的待检测手部图像进行光流分析处理，得到n-1帧光流灰度图像；对所述待检测手部图像、所述检测图像以及所述光流灰度图像进行融合图像处理，得到融合图像序列；将所述融合图像序列输入三维残差网络，得到动态手势的分类和动态手势类别的识别结果。

30、本发明的方案还提供一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如上述的动态手势的识别方法的步骤。

31、本发明的方案还提供一种计算机可读存储介质，存储指令，当所述指令在计算机上运行时，使得计算机执行如上述的动态手势的识别方法的步骤。

32、本发明的上述方案至少包括以下有益效果：

33、通过获取手部图像序列；所述手部图像序列包括n帧待检测手部图像；其中，n>1，n为整数；对待检测手部图像进行手部区域检测，得到与待检测手部图像对应的n帧检测图像；将相邻两帧的待检测手部图像进行光流分析处理，得到n-1帧光流灰度图像；对所述待检测手部图像、所述检测图像以及所述光流灰度图像进行融合图像处理，得到融合图像序列；将所述融合图像序列输入三维残差网络，得到动态手势的分类和动态手势类别的识别结果；本发明的方案泛化能力强，表达能力强，扩展性好，在保证准确率的情况下，模型使用了尽可能少的参数，保证了模型的识别速度，分类效果较优。

技术特征：

1.一种动态手势的识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的动态手势的识别方法，其特征在于，对待检测手部图像进行手部区域检测，得到与待检测手部图像对应的n帧检测图像，包括：

3.根据权利要求2所述的动态手势的识别方法，其特征在于，对所述目标检测结果进行掩膜处理，得到待检测手部图像对应的检测图像，包括：

4.根据权利要求1所述的动态手势的识别方法，其特征在于，将相邻两帧的待检测手部图像进行光流分析处理，得到光流灰度图像，包括：

5.根据权利要求1所述的动态手势的识别方法，其特征在于，对所述待检测手部图像、检测图像以及所述光流灰度图像进行融合图像处理，得到融合图像序列，包括：

6.根据权利要求1所述的动态手势的识别方法，其特征在于，将所述融合图像序列输入三维残差网络，得到动态手势类别和所述动态手势类别的识别结果，包括：

7.根据权利要求6所述的动态手势的识别方法，其特征在于，根据所述动态手势类别和历史识别结果，得到动态手势类别的识别结果，包括：

8.一种动态手势的识别装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-7任一项所述的动态手势的识别方法的步骤。

10.一种计算机可读存储介质，其特征在于，存储指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1-7任一项所述的动态手势的识别方法的步骤。

技术总结
本发明提供一种动态手势的识别方法、装置及设备。方法包括：获取手部图像序列；所述手部图像序列包括N帧待检测手部图像；其中，N>1，N为整数；对待检测手部图像进行手部区域检测，得到与待检测手部图像对应的N帧检测图像；将相邻两帧的待检测手部图像进行光流分析处理，得到N‑1帧光流灰度图像；对所述待检测手部图像、所述检测图像以及所述光流灰度图像进行融合图像处理，得到融合图像序列；将所述融合图像序列输入三维残差网络，得到动态手势的分类和动态手势类别的识别结果；本发明的方案实现了泛化能力强，表达能力强，扩展性好，在保证准确率的情况下，模型使用了尽可能少的参数，保证了模型的识别速度，分类效果较优。

技术研发人员：孙一博,唐博恒
受保护的技术使用者：中国移动通信有限公司研究院
技术研发日：
技术公布日：2024/1/15