一种手势识别方法、装置和电子设备与流程

本公开涉及图像处理，尤其涉及一种手势识别方法、装置和电子设备。

背景技术：

1、目前，在虚拟现实技术(virtual reality，vr)设备技术领域，通常在vr设备上部署手势识别算法，用来识别vr设备的双目相机采集的连续图像帧序列中的手势动作信息。

2、采用上述方式识别图像中的手势动作时，vr设备需要根据手势识别算法对每张图像进行识别，导致手势识别的效率较低。

技术实现思路

1、为了解决上述技术问题，本公开提供了一种手势识别方法、装置和电子设备，用于解决现有技术中vr设备需要根据手势识别算法对每张图像进行识别，导致手势识别的效率较低的问题。

2、为了实现上述目的，本公开提供技术方案如下：

3、第一方面，本公开提供一种手势识别方法，包括：获取图像采集装置采集的连续帧图像；确定连续帧图像中上一帧图像的投影框，投影框是基于上一帧图像的手势识别结果所确定的；基于上一帧图像的投影框对连续帧图像中当前帧图像进行处理，确定手势识别结果。

4、作为本公开一种可选的实施方式，确定连续帧图像中上一帧图像的投影框包括：对连续帧图像进行识别，确定当前帧图像之前相邻的连续帧图像中出现同一个手的连续帧数；在连续帧数大于或等于帧数阈值的情况下，确定上一帧图像的投影框。

5、作为本公开一种可选的实施方式，在连续帧数大于或等于帧数阈值的情况下，确定上一帧图像的投影框，包括：在连续帧数等于帧数阈值的情况下，基于目标检测器和上一帧图像，确定上一帧图像的投影框；或者，在连续帧数大于帧数阈值的情况下，采用多视图投影机制，确定上一帧图像的投影框。

6、作为本公开一种可选的实施方式，基于上一帧图像的投影框对连续帧图像中当前帧图像进行处理，确定手势识别结果，包括：基于上一帧的投影框对连续帧图像中当前帧图像进行多视图投影，确定初步手势识别结果；根据初步手势识别结果，确定当前帧的投影框；确定当前帧的投影框和上一帧的投影框之间的交并比；在交并比大于或等于预设阈值的情况下，确定初步手势识别结果为手势识别结果。

7、作为本公开一种可选的实施方式，本公开通过的手势识别方法还包括：在交并比小于预设阈值的情况下，基于目标检测模型和当前帧图像，确定手势识别结果。

8、第二方面，本公开提供一种手势识别装置，包括：获取单元，用于获取图像采集装置采集的连续帧图像；处理单元，用于确定获取单元获取的连续帧图像中上一帧图像的投影框，投影框是基于上一帧图像的手势识别结果所确定的；处理单元，还用于基于上一帧图像的投影框对获取单元获取的连续帧图像中当前帧图像进行处理，确定手势识别结果。

9、作为本公开一种可选的实施方式，处理单元，具体用于对获取单元获取的连续帧图像进行识别，确定当前帧图像之前相邻的连续帧图像中出现同一个手的连续帧数；处理单元，具体用于在连续帧数大于或等于帧数阈值的情况下，确定上一帧图像的投影框。

10、作为本公开一种可选的实施方式，处理单元，具体用于在连续帧数等于帧数阈值的情况下，基于目标检测器和获取单元获取的上一帧图像，确定上一帧图像的投影框；或者，处理单元，具体用于在连续帧数大于帧数阈值的情况下，采用多视图投影机制，确定上一帧图像的投影框。

11、作为本公开一种可选的实施方式，处理单元，具体用于基于上一帧的投影框对获取单元获取的连续帧图像中当前帧图像进行多视图投影，确定初步手势识别结果；处理单元，具体用于根据初步手势识别结果，确定当前帧的投影框；处理单元，具体用于确定当前帧的投影框和上一帧的投影框之间的交并比；处理单元，具体用于在交并比大于或等于预设阈值的情况下，确定初步手势识别结果为手势识别结果。

12、作为本公开一种可选的实施方式，处理单元，还用于在交并比小于预设阈值的情况下，基于目标检测模型和当前帧图像，确定手势识别结果。

13、第三方面，本公开提供一种电子设备，包括：存储器和处理器，存储器用于存储计算机程序；处理器用于在执行计算机程序时，使得电子设备实现如第一方面提供的任一项手势识别方法。

14、第四方面，本公开一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，当计算机程序被计算设备执行时，使得计算设备实现如第一方面提供的任一项手势识别方法。

15、第五方面，本公开一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机实现如第一方面提供的任一项手势识别方法。

16、本公开中第二方面、第三方面、第四方面以及第五方面的描述，可以参考第一方面的详细描述；并且，第二方面、第三方面、第四方面以及第五方面的描述的有益效果，可以参考第一方面的有益效果分析，此处不再赘述。

17、在本公开中，上述手势识别装置的名字对设备或功能模块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本公开类似，属于本公开权利要求及其等同技术的范围之内。

18、本公开的这些方面或其他方面在以下的描述中会更加简明易懂。

19、本公开提供的技术方案与现有技术相比具有如下优点：

20、在对图像采集装置连续帧图像进行分析时，可以根据连续帧图像中上一帧图像对应的手势识别结果，确定上一帧图像的投影框。之后，基于上一帧图像的投影框对连续帧图像中的当前帧图像进行处理，这样可以基于上一帧图像的投影框，快速找到当前帧图像与该上一帧图像的投影框相对应的图像，进而可以对该当前帧图像与该上一帧图像的投影框相对于的图像进行处理，确定手势识别结果。

21、此外，当执行本公开提供的手势识别方法的执行主体为vr设备时，vr设备可以基于上一帧图像确定的投影框，快速地在当前帧图像中寻找与该上一帧图像确定的投影框对应的图像，之后在对当前帧图像中寻找与该上一帧图像确定的投影框对应的图像进行处理时，由于同一个手势在连续相邻的帧图像中所在的位置偏差较小，因此可以基于上一帧图像确定的投影框在当前帧图像中快速地找到与该上一帧图像确定的投影框对应的手势的图像。由于无需对当前帧图像的整体进行识别，因此可以降低手势识别所需要的时间，进而可以提升手势识别的效率。解决了现有技术中vr设备手势识别的效率较低的问题。

技术特征：

1.一种手势识别方法，其特征在于，包括：

2.根据权利要求1所述的手势识别方法，其特征在于，所述确定所述连续帧图像中上一帧图像的投影框包括：

3.根据权利要求2所述的手势识别方法，其特征在于，所述在所述连续帧数大于或等于帧数阈值的情况下，确定上一帧图像的投影框，包括：

4.根据权利要求1所述的手势识别方法，其特征在于，所述基于所述上一帧图像的投影框对所述连续帧图像中当前帧图像进行处理，确定手势识别结果，包括：

5.根据权利要求4所述的手势识别方法，其特征在于，所述方法还包括：

6.一种手势识别装置，其特征在于，包括：

7.根据权利要求6所述的手势识别装置，其特征在于，所述处理单元，具体用于对所述获取单元获取的所述连续帧图像进行识别，确定所述当前帧图像之前相邻的连续帧图像中出现同一个手的连续帧数；

8.根据权利要求7所述的手势识别装置，其特征在于，所述处理单元，具体用于在所述连续帧数等于所述帧数阈值的情况下，基于目标检测器和所述获取单元获取的所述上一帧图像，确定上一帧图像的投影框；

9.根据权利要求6所述的手势识别装置，其特征在于，所述处理单元，具体用于基于所述上一帧的投影框对所述获取单元获取的所述连续帧图像中当前帧图像进行多视图投影，确定初步手势识别结果；

10.根据权利要求9所述的手势识别装置，其特征在于，所述处理单元，还用于在所述交并比小于所述预设阈值的情况下，基于目标检测模型和所述当前帧图像，确定手势识别结果。

11.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在执行计算机程序时，使得所述电子设备实现权利要求1-5任一项所述的手势识别方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现权利要求1-5任一项所述的手势识别方法。

13.一种计算机程序产品，其特征在于，包括当计算机程序产品在计算机上运行时，使得计算机执行如权利要求1-5任一项所述的手势识别方法。

技术总结
本公开提供了一种手势识别方法、装置和电子设备，涉及图像处理技术领域，用于解决现有技术中VR设备需要根据手势识别算法对每张图像进行识别，导致手势识别的效率较低的问题。该方法包括获取图像采集装置采集的连续帧图像；确定连续帧图像中上一帧图像的投影框，投影框是基于上一帧图像的手势识别结果所确定的；基于上一帧图像的投影框对连续帧图像中当前帧图像进行处理，确定手势识别结果。

技术研发人员：王东,吴涛,王远江
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：
技术公布日：2024/3/27