手势识别方法、装置、设备及介质与流程

本申请涉及手势识别的，尤其涉及一种手势识别方法、手势识别装置、手势识别设备及计算机可读存储介质。

背景技术：

1、目前，在现有的虚拟现实产品中，部分厂家通过单一的深度摄像头来采集手势影像以识别手势动作，但当手势动作存在重叠或者设备视角被遮挡时，深度摄像头无法拍摄得到手势影像，进而无法对手势动作进行识别。可见，现有的手部交互套件对手势动作的识别效果不佳，使得用户在虚拟现实场景下难以获得沉浸式体验。

技术实现思路

1、本申请的主要目的在于提供一种手势识别方法、手势识别装置、手势识别设备及计算机可读存储介质，旨在对佩戴者的手势动作进行精确识别。

2、为实现上述目的，本申请提供一种手势识别方法，所述方法包括：

3、获取第一手部画面和第二手部画面，其中，所述第一手部画面为穿戴于目标手部的第一手势识别装置采集的所述目标手部的手部画面，所述第二手部画面为穿戴于目标手部对侧手部的第二手势识别装置采集的所述目标手部的手部画面；

4、基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作。

5、示例性的，所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤，包括：

6、基于所述第一手部画面和所述第二手部画面，构建所述目标手部的手部三维模型；

7、基于所述手部三维模型确定所述目标手部的目标手势动作。

8、示例性的，所述基于所述手部三维模型确定所述目标手部的目标手势动作的步骤，包括：

9、基于所述手部三维模型确定所述目标手部在执行手势动作过程中的手部空间姿态变化；

10、通过识别所述手部空间姿态变化确定所述目标手部的目标手势动作。

11、示例性的，所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤，包括：

12、识别所述第一手部画面中所述目标手部的第一手势动作，识别所述第二手部画面中所述目标手部的第二手势动作；

13、在所述第一手势动作和所述第二手势动作不相同时，确定所述目标手部的目标手势动作为所述第一手势动作和所述第二手势动作中可信度较高的手势动作。

14、示例性的，所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤，包括：

15、识别所述第一手部画面中所述目标手部的第一手势动作列表，识别所述第二手部画面中所述目标手部的第二手势动作列表；其中，所述手势动作列表中包括通过识别手部画面中所述目标手部得到的多个待定手势动作，以及所述待定手势动作对应的手势得分；

16、基于所述第一手势动作列表和所述第二手势动作列表，确定所述目标手部的目标手势动作为所述手势得分最高的所述待定手势动作。

17、示例性的，所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤之后，包括：

18、获取所述目标手部的空间位置；

19、基于所述目标手势动作和所述空间位置，对目标虚拟对象进行姿态控制。

20、本申请还提供一种手势识别装置，所述装置穿戴于目标手部，包括：

21、本体，用于被穿戴时固定在所述目标手部；

22、第一摄像头阵列，安装于所述本体上面向所述目标手部一侧，用于采集所述目标手部的手部画面；

23、第二摄像头阵列，安装于所述本体上面向所述目标手部对侧手部一侧，用于采集所述目标手部对侧手部的手部画面。

24、示例性的，所述装置还包括：

25、空间位置采集装置，安装于所述本体上，用于采集所述目标手部的空间位置。

26、本申请还提供一种手势识别设备，所述手势识别设备包括：如上所述的手势识别装置、存储器、处理器、及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的手势识别方法的步骤。

27、本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的手势识别方法的步骤。

28、本申请实施例提出的一种手势识别方法、手势识别装置、手势识别设备及计算机可读存储介质,手势识别装置穿戴于目标手部，包括：本体，用于被穿戴时固定在所述目标手部；第一摄像头阵列，安装于所述本体上面向所述目标手部一侧，用于采集所述目标手部的手部画面；第二摄像头阵列，安装于所述本体上面向所述目标手部对侧手部一侧，用于采集所述目标手部对侧手部的手部画面。

29、获取第一手部画面和第二手部画面，其中，所述第一手部画面为穿戴于目标手部的第一手势识别装置采集的所述目标手部的手部画面，所述第二手部画面为穿戴于目标手部对侧手部的第二手势识别装置采集的所述目标手部的手部画面；基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作。

30、在本申请中，首先，通过穿戴在目标手部的第一手势识别装置上、面向目标手部一侧的第一摄像头阵列，采集得到目标手部的第一手部画面；通过穿戴在目标手部对侧手部的第二手势识别装置上、面向目标手部一侧的第二摄像头阵列，采集得到目标手部的第二手部画面。然后，通过第一手部画面和第二手部画面确定目标手部的目标手势动作。从而相较于单一画面识别手势动作，可以避免手势动作存在重叠或者设备视角被遮挡时，无法拍摄得到手势影像而无法对手势动作进行识别的情况，同时，通过多个手部画面可以对确定目标手部的目标手势动作进行精准识别。

技术特征：

1.一种手势识别方法，其特征在于，所述方法包括：

2.如权利要求1所述的手势识别方法，其特征在于，所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤，包括：

3.如权利要求2所述的手势识别方法，其特征在于，所述基于所述手部三维模型确定所述目标手部的目标手势动作的步骤，包括：

4.如权利要求1所述的手势识别方法，其特征在于，所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤，包括：

5.如权利要求1所述的手势识别方法，其特征在于，所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤，包括：

6.如权利要求1所述的手势识别方法，其特征在于，所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤之后，包括：

7.一种手势识别装置，其特征在于，所述装置穿戴于目标手部，包括：

8.如权利要求7所述的手势识别装置，其特征在于，所述装置还包括：

9.一种手势识别设备，其特征在于，所述手势识别设备包括：如权利要求7或8所述的手势识别装置、存储器、处理器、及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的手势识别方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的手势识别方法的步骤。

技术总结
本申请公开了一种手势识别方法、装置、设备及介质，属于手势识别技术领域。在本申请中，首先，通过穿戴在目标手部的第一手势识别装置上、面向目标手部一侧的第一摄像头阵列，采集得到目标手部的第一手部画面；通过穿戴在目标手部对侧手部的第二手势识别装置上、面向目标手部一侧的第二摄像头阵列，采集得到目标手部的第二手部画面。然后，通过第一手部画面和第二手部画面确定目标手部的目标手势动作。从而相较于单一画面识别手势动作，可以避免手势动作存在重叠或者设备视角被遮挡时，无法拍摄得到手势影像而无法对手势动作进行识别的情况，同时，通过多个手部画面可以对确定目标手部的目标手势动作进行精准识别。

技术研发人员：吴张耀
受保护的技术使用者：歌尔科技有限公司
技术研发日：
技术公布日：2024/1/16