一种手势识别方法及VR系统与流程

本发明涉及虚拟交互，特别涉及一种手势识别方法及vr系统。

背景技术：

1、虚拟现实技术具有沉浸感、交互性和想象性特点，沉浸感是虚拟现实重要的技术特征，是指用户借助交互设备和自身感知觉系统，置身于虚拟环境时的真实程度感，最理想的是人们在模拟世界中，能够感受到虚拟世界里的环境和事物是真实存在的。交互性是指用户进入虚拟环境后，通过多种传感器与多维化信息的环境发生交互作用，体验者可以利用传感设备通过自己的动作控制改变感受的内容，虚拟环境中做出的相应响应，亦与真实的一样。虚拟现实是用计算机生成的一种特殊交互环境，不仅可以再现真实存在的环境，也可以生成想象中实际不存在的甚至根本不可能实现的环境。

2、虚拟现实的交互技术一般包括：基于触控的交互、基于手势或姿势的交互、基于控制器的交互、手持投影仪交互、实物交互和多模态交互。基于手势或姿势的虚拟交互技术与日常生活贴近，具有交互自然的特点，符合人们的交互行为习惯。

3、但由于手势本身的多义性、人手形态变化的高维度以及手指之间存在无法预测的遮挡, 常常难以区分连续运动过程中用户的哪些动作是有意识的交互行为, 哪些动作是下意识的动作，在需要连续控制虚拟对象时，手势识别精度较低。

技术实现思路

1、现有技术中，在进行连续的虚拟交互时，手势识别精度低。

2、针对上述问题，提出一种手势识别方法及vr系统，通过利用置信度算法对卷积网络模型中间预测结果进行修正，提高模型的识别精度，通过在原始相机位置设置虚拟相机，对获取的手势图像进行转换，使得输入到模型的手势图像的分布一致，保证了预测精度。通过利用卷积网络模型识别出手势的手骨铰接特征及手骨姿态特征，提高模型对不同手势识别的兼容。

3、一种手势识别方法，包括步骤：

4、训练阶段；

5、识别阶段；

6、所述步骤：训练阶段，包括步骤：

7、构建卷积网络模型；

8、利用置信度算法对所述卷积网络模型关于手骨铰接特征及手骨姿态特征的预测结果进行修正并将修正后的手骨铰接特征及手骨姿态特征输入到所述卷积网络模型，进行训练；

9、所述步骤：识别阶段，包括步骤：

10、利用n个虚拟相机获取分布统一的手势图像，并将所述手势图像输入到卷积网络模型；

11、根据所述手势图像获取第一实时空间特征，所述第一实时空间特征包括第三手骨铰接特征及第三手骨姿态特征；

12、利用所述卷积网络模型中的时间模块将所述第一实时空间特征转换为时间序列特征；

13、将所述时间序列特征进行融合，获取第二实时空间特征，利用所述卷积网络模型对所述第二实时空间特征进行识别，获取识别结果。

14、结合本发明所述的手势识别方法，第一种可能的实施方式中，所述步骤：利用置信度算法对所述卷积网络模型关于手骨铰接特征及手骨姿态特征的预测结果进行修正并将修正后的手骨铰接特征及手骨姿态特征输入到所述卷积网络模型，进行训练，包括步骤：

15、从数据库获取手势样本数据，所述手势数据样本包括手势样本、手骨铰接特征样本及手骨姿态特征样本；

16、利用手骨铰接特征样本及手骨姿态特征样本、采用置信度预测算法对所述卷积网络模型关于手势的第一手骨铰接特征及第一手骨姿态特征预测结果的置信度进行预测；

17、根据置信度预测结果，对所述第一手骨铰接特征及第一手骨姿态特征的预测结果进行修正，获取第二手骨铰接特征及第二手骨姿态特征；

18、将所述第二手骨铰接特征及第二手骨姿态特征输入所述卷积网络模型进行训练。

19、结合本发明第一种可能的实施方式，第二种可能的实施方式中，所述步骤：利用n个虚拟相机获取分布统一的手势图像，并将所述手势图像输入到卷积网络模型，包括步骤：

20、获取原始物理相机的世界坐标；

21、在所述原始物理相机坐标位置构建虚拟相机；

22、将其中的一个虚拟相机作为参考相机；

23、对所述虚拟相机的内参矩阵进行设定，以使得手的所有要素均位于所述手势图像的边框内。

24、结合本发明第二种可能的实施方式，第三种可能的实施方式中，所述步骤：根据所述手势图像获取第一实时空间特征，所述第一实时空间特征包括第三手骨铰接特征及第三手骨姿态特征，包括步骤：

25、利用手骨原始铰接点的空间坐标获取其它手骨铰接点的第一铰接点空间坐标，并利用所述第一铰接点空间坐标获取第一手骨的空间位置；

26、对所述第一手骨的长度进行标准化处理，获取第二手骨特征；

27、利用所述第一铰接点空间坐标及所述第二手骨特征获取第三手骨铰接特征。

28、结合本发明第三种可能的实施方式，第四种可能的实施方式中，所述步骤：根据所述手势图像获取第一实时空间特征，所述第一实时空间特征包括第三手骨铰接特征及第三手骨姿态特征，还包括步骤：

29、获取相邻手骨的相对空间位置；

30、利用所述相邻手骨的相对空间位置，采用四元数算法获取第三手势姿态特征。

31、第二方面，一种vr系统，采用第一方面所述的识别方法对手势进行识别，包括：

32、vr主机；

33、3d眼镜；

34、所述vr主机包括：

35、显示模块；

36、识别模块；

37、所述识别模块用于对用户的操作手势进行实时识别；

38、所述显示模块用于输出vr内容到所述3d眼镜。

39、实施本发明所述的手势识别方法及vr系统，通过利用置信度算法对卷积网络模型中间预测结果进行修正，提高模型的识别精度，通过在原始相机位置设置虚拟相机，对获取的手势图像进行转换，使得输入到模型的手势图像的分布一致，保证了预测精度。通过利用卷积网络模型识别出手势的手骨铰接特征及手骨姿态特征，提高模型对不同手势识别的兼容。

技术特征：

1.一种手势识别方法，其特征在于，包括步骤：

2.根据权利要求1所述的手势识别方法，其特征在于，所述步骤：利用置信度算法对所述卷积网络模型关于手骨铰接特征及手骨姿态特征的预测结果进行修正并将修正后的手骨铰接特征及手骨姿态特征输入到所述卷积网络模型，进行训练，包括步骤：

3.根据权利要求2所述的手势识别方法，其特征在于，所述步骤：利用n个虚拟相机获取分布统一的手势图像，并将所述手势图像输入到卷积网络模型，包括步骤：

4.根据权利要求3所述的手势识别方法，其特征在于，所述步骤：根据所述手势图像获取第一实时空间特征，所述第一实时空间特征包括第三手骨铰接特征及第三手骨姿态特征，包括步骤：

5.根据权利要求4所述的手势识别方法，其特征在于，所述步骤：根据所述手势图像获取第一实时空间特征，所述第一实时空间特征包括第三手骨铰接特征及第三手骨姿态特征，还包括步骤：

6.一种vr系统，采用权利要求1-5任一所述的识别方法对手势进行识别，其特征在于，包括：

技术总结
本发明公开了一种手势识别方法及VR系统，方法包括：利用置信度算法对卷积网络模型关于手骨铰接特征及手骨姿态特征的预测结果进行修正；利用虚拟相机获取手势图像，并将手势图像输入到卷积网络模型；根据手势图像获取第一实时空间特征，第一实时空间特征包括第三手骨铰接特征及第三手骨姿态特征；利用卷积网络模型中的时间模块将第一实时空间空间特征转换为时间序列特征；将时间序列特征进行融合，获取第二实时空间特征，利用卷积网络模型对第二实时空间特征进行识别，获取识别结果。利用置信度算法对卷积网络模型中间预测结果进行修正，提高了识别精度，设置虚拟相机，对获取的手势图像进行转换，使得手势图像的分布一致，保证了预测精度。

技术研发人员：阮仕叠
受保护的技术使用者：深圳未来立体教育科技有限公司
技术研发日：
技术公布日：2024/1/12