手部姿态构建方法、装置与非暂态电脑可读取存储介质与流程

本公开有关于一种手部姿态构建方法、电子装置以及非暂态电脑可读取存储介质，且特别是有关估计被遮挡的手部姿态的手部姿态构建方法、电子装置以及非暂态电脑可读取存储介质。

背景技术：

1、随着电子化环境的发展，人机接口(hmi)的使用急速增加。人们越来越需要更自然的人机使用者接口方法，举例而言，以手部姿态(或手部手势)互动来取代及/或补充传统的hmi。传统的hmi包含键盘、指点装置及/或触控接口。手部姿态互动可应用于vr/ar应用。可能存在多种用于识别及/或辨别手部姿态的解决方案。现在最常用的手部姿态侦测以及手部姿态控制都是通过电脑视觉的影像侦测以及影像分析来实现的。然而，在电脑视觉中，当手部被其他物体遮住时，很难预测手部姿态。当两只手互相互动或当使用者在vr场景中移动时，由于活动时的不同身体方位或镜片和手之间存在障碍物时，相机在撷取使用者当前动作时难免会遇到困难，且手部追踪的准确性和稳定性都会受到影响。

技术实现思路

1、本公开的一实施例公开一种手部姿态构建方法。此手部姿态构建方法包含以下步骤：从相机的视角撷取包含使用者的手的影像，其中于影像中，使用者的手的手部影像被遮挡；依据穿戴于使用者的手腕的追踪装置的移动资料取得使用者的手腕的手腕位置以及手腕方向；从影像取得使用者的手的多个可见特征点；以及依据多个可见特征点、手腕位置、手腕方向以及手部姿态模型构建使用者的手的手部姿态。

2、于部分实施例中，其特征在于，更包含：依据所述手部姿态模型的所述多个可见特征点中的一第一可见特征点与所述不可见特征点之间的一距离以及一相对角度，估计所述手的一不可见特征点的一估计位置。

3、于部分实施例中，其特征在于，更包含：当预测所述使用者的所述手即将被遮挡时，存储所述使用者的所述手的一先前手部姿态；以及基于所述先前手部姿态构建所述使用者的所述手的所述手部姿态。

4、于部分实施例中，其特征在于，更包含：依据所述使用者的另一手的另一手腕位置、所述使用者的所述手的所述手腕位置以及所述使用者的一头部位置，构建所述使用者的两只手臂的一手臂骨架；依据所述手臂骨架取得多个时间点的所述使用者的多个手臂特征点的多个手臂位置；以及依据所述多个手臂特征点的所述多个手臂位置的以及所述手臂骨架预测所述手部影像即将被遮挡。

5、于部分实施例中，其特征在于，其中所述手的一手指包含多个手指特征点，其中所述多个手指特征点中的一第一手指特征点位于所述手指的一手指尖，其中所述手部姿态构建方法更包含：当所述多个手指特征点为多个不可见特征点或当所述第一手指特征点为所述多个不可见特征点中的一者时，基于所述先前手部姿态构建所述手部姿态的所述手指的所述使用者。

6、于部分实施例中，其特征在于，更包含：取得所述先前手部姿态的所述多个手指特征点与所述手腕位置之间的一关系；以及于重新构建所述手部姿态时，保持所述多个手指特征点以及所述手腕位置之间的所述关系。

7、于部分实施例中，其特征在于，更包含：判断是否依据所述多个可见特征点的一数量、所述手的一遮挡百分比或多个不可见特征点的一重要性重新构建所述使用者的所述手的所述手部姿态。

8、于部分实施例中，其特征在于，更包含：依据一手部姿态资料库重新构建所述手部姿态，其中所述手部姿态资料库包含多个标准手部姿态。

9、本公开的另一实施例公开一种电子装置。此电子装置包含相机以及处理器。相机用以从相机的视角撷取使用者的手的影像，其中于影像中，使用者的手的手部影像被遮挡。处理器耦接于相机，其中处理器用以执行：依据穿戴于使用者的手腕的追踪装置的移动资料取得使用者的手腕的手腕位置以及手腕方向；从影像取得使用者的手的多个可见特征点；以及依据些可见特征点、手腕位置、手腕方向以及手部姿态模型构建使用者的手的手部姿态。

10、本公开的另一实施例公开一种非暂态电脑可读取存储介质，其中非暂态电脑可读取存储介质存储有一个或多个电脑程序，以及一个或多个电脑程序可以由一个或多个处理器执行，以执行前述的手部姿态构建方法。

11、须说明的是，上述说明以及后续详细描述是以实施例方式例示性说明本案，并用以辅助本案所请求的
技术实现要素：
的解释与理解。

技术特征：

1.一种手部姿态构建方法，其特征在于，包含：

2.如权利要求1所述的手部姿态构建方法，其特征在于，更包含：

3.如权利要求1所述的手部姿态构建方法，其特征在于，更包含：

4.如权利要求3所述的手部姿态构建方法，其特征在于，更包含：

5.如权利要求3所述的手部姿态构建方法，其特征在于，其中所述手的一手指包含多个手指特征点，其中所述多个手指特征点中的一第一手指特征点位于所述手指的一手指尖，其中所述手部姿态构建方法更包含：

6.如权利要求5所述的手部姿态构建方法，其特征在于，更包含：

7.如权利要求1所述的手部姿态构建方法，其特征在于，更包含：

8.如权利要求1所述的手部姿态构建方法，其特征在于，更包含：

9.一种电子装置，其特征在于，包含：

10.一种非暂态电脑可读取存储介质，其特征在于，其中所述非暂态电脑可读取存储介质存储有一个或多个电脑程序，以及所述一个或多个电脑程序可以由一个或多个处理器执行，以执行一手部姿态构建方法，其中所述手部姿态构建方法包含：

技术总结
一种手部姿态构建方法被公开。此手部姿态构建方法包含以下步骤：从相机的视角撷取包含使用者的手的影像，其中于影像中，使用者的手的手部影像被遮挡；依据穿戴于使用者的手腕的追踪装置的移动资料取得使用者的手腕的手腕位置以及手腕方向；从影像取得使用者的手的多个可见特征点；以及依据多个可见特征点、手腕位置、手腕方向以及手部姿态模型构建使用者的手的手部姿态。本实施于手部影像被遮挡时，手部姿态的预测可以更稳定。

技术研发人员：林婷苇,魏敏家,吴健民
受保护的技术使用者：宏达国际电子股份有限公司
技术研发日：
技术公布日：2024/6/11