追踪扩展现实的输入手势的方法和使用其的系统与流程

本公开涉及一种追踪输入手势的方法和使用所述方法的系统，且特别来说，涉及一种追踪扩展现实(extended reality；xr)的输入手势的方法和使用所述方法的系统。

背景技术：

1、随着技术改进，扩展现实(例如，扩增现实(augmented reality；ar)、虚拟现实(virtual reality；vr)或混合现实(mixed reality；mr))头戴式装置变得越来越流行。为了与用户进行交互，头戴式装置可为用户产生虚拟场景且在虚拟场景中显示虚拟对象(例如，虚拟按钮)。用户可通过按压或牵引虚拟对象来操作头戴式装置。然而，以上提到的操作方法对于用户并不简单且可使用户筋疲力尽。

技术实现思路

1、本公开涉及一种追踪扩展现实的输入手势的方法和使用所述方法的系统。

2、本公开涉及一种追踪扩展现实的输入手势的系统，其中系统包含输出装置、图像捕获装置以及处理器。图像捕获装置获得图像。处理器耦合到输出装置和图像捕获装置，其中处理器配置成：检测图像中的手持装置和手部；响应于检测到手部的第一限界框和手持装置的第二限界框，从图像检测手部的至少一个关节；根据至少一个关节执行第一限界框和第二限界框的数据融合以获得输入手势；以及通过输出装置输出对应于输入手势的命令。

3、在一个实施例中，处理器进一步配置成：响应于第一限界框与第二限界框重叠而从图像检测手部的至少一个关节。

4、在一个实施例中，处理器进一步配置成：响应于至少一个关节的数目大于阈值，根据第一限界框的第一权重执行数据融合；且响应于至少一个关节的数目小于或等于阈值，根据第一限界框的第二权重执行数据融合，其中第二权重小于第一权重。

5、在一个实施例中，处理器进一步配置成：响应于未检测到第一限界框，根据第二限界框获得输入手势；且响应于未检测到第二限界框，根据第一限界框获得输入手势。

6、在一个实施例中，系统进一步包含手持装置，其中手持装置包含触摸屏。

7、在一个实施例中，处理器进一步配置成：根据由触摸屏显示的定位标记来检测手持装置。

8、在一个实施例中，手持装置以通信方式连接到处理器，且处理器进一步配置成：从手持装置接收信号；且执行第一限界框、第二限界框以及信号的数据融合以获得输入手势。

9、在一个实施例中，信号对应于由手持装置的触摸屏接收到的用户输入。

10、在一个实施例中，手持装置进一步包含惯性测量单元，其中信号对应于由惯性测量单元产生的数据。

11、在一个实施例中，输出装置包含显示器，其中显示器根据命令输出扩展现实场景。

12、在一个实施例中，输出装置包含以通信方式连接到手持装置的收发器，其中过程进一步配置成：通过收发器将命令输出到手持装置。

13、本公开涉及一种追踪扩展现实的输入手势的方法，包含：获得图像；检测图像中的手持装置和手部；响应于检测到手部的第一限界框和手持装置的第二限界框，从图像检测手部的至少一个关节；根据至少一个关节执行第一限界框和第二限界框的数据融合以获得输入手势；以及通过输出装置输出对应于输入手势的命令。

14、基于以上描述，本公开通过利用手持装置与用户的手部之间的关系来识别用于与扩展现实进行交互的输入手势。因此，输入手势的追踪精确度可显著提高。

15、为了可更好地理解前述内容，如下详细描述附有图式的数个实施例。

技术特征：

1.一种追踪扩展现实的输入手势的系统，其特征在于，包括：

2.根据权利要求1所述的追踪扩展现实的输入手势的系统，其中所述处理器进一步配置成：

3.根据权利要求1所述的追踪扩展现实的输入手势的系统，其中所述处理器进一步配置成：

4.根据权利要求1所述的追踪扩展现实的输入手势的系统，其中所述处理器进一步配置成：

5.根据权利要求1所述的追踪扩展现实的输入手势的系统，进一步包括：

6.根据权利要求5所述的追踪扩展现实的输入手势的系统，其中所述处理器进一步配置成：

7.根据权利要求5所述的追踪扩展现实的输入手势的系统，其中所述手持装置以通信方式连接到所述处理器，且所述处理器进一步配置成：

8.根据权利要求7所述的追踪扩展现实的输入手势的系统，其中所述信号对应于由所述手持装置的所述触摸屏接收到的用户输入。

9.根据权利要求7所述的追踪扩展现实的输入手势的系统，其中所述手持装置进一步包括：

10.根据权利要求1所述的追踪扩展现实的输入手势的系统，其中所述输出装置包括显示器，其中所述显示器根据所述命令输出扩展现实场景。

11.根据权利要求1所述的追踪扩展现实的输入手势的系统，其中所述输出装置包括以通信方式连接到所述手持装置的收发器，其中过程进一步配置成：

12.一种追踪扩展现实的输入手势的方法，其特征在于，包括：

技术总结
本发明提供一种追踪扩展现实的输入手势的系统和方法，其中方法包含：获得图像；检测图像中的手持装置和手部；响应于检测到手部的第一限界框和手持装置的第二限界框，从图像检测手部的至少一个关节；根据至少一个关节执行第一限界框和第二限界框的数据融合以获得输入手势；以及通过输出装置输出对应于输入手势的命令。

技术研发人员：黄雅博,林建良
受保护的技术使用者：宏达国际电子股份有限公司
技术研发日：
技术公布日：2024/1/13