一种AR多人交互系统、头显设备、方法和存储介质与流程

本申请涉及增强现实领域，特别是涉及一种ar多人交互系统、头显设备、方法和存储介质。

背景技术：

1、增强现实(augmented reality，即ar)技术是一种将虚拟信息与真实世界融合的技术。可以将计算机生成的文字、图像、三维模型等虚拟信息模拟仿真之后映射到真实世界中，真实的环境信息与虚拟信息互为补充，从而实现对真实世界的增强。

2、在相关技术中，当前的ar交互游戏普遍需要手持沉重的设备，多个用户通过该实体设备在ar场景中实现交互。该类方法便捷性较差，同时，交互方式也单一，导致ar交互过程中的用户体验较差。

技术实现思路

1、本申请实施例提供了一种基于手势识别的ar多人交互系统、头显设备、方法和计算机设备，以至少解决相关技术中ar交互过程中的交互方式体验较差的问题。

2、第一方面，本申请实施例提供了一种ar多人交互系统，所述系统包括服务器和终端设备，其中，

3、所述终端设备，用于采集用户视野中的目标图像并将其发送至所述服务器；

4、所述服务器，用于根据所述目标图像，获取所述终端设备的位置信息以及所述终端设备发送的交互指令，

5、以及，根据所述位置信息生成所述终端设备对应的虚拟对象，发送所述虚拟对象至多用户使用的所述终端设备进行显示，其中，所述虚拟对象的展示状态根据所述交互指令确定。

6、在其中一些实施例中，所述服务器包括定位模块和交互模块，其中；

7、所述定位模块，用于识别所述目标图像中的场景信息，得到所述终端设备的位置信息，根据所述位置信息生成所述终端设备对应的虚拟对象，

8、以及，发送所述虚拟对象至多用户使用的所述终端设备，指示所述终端设备展将虚拟对象与真实场景叠加展示；

9、所述交互模块，用于识别所述目标图像中的手势信息得到交互指令，发送所述交互指令至所述终端设备，指示所述终端设备根据所述交互指令确定所述虚拟对象的显示状态。

10、在其中一些实施例中，所述交互模块包括手势检测模块和信息同步模块，其中；

11、所述手势检测模块，用于提取所述目标图像中手势信息的关键点特征，根据所述关键点特征，确定交互手势和指向信息，并根据所述交互手势和所述指向信息生成所述交互指令；

12、所述信息同步模块，用于发送所述交互指令至所述终端设备，指示所述终端设备，根据所述交互指令确定所述虚拟对象的显示状态。

13、在其中一些实施例中，所述手势检测模块包括：姿态检测模块和位置检测模块，其中；

14、所述姿态检测模块，用于将所述关键点特征与预设特征库匹配，得到手势姿态信息，其中，所述手势姿态信息包括：左右手信息、手部形态信息和手部角度信息；

15、所述位置检测模块，用于根据所述手势图像中的关键点特征，获取手部位置信息，以及，根据所述手部位置信息，判断用户手部是否处于运动状态，若是，根据所述手部位置信息生成手部运动轨迹。

16、在其中一些实施例中，所述交互模块包括进攻交互模块，

17、所述进攻交互模块，用于在识别到所述手势信息，在预设时间段内从第一预设手势变换到第二预设手势的情况下，输出瞬时攻击交互指令，

18、在识别到所述手势信息，在预设时间段内从第三预设手势变换至所述第二预设手势的情况下，输出蓄力攻击交互指令，其中，所述蓄力攻击交互指令强度根据所述第三预设手势的持续时间决定，

19、以及，指示除发出交互指令之外的其他终端设备，根据所述瞬时攻击交互指令和/或所述瞬时攻击交互指令，确定所述虚拟对象的状态。

20、在其中一些实施例中，所述交互模块还包括防守交互模块，

21、所述防守交互模块，用于识别到所述手势信息，保持第四预设手势并按照预设轨迹移动的情况下，输出防守交互指令，

22、以及，指示发送所述交互指令的所述终端设备，根据所述防守交互指令确定所述虚拟对象的状态。

23、在其中一些实施例中，所述虚拟对象包括多个虚拟元素，所述服务器，还用于在任意一个虚拟对象内的目标虚拟元素被所述攻击交互指令命中之后，确定该攻击交互指令对应的目标终端设备，并指示所述目标终端设备消除所述目标虚拟元素，

24、以及，在任意一个虚拟对象内的所有目标虚拟元素被所述攻击交互指令命中之后，指示所述目标终端设备结束ar交互流程。

25、第二方面，本申请实施例提供了一种ar多人交互头显设备，所述头显设备包括采集模块和处理模块，其中；

26、所述采集模块，用于采集用户视野中的目标图像；

27、所述处理模块，用于将所述目标图像发送至服务器，指示所述服务器根据所述目标图像运行交互处理流程实现多人ar交互，其中，

28、所述交互处理流程包括：根据所述目标图像，获取所述头显设备的位置信息以及所述头显设备发送的交互指令，

29、以及，根据所述位置信息生成所述头显设备对应的虚拟对象，发送所述虚拟对象至多用户使用的所述头显设备进行显示，其中，所述虚拟对象的展示状态根据所述交互指令确定。

30、第三方面，本申请实施例提供了一种ar多人交互方法，所述方法包括：

31、服务器接收目标图像，其中，所述目标图像是有终端设备采集的用户视野中的图像；

32、所述服务器，根据所述目标图像，获取所述终端设备的位置信息以及所述终端设备发送的交互指令，以及，根据所述位置信息生成所述终端设备对应的虚拟对象，发送所述虚拟对象至多用户使用的所述终端设备进行显示，其中，所述虚拟对象的展示状态根据所述交互指令确定。

33、第四方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第四方面所述的方法。

34、相比于相关技术，本申请实施例提供的ar多人交互系统，包括终端设备和服务器，其中，终端设备，用于采集用户视野中的目标图像并发送至服务器；服务器，用于根据目标图像，获取终端设备的位置信息以及终端设备发送的交互指令，以及，根据位置信息生成终端设备对应的虚拟对象，发送虚拟对象至多用户使用的终端设备进行显示，其中，虚拟对象的展示状态根据交互指令确定。解决了现有ar多人交互方式交互类型单一，用户体验较差的问题，通过用户位置检测与手势检测结合，在运动状态下实现了多种丰富的交互方式，提升了用户在多人ar交互时的使用体验。

技术特征：

1.一种ar多人交互系统，其特征在于，所述系统包括服务器和终端设备，其中；

2.根据权利要求1所述的系统，其特征在于，所述服务器包括定位模块和交互模块，其中；

3.根据权利要求2所述的系统，其特征在于，所述交互模块包括手势检测模块和信息同步模块，其中；

4.根据权利要求3所述的系统，其特征在于，所述手势检测模块包括：姿态检测模块和位置检测模块，其中；

5.根据权利要求2所述的系统，其特征在于，所述交互模块包括进攻交互模块，

6.根据权利要求5所述的系统，其特征在于，所述交互模块还包括防守交互模块，

7.根据权利要求6所述的系统，其特征在于，所述虚拟对象包括多个虚拟元素，所述服务器还用于在任意一个虚拟对象内的目标虚拟元素被所述攻击交互指令命中之后，确定该攻击交互指令对应的目标终端设备，指示所述目标终端设备消除所述目标虚拟元素，

8.一种ar多人交互头显设备，其特征在于，所述头显设备包括采集模块和处理模块，其中；

9.一种ar多人交互方法，其特征在于，所述方法包括：

10.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求9所述的方法。

技术总结
本申请涉及一种AR多人交互系统，其中，该系统包括终端设备和服务器，其中，终端设备，用于采集用户视野中的目标图像并发送至服务器；服务器，用于根据目标图像，获取终端设备的位置信息以及终端设备发送的交互指令，以及，根据位置信息生成终端设备对应的虚拟对象，发送虚拟对象至多用户使用的终端设备进行显示，其中，虚拟对象的展示状态根据交互指令确定。解决了现有AR多人交互方式交互类型单一，用户体验较差的问题，通过用户位置检测与手势检测结合，在运动状态下实现了多种丰富的交互方式，提升了用户在多人AR交互时的使用体验。

技术研发人员：范泓杉
受保护的技术使用者：杭州易现先进科技有限公司
技术研发日：
技术公布日：2024/1/15