技术特征：
1.一种扩展现实中通过手势的操作方法，包括：识别第一图像中的第一手势，其中所述第一手势对应于用户的手；响应于所述第一手势的识别结果，而呈现虚拟手和位于交互区域上的第一交互对象，其中所述虚拟手做出所述第一手势；识别第二图像中的第二手势，其中所述第二手势对应于所述用户的手且与所述第一手势不同，且所述第二手势与所述交互区域中的所述第一交互对象交互；响应于所述第二手势的识别结果，而呈现所述虚拟手和第二交互对象，其中所述虚拟手做出所述第二手势。2.根据权利要求1所述的扩展现实中通过手势的操作方法，其中识别所述第一手势或所述第二手势的步骤包括：从所述第一图像或所述第二图像识别所述用户的手的关节；以及通过手势分类器基于所述第一图像或所述第二图像以及所识别的所述用户的手的关节来预测所述用户的手的手势，其中通过机器学习算法来训练所述手势分类器。3.根据权利要求2所述的扩展现实中通过手势的操作方法，其中预测所述用户的手的所述手势的步骤包括：仅基于所述第一图像或所述第二图像且在没有所述所识别的所述用户的手的关节的情况下预测所述手势；以及基于所述所识别的所述用户的手的关节来确认所预测的手势。4.根据权利要求1所述的扩展现实中通过手势的操作方法，进一步包括：响应于所述第二手势的所述识别结果，而隐藏所述第一交互对象。5.根据权利要求1所述的扩展现实中通过手势的操作方法，进一步包括：响应于所述第二手势的所述识别结果，而隐藏所述第一交互对象和所述第二交互对象。6.根据权利要求1所述的扩展现实中通过手势的操作方法，其中识别所述第一手势或所述第二手势的步骤包括：识别所述用户的右手和左手中的一个，且呈现所述第二交互对象的步骤包括：响应于识别所述右手，而呈现第一菜单；以及响应于识别所述左手，而呈现第二菜单，其中所述第二菜单与所述第一菜单不同，且所述第二交互对象包括所述第一菜单和所述第二菜单。7.根据权利要求6所述的扩展现实中通过手势的操作方法，其中所述第一菜单对应于快速设定菜单，且所述第二菜单对应于主菜单。8.根据权利要求1所述的扩展现实中通过手势的操作方法，其中所述第一手势是手掌向上手势，且所述第二手势是握拳手势。9.一种头戴式显示器系统，包括：图像传感器，捕获图像；显示器；以及处理器，耦接所述图像传感器和所述显示器，且配置成用于：识别由所述图像传感器捕获的第一图像中的第一手势，其中所述第一手势对应于用户的手；
响应于所述第一手势的识别结果，而在所述显示器上呈现虚拟手和位于交互区域上的第一交互对象，其中所述虚拟手做出所述第一手势；识别由所述图像传感器捕获的第二图像中的第二手势，其中所述第二手势对应于所述用户的手且与所述第一手势不同，且所述第二手势与所述交互区域中的所述第一交互对象交互；响应于所述第二手势的识别结果，而在所述显示器上呈现所述虚拟手和第二交互对象，其中所述虚拟手做出所述第二手势。10.根据权利要求9所述的头戴式显示器系统，其中所述处理器进一步配置成用于：从所述第一图像或所述第二图像识别所述用户的手的关节；以及通过手势分类器基于所述第一图像或所述第二图像以及所识别的所述用户的手的关节来预测所述用户的手的手势，其中通过机器学习算法来训练所述手势分类器。11.根据权利要求10所述的头戴式显示器系统，所述处理器进一步配置成用于：仅基于所述第一图像或所述第二图像且在没有所述所识别的所述用户的手的关节的情况下预测所述手势；以及基于所述所识别的所述用户的手的关节来确认所预测的手势。12.根据权利要求9所述的头戴式显示器系统，所述处理器进一步配置成用于：响应于所述第二手势的所述识别结果，而隐藏所述第一交互对象。13.根据权利要求9所述的头戴式显示器系统，所述处理器进一步配置成用于：响应于所述第二手势的所述识别结果，而隐藏所述第一交互对象和所述第二交互对象。14.根据权利要求9所述的头戴式显示器系统，所述处理器进一步配置成用于：识别所述用户的右手和左手中的一个，且呈现所述第二交互对象包括：响应于识别所述右手，而在所述显示器上呈现第一菜单；以及响应于识别所述左手，而在所述显示器上呈现第二菜单，其中所述第二菜单与所述第一菜单不同，且所述第二交互对象包括所述第一菜单和所述第二菜单。15.根据权利要求14所述的头戴式显示器系统，其中所述第一菜单对应于快速设定菜单，且所述第二菜单对应于主菜单。16.根据权利要求9所述的头戴式显示器系统，其中所述第一手势是手掌向上手势，且所述第二手势是握拳手势。
技术总结
本发明涉及一种扩展现实(XR)中通过手势的操作方法和头戴式显示器(HMD)系统。在方法中，在第一图像中识别第一手势。第一手势对应于用户的手。响应于第一手势的识别结果，而呈现虚拟手和位于交互区域上的第一交互对象。虚拟手做出第一手势。在第二图像中识别第二手势。第二手势对应于用户的手且与第一手势不同。第二手势与交互区域中的第一交互对象交互。响应于第二手势的识别结果，而在显示器上呈现虚拟手和第二交互对象。虚拟手做出第二手势。因此，提供直观手势控制。提供直观手势控制。提供直观手势控制。
技术研发人员：郭胜修
受保护的技术使用者：未来市股份有限公司
技术研发日：2020.12.21
技术公布日：2022/5/31