用于虚拟键盘的显示方法和装置与流程

本公开涉及信息输入，尤其是一种用于虚拟键盘的显示方法、装置、计算机可读介质、电子设备、计算机程序产品和头戴显示设备。

背景技术：

1、目前常用的信息输入方式包括通过实体键盘输入或通过虚拟键盘输入。其中，虚拟键盘主要应用于ar(augmented reality，增强现实)和vr(virtual reality，虚拟现实技术)等设备中的信息输入。在信息输入过程中，通常是将虚拟键盘投射在眼睛前方，通过手势识别按压的虚拟键盘进行人机交互，实现信息的输入。

技术实现思路

1、本公开的实施例提供了一种用于虚拟键盘的显示方法、装置、计算机可读介质、电子设备、计算机程序产品和头戴显示设备。

2、根据本公开实施例的一个方面，提供了一种用于虚拟键盘的显示方法，包括：

3、识别当前帧图像中的手势；响应于当前帧图像中的手势与预设手势类别存在匹配，确定与预设手势类别对应的虚拟键盘布局；根据采集的手部图像序列，获取手部关键点信息；其中，手部图像序列包括从当前帧图像向前至少一帧的时序手部图像；手部关键点信息包括各个手部关键点的空间位置信息，手部关键点包括用于表征指尖、指关节和手腕所在位置的至少一个点；虚拟键盘布局包括：虚拟键盘的布局样式、以及布局样式中表征各个虚拟按键的定位点与除拇指外的其余手指上对应的手部关键点的绑定关系；根据手部关键点信息与虚拟键盘布局，对虚拟键盘布局中各虚拟按键在至少一个深度上进行渲染，以使虚拟键盘在手部叠加显示。

4、根据本公开实施例的一个方面，提供了一种用于虚拟键盘的显示装置，包括：

5、识别模块，用于识别当前帧图像中的手势；确定模块，用于响应于当前帧图像中的手势与预设手势类别存在匹配，确定与预设手势类别对应的虚拟键盘布局；获取模块，用于根据采集的手部图像序列，获取手部关键点信息；其中，手部图像序列包括从当前帧图像向前至少一帧的时序手部图像；手部关键点信息包括各个手部关键点的空间位置信息，手部关键点包括用于表征指尖、指关节和手腕所在位置的至少一个点；虚拟键盘布局包括：虚拟键盘的布局样式、以及布局样式中表征各个虚拟按键的定位点与除拇指外的其余手指上对应的手部关键点的绑定关系；渲染模块，根据手部关键点信息与所述虚拟键盘布局，对虚拟键盘布局中各虚拟按键在至少一个深度上进行渲染，以使虚拟键盘在手部叠加显示。

6、根据本公开实施例的一个方面，提供了一种计算机可读存储介质，存储介质存储有计算机程序指令，计算机程序指令在被处理器运行时执行上述用于虚拟键盘的显示方法。

7、根据本公开实施例的一个方面，提供了一种头戴显示设备，头戴显示设备包括上述用于虚拟键盘的显示装置。

8、根据本公开实施例的一个方面，提供了一种计算机程序产品，包括计算机程序指令，计算机程序指令被处理器执行时实现上述用于虚拟键盘的显示方法。

9、根据本公开实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储器，其上存储有一个或多个计算机程序指令；在一个或多个计算机程序指令被一个或多个处理器执行的情况下，一个或多个处理器实现上述用于虚拟键盘的显示方法。

10、下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

技术特征：

1.一种用于虚拟键盘的显示方法，包括：

2.根据权利要求1所述的方法，其中，所述根据所述手部图像序列，获取手部关键点信息，包括：

3.根据权利要求1所述的方法，其中，所述根据所述手部图像序列，获取手部关键点信息，包括：

4.根据权利要求1所述的方法，其中，还包括：

5.根据权利要求4所述的方法，其中，所述响应于检测到指定手部关键点与任一虚拟按键之间的距离小于预设阈值，确定发生针对所述虚拟按键的点击事件，包括：

6.根据权利要求4所述的方法，其中，所述响应于检测到指定手部关键点与任一虚拟按键之间的距离小于预设阈值，确定发生针对所述虚拟按键的点击事件，包括：

7.根据权利要求1所述的方法，其中，还包括：

8.根据权利要求4至6中任一项所述的方法，其中，还包括：

9.根据权利要求1所述的方法，其中，所述响应于所述当前帧图像中的手势与预设手势类别存在匹配，确定与所述预设手势类别对应的虚拟键盘布局，包括：

10.根据权利要求1所述的方法，其中，还包括：

11.根据权利要求10所述的方法，其中，所述响应于检测到满足结束渲染条件，结束对各虚拟按键的渲染，包括：

12.根据权利要求1所述的方法，其中，所述布局样式中表征各个虚拟按键的定位点与除拇指外的其余手指上对应的手部关键点的绑定关系包括以下至少一项：

13.一种用于虚拟键盘的显示装置，包括：

14.一种计算机可读存储介质，所述存储介质存储有计算机程序指令，所述计算机程序指令在被处理器运行时执行上述权利要求1至12任一项所述的用于虚拟键盘的显示方法。

15.一种头戴显示设备，所述头戴显示设备包括：权利要求13所述的用于虚拟键盘的显示装置。

16.一种计算机程序产品，包括计算机程序指令，所述计算机程序指令被处理器执行时，实现上述权利要求1至12中任一项所述的用于虚拟键盘的显示方法。

17.一种电子设备，包括：

技术总结
本申请公开了一种用于虚拟键盘的显示方法、装置、计算机可读介质、电子设备、计算机程序产品和头戴显示设备，其中方法包括：识别当前帧图像中的手势；响应于当前帧图像中的手势与预设手势类别存在匹配，确定与预设手势类别对应的虚拟键盘布局；以及，根据采集的手部图像序列，获取手部关键点信息；根据手部关键点信息与虚拟键盘布局，对虚拟键盘布局中各虚拟按键在至少一个深度上进行渲染，以使虚拟键盘在手部叠加显示。

技术研发人员：徐健,王志成,吴克艰
受保护的技术使用者：闪耀现实（无锡）科技有限公司
技术研发日：
技术公布日：2024/1/25