头戴式显示设备的虚拟键盘的显示方法、装置以及设备与流程

1.本技术实施例涉及虚拟键盘生成领域，特别是涉及一种头戴式显示设备的虚拟键盘的显示方法、装置、介质以及设备。


背景技术：

2.头戴式显示设备作为一种可通过语音或动作操控完成拍摄照片、拍摄视频、与朋友展开视频通话等功能的设备，可分为vr(virtual reality,虚拟现实)眼镜、ar(augmented reality，增强现实)眼镜和mr(mix reality，混合现实)眼镜等。但是，语音交互技术或者动作操控技术具有局限性，其只能通过人的声音命令单次断续地给头戴式显示设备发送命令，或者通过简单的动作来控制头戴式显示设备，无法满足控制信号快速、准确的输入。
3.一些头戴式显示设备中通过在预设位置显示虚拟键盘，使头戴式显示设备佩戴者可以在虚拟键盘上进行输入操作，但是，发明人在实现本发明的过程中发现，上述显示虚拟键盘的方法存在如下问题：由于先显示虚拟键盘，头戴式显示设备佩戴者再在虚拟键盘上进行输入操作，当头戴式显示设备佩戴者的手部不方便放置到虚拟键盘上时就无法对虚拟键盘进行操作。


技术实现要素：

4.为克服相关技术中存在的问题，本技术提供一种头戴式显示设备的虚拟键盘的显示方法、装置、系统、介质以及设备，可避免手部不方便放置到虚拟键盘上时无法对虚拟键盘进行操作的问题。
5.根据本技术实施例的第一方面，提供一种头戴式显示设备的虚拟键盘的显示方法，包括如下步骤：
6.获取头戴式显示设备视场内的现实环境的场景数据；
7.若所述现实环境中包含头戴式显示设备佩戴者的手部，根据所述场景数据确定所述佩戴者的手部在所述现实环境中的空间位置，在所述手部的空间位置的下方确定虚拟键盘的空间位置；
8.根据所述虚拟键盘的空间位置，在所述头戴式显示设备的视场中显示所述虚拟键盘。
9.根据本技术实施例的第二方面，提供一种头戴式显示设备的虚拟键盘的显示装置，包括：
10.场景数据获取模块，用于获取头戴式显示设备视场内的现实环境的场景数据；
11.空间位置确定模块，用于若所述现实环境中包含头戴式显示设备佩戴者的手部，根据所述场景数据确定所述佩戴者的手部在所述现实环境中的空间位置，在所述手部的空间位置的下方确定虚拟键盘的空间位置；
12.显示模块，用于根据所述虚拟键盘的空间位置，在所述头戴式显示设备的视场中
显示所述虚拟键盘。
13.根据本技术实施例的第三方面，提供一种计算机可读存储介质，其上储存有计算机程序，其特征在于，该计算机程序被处理器执行时实现如上述所述的头戴式显示设备的虚拟键盘的显示方法。
14.根据本技术实施例的第四方面，提供一种头戴式显示设备，包括眼镜主体、以及设置在眼镜主体上第一传感器、第二传感器、摄像装置、存储器和处理器；
15.所述眼镜主体包括框体和以及与该框体连接的两个镜腿，在所述框体上靠近佩戴者人眼的一侧设置有显示屏，以通过所述显示屏向头戴式显示设备佩戴者显示视场；
16.所述第一传感器用于获取头戴式显示设备佩戴者的位置和姿态，确定头戴式显示设备佩戴者的视场的现实环境范围；
17.所述摄像装置用于拍摄头戴式显示设备佩戴者视场下的现实环境图像；
18.所述第二传感器用于获取头戴式显示设备佩戴者视场下的场景图像的深度信息；其中，所述现实环境范围、现实环境图像以及深度信息为所述视场内的现实环境的场景数据；
19.所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述所述的头戴式显示设备的虚拟键盘的显示方法。
20.本技术实施例根据现实环境的场景数据，确定所述佩戴者的手部的空间位置，进而在所述手部的空间位置的下方确定虚拟键盘的空间位置，从而在所述头戴式显示设备的视场中显示虚拟键盘，避免手部不方便放置到虚拟键盘上时无法对虚拟键盘进行操作的问题，进而可实现跟随手部位置智能布置虚拟键盘。
21.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
22.为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
23.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1为本技术一个实施例示出的头戴式显示设备的虚拟键盘的显示方法的流程图；
25.图2为本技术另一个实施例示出的头戴式显示设备的虚拟键盘的显示方法的流程图；
26.图3为本技术又一个实施例示出的头戴式显示设备的虚拟键盘的显示方法的流程图；
27.图4为本技术一个实施例示出的重新确定虚拟键盘的空间位置的方法的流程图；
28.图5为本技术一个实施例示出佩戴者的左手为预设的敲击手势，右手不是预设的敲击手势时，虚拟键盘的显示示意图；
29.图6为本技术一个实施例示出佩戴者的两只手的手势均为预设的敲击手势时，虚
拟键盘的显示示意图；
30.图7为本技术另一个实施例示出佩戴者的两只手的手势均为预设的敲击手势时，虚拟键盘的显示示意图；
31.图8为本技术一个实施例示出的虚拟键盘的空间位置位于视场内时的显示示意图；
32.图9为本技术一个实施例示出的保持显示虚拟键盘的方法的流程图；
33.图10为本技术一个实施例示出的虚拟键盘的空间位置不在视场内时的显示示意图；
34.图11为本技术一个实施例示出的头戴式显示设备的虚拟键盘的显示装置的示意框图；
35.图12为本技术一个实施例示出的头戴式显示设备的结构示意图。
具体实施方式
36.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施例方式作进一步地详细描述。
37.应当明确，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
38.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
39.在本技术的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。在此所使用的词语“如果”/“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。此外，在本技术的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
40.为了更好的理解本技术的技术方案，下面将对一些技术中的头戴式显示设备进行说明。
41.一些技术中的头戴式显示设备在显示虚拟键盘时是在预设位置悬空显示虚拟键盘，使头戴式显示设备佩戴者可以在虚拟键盘上进行输入操作，这种方式显示的虚拟键盘的键盘形态和交互方式类似于传统的键盘，但是，发明人在实现本发明的过程中发现：当头戴式显示设备佩戴者的手不方便移动到虚拟键盘时，就无法操作虚拟键盘；而且头戴式显示设备佩戴者的手部悬空在虚拟键盘上操作，容易产生疲劳。
42.在另一些技术中的头戴式显示设备在显示虚拟键盘时是在头戴式显示设备佩戴
者手部所在的物体表面生成虚拟键盘，但是，发明人在实现本发明的过程中发现：当头戴式显示设备佩戴者没有接触物体或者在行走移动后手部没有接触物体时，就无法显示虚拟键盘。
43.为此，本发明提出了一种头戴式显示设备的虚拟键盘的显示方法。
44.本技术实施例示出的所述头戴式显示设备的虚拟键盘的显示方法的应用环境包括头戴式显示设备；所述头戴式显示设备可以为眼镜等，具体的，所述头戴式显示设备包括眼镜主体、以及设置在眼镜主体上第一传感器、第二传感器、摄像装置和处理器。
45.所述眼镜主体包括框体和以及与该框体连接的两个镜腿，在框体上靠近佩戴者人眼的一侧设置有显示屏，以向佩戴者显示视场。所述第一传感器可为imu(inertial measurement unit,惯性测量单元)传感器，其用于获取头戴式显示设备佩戴者的位置和姿态，确定头戴式显示设备佩戴者的视场的现实环境范围；所述摄像装置用于拍摄头戴式显示设备佩戴者视场下的现实环境图像；所述第二传感器可为tof(time of flight，飞行时间)传感器，其用于获取头戴式显示设备佩戴者视场下的场景图像的深度信息。具体的，通过imu传感器获取的头戴式显示设备佩戴者的位置和姿态、通过摄像装置拍摄的头戴式显示设备佩戴者视场下的现实环境图像以及通过tof感器获取头戴式显示设备佩戴者视场下的场景图像的深度信息，结合slam(simultaneous localization and mapping,同步定位与建图)算法，从而可以获得头戴式显示设备佩戴者所处的现实环境的三维模型，再在该三维模型中增加虚拟内容例如虚拟键盘，进而生成增强现实视场在所述眼镜主体的显示屏上进行显示。
46.所述处理器可以包括一个或者多个处理核心，其可以通过纯软件的方式实现本技术头戴式显示设备的虚拟键盘的显示方法，也可以采用软硬件结合的方式实现本技术头戴式显示设备的虚拟键盘的显示方法，如可以采用数字信号处理、现场可编程门阵列、可编程逻辑阵列中的至少一种硬件形式来实现；可集成中央处理器、图像处理器和调制解调器等中的一种或几种的组合。所述处理器单元可运行有用于头戴式显示设备的虚拟键盘的显示方法的应用程序，所述应用程序可以是以适应所述处理单元的形式呈现，例如可以是app应用程序，在一些例子中，还可以是以例如系统插件、网页插件等形式呈现。另外，头戴式显示设备的虚拟键盘的显示方法的应用环境还可以包括独立于头戴式显示设备的处理装置，所述处理装置通过与头戴式显示设备连接后，通过纯软件的方式实现本技术头戴式显示设备的虚拟键盘的显示方法，也可以采用软硬件结合的方式实现本技术头戴式显示设备的虚拟键盘的显示方法。
47.下面介绍一下本技术头戴式显示设备的虚拟键盘的显示方法的一些应用场景。
48.用户佩戴了头戴式显示设备后，将通过imu传感器获取的头戴式显示设备佩戴者的位置和姿态、通过摄像装置拍摄的头戴式显示设备佩戴者视场下的现实环境图像以及通过tof传感器获取头戴式显示设备佩戴者视场下的场景图像的深度信息，结合slam(simultaneous localization and mapping,同步定位与建图)算法以及增加的虚拟内容如微信、浏览器等，在所述眼镜主体的显示屏上显示增强现实后的视场。当头戴式显示设备佩戴者触发虚拟键盘的显示操作进入虚拟键盘输入模式时，如点击视场内的微信的输入框或者点击视场内的浏览器的输入框，或者语音唤出输入模式时，将在所述视场的手部下方位置显示虚拟键盘。进一步地，在显示所述虚拟键盘后，通过imu传感器获取的头戴式显示
设备佩戴者的位置和姿态、通过摄像装置拍摄的头戴式显示设备佩戴者视场下的现实环境图像以及通过tof感器获取头戴式显示设备佩戴者视场下的场景图像的深度信息，获取佩戴者头姿和/或体姿的变化，使虚拟键盘跟随头姿和/或体姿的变化而动态显示。
49.实施例1
50.下面将结合附图1至图10，对本技术实施例提供的头戴式显示设备的虚拟键盘的显示方法进行说明。
51.请参阅图1，本技术实施例提供的头戴式显示设备的虚拟键盘的显示方法，包括如下步骤：
52.步骤s110：获取头戴式显示设备视场内的现实环境的场景数据。
53.在一个实施例中，所述头戴式显示设备的视场为在所述头戴式显示设备的眼镜显示屏上显示的场景图像，该场景图像包括佩戴者所处的现实环境图像以及叠加的虚拟信息。
54.在一个实施例中，所述场景数据包括通过imu传感器获取的头戴式显示设备佩戴者的位置和姿态、通过摄像装置拍摄的头戴式显示设备佩戴者视场下的现实环境图像以及通过tof传感器获取头戴式显示设备佩戴者视场下的场景图像的深度信息。通过头戴式显示设备佩戴者的位置和姿态、头戴式显示设备佩戴者视场下的现实环境图像以及头戴式显示设备佩戴者视场下的场景图像的深度信息，结合slam(simultaneous localization and mapping,同步定位与建图)算法，从而可以获得头戴式显示设备佩戴者所处的现实环境的三维模型，进而在该三维模型中可以获得现实环境中手部的位置、姿势以及手部所处的周围环境等数据。为了方便说明，本技术实施例以下描述的现实环境均为头戴式显示设备佩戴者视场下的现实环境。
55.步骤s120：若所述现实环境中包含头戴式显示设备佩戴者的手部，根据所述场景数据确定所述佩戴者的手部在所述现实环境中的空间位置，在所述手部的空间位置的下方确定虚拟键盘的空间位置。
56.在一个实施例中，可以通过预设的手部识别方法，根据所述场景数据来确定所述现实环境中是否包含手部，如所述场景数据包括现实环境图像，可以根据所述现实环境图像确定所述现实环境是否包含手部。
57.在一个实施例中，可以通过现实环境的场景数据建立三维模型，在所述三维模型中确定坐标系，如可以在所述三维模型中选择任意一点作为原点，以该原点建立xyz坐标系，进而可确定所述佩戴者的手部在所述三维模型的空间位置、姿势以及手部所处的周围环境等位置，从而得到所述佩戴者的手部在所述现实环境中的空间位置，进一步地，可在三维模型中确定所述手部的空间位置的下方的空间位置，也即为所述虚拟键盘的空间位置。步骤s130：根据所述虚拟键盘的空间位置，在所述头戴式显示设备的视场中显示所述虚拟键盘。
58.在一个实施例中，所述头戴式显示设备的视场为在所述头戴式显示设备的眼镜显示屏上显示的场景图像，而所述场景图像一般为2d图像，且所述场景图像为根据所述现实环境的场景数据建立的三维模型通过映射获得的2d图像后，再叠加虚拟信息而确定的图像，可以理解的，在三维模型中任一空间位置，在2d图像也都有对应的位置，因此，在确定出所述虚拟键盘的空间位置，也即确定出所述虚拟键盘在所述三维模型中的位置后，就可以
确定出所述虚拟键盘在所述头戴式显示设备的视场中的显示位置，进而显示所述虚拟键盘。
59.本技术实施例根据现实环境的场景数据，确定所述佩戴者的手部的空间位置，进而在所述手部的空间位置的下方确定虚拟键盘的空间位置，从而在所述头戴式显示设备的视场中显示虚拟键盘，避免手部不方便放置到虚拟键盘上时无法对虚拟键盘进行操作的问题，进而可实现跟随手部位置智能布置虚拟键盘。
60.请参阅图2，在一个实施例中，步骤s120中所述若所述现实环境中包含头戴式显示设备佩戴者的手部，根据所述场景数据确定所述佩戴者的手部在所述现实环境中的空间位置，在所述手部的空间位置的下方确定虚拟键盘的空间位置，包括：
61.步骤s121：当所述佩戴者的手部悬空时，将所述佩戴者的手部下方的悬空位置确定为虚拟键盘的空间位置；
62.步骤s122：当所述佩戴者的手部下方接触物体表面时，将所述物体表面确定为虚拟键盘的空间位置。
63.根据所述佩戴者的手部的空间状态，自动切换虚拟键盘悬空显示或者在物体表面上进行显示，从而既可避免佩戴者手部长期悬空导致的疲劳，又可避免虚拟键盘必须依附于物体表面显示而带来的局限性，以使得在佩戴者因体姿和/或头姿变化如站着、躺着、坐着、仰视、俯视或平视等不同场景下，虚拟键盘都能跟随体姿和/或头姿变化进行显示。
64.请参阅图3，在上述实施例的基础上，步骤s130中所述根据所述虚拟键盘的空间位置，在所述头戴式显示设备的视场中显示所述虚拟键盘之后，还包括如下步骤：
65.步骤s140：实时获取头戴式显示设备视场内的现实环境的场景数据，若所述现实环境中包含头戴式显示设备佩戴者的手部，获取所述佩戴者的手部在所述现实环境的空间位置、所述虚拟键盘在所述现实环境的空间位置以及所述佩戴者的手部姿势。
66.步骤s150：根据所述佩戴者的手部在所述现实环境的空间位置、所述虚拟键盘在所述现实环境的空间位置以及所述佩戴者的手部姿势调整所述虚拟键盘的空间位置。
67.头戴式显示设备佩戴者的头部的移动会影响视场内的现实环境，而且佩戴者手部的移动也会影响其在视场内的现实环境的位置，进而改变虚拟键盘与手部的相对位置，进而使虚拟键盘并不在手部的下方，而导致佩戴者无法有效触发所述虚拟键盘，为此，需要实时根据所述佩戴者的手部在所述现实环境的空间位置、所述虚拟键盘在所述现实环境的空间位置以及所述佩戴者的手部姿势，调整所述虚拟键盘的空间位置，使佩戴者可以实时有效地触发所述虚拟键盘。
68.请继续参阅图3，在一个实施例中，在步骤s150中所述根据所述佩戴者的手部在所述现实环境的空间位置、所述虚拟键盘在所述现实环境的空间位置以及所述佩戴者的手部姿势调整所述虚拟键盘的空间位置，包括：
69.步骤s151：若所述佩戴者的手部位于所述虚拟键盘上，所述虚拟键盘保持显示不变。
70.所述佩戴者的手部位于所述虚拟键盘上，说明佩戴者很有可能仍然需要使用虚拟键盘，因此，所述虚拟键盘保持显示不变，以方便佩戴者使用虚拟键盘。
71.请继续参阅图3，在一个实施例中，在步骤s150中所述根据所述佩戴者的手部在所述现实环境的空间位置、所述虚拟键盘在所述现实环境的空间位置以及所述佩戴者的手部
姿势调整所述虚拟键盘的空间位置，包括：
72.步骤s152：若所述佩戴者的手部不在所述虚拟键盘上，但所述佩戴者的手部姿势为预设的敲键盘姿势，在所述手部的空间位置的下方重新确定虚拟键盘的空间位置，以根据重新确定的所述虚拟键盘的空间位置，在所述头戴式显示设备的视场中重新显示所述虚拟键盘。
73.所述佩戴者的手部姿势为预设的敲键盘姿势，说明佩戴者可能因为手部移动而离开了原虚拟键盘的位置，但仍需要继续使用虚拟键盘，因此，在所述手部的空间位置的下方重新确定虚拟键盘的空间位置，进而在所述头戴式显示设备的视场中重新显示所述虚拟键盘，以使手部位置发生变化后，仍然可以继续使用虚拟键盘。
74.请参阅图4，在上述实施例的基础上，在步骤s152中所述若所述佩戴者的手部不在所述虚拟键盘上，但所述佩戴者的手部姿势为预设的敲键盘姿势，在所述手部的空间位置的下方重新确定虚拟键盘的空间位置，包括：
75.步骤s1521：确定所述佩戴者的手部的空间位置和所述佩戴者的手部姿势；所述佩戴者的手部的空间位置包括第一手部空间位置和第二手部空间位置；所述佩戴者的手部姿势包括第一手部姿势和第二手部姿势。
76.其中，所述第一手部空间位置和所述第二手部空间位置为佩戴者左手和右手的空间位置，所述第一手部姿势和所述第二手部姿势为佩戴者左手和右手的姿势。
77.步骤s1522：在所述第一手部姿势为预设的敲键盘姿势，所述第二手部姿势不是预设的敲键盘姿势时，在所述第一手部空间位置的下方重新确定虚拟键盘的空间位置。
78.请参阅图5，所述第一手部姿势如佩戴者的左手为预设的敲键盘姿势，所述第二手部姿势如佩戴者的右手不是预设的敲键盘姿势时，则在所述第一手部空间位置如左手的下方重新确定虚拟键盘的空间位置，进而在左手的下方显示虚拟键盘。
79.步骤s1523：在所述第一手部姿势和所述第二手部姿势均是预设的敲键盘姿势时，根据所述第一手部空间位置和所述第二手部空间位置，计算所述第一手部空间位置和所述第二手部空间位置的间隔距离。
80.步骤s1524：在所述间隔距离未超过预设距离时，在所述第一部手部空间位置和所述第二手部空间位置的下方重新确定虚拟键盘的空间位置；其中，所述虚拟键盘的长度大于所述间隔距离。
81.请参阅图6，在所述第一手部姿势和所述第二手部姿势均是预设的敲键盘姿势且两个手较近时，则在两手的下方显示一个虚拟键盘。
82.步骤s1525：在所述间隔距离超过预设距离时，在所述第一手部空间位置的下方重新确定第一虚拟键盘，在所述第二手部空间位置的下方重新确定第二虚拟键盘。
83.其中，所述第一虚拟键盘和第二虚拟键盘的大小形状可以相同，也可以不相同，所述头戴式显示设备通过同时获取所述第一虚拟键盘和第二虚拟键盘传输的数据执行对应的指令。请参阅图7，在所述第一手部姿势和所述第二手部姿势均是预设的敲键盘姿势且两个手较远时，则在两手的下方分别显示了一个虚拟键盘。
84.本技术实施例根据佩戴者的手部姿势和手部位置智能显示虚拟键盘，从而可以适应于各种不同的应用场景。
85.请参阅图3，在一个实施例中，步骤s150中所述根据所述佩戴者的手部在所述现实
环境的空间位置、所述虚拟键盘在所述现实环境的空间位置以及所述佩戴者的手部姿势调整所述虚拟键盘的空间位置，包括：
86.步骤s153：若所述佩戴者的手部不在所述虚拟键盘上，所述佩戴者的手部姿势不是预设的敲键盘姿势，但所述虚拟键盘的空间位置位于所述视场内，所述虚拟键盘保持显示不变。
87.所述虚拟键盘的空间位置位于所述视场内，说明佩戴者可能在思考或者让手部休息，但仍可能继续使用虚拟键盘，因此，所述虚拟键盘保持显示不变，以使用户可以根据需要继续使用虚拟键盘。具体请参阅图8，所述佩戴者的手部不在所述虚拟键盘上，所述佩戴者的手部姿势不是预设的敲键盘姿势，但所述虚拟键盘的空间位置位于所述视场内，则所述虚拟键盘保持显示不变。
88.请参阅图9，在上述实施例的基础上，在步骤s153中所述若所述佩戴者的手部不在所述虚拟键盘上，所述佩戴者的手部姿势不是预设的敲键盘姿势，但所述虚拟键盘所在的空间位置位于所述视场内，所述虚拟键盘保持显示不变，包括：
89.步骤s1531：若所述虚拟键盘的空间位置全部位于所述视场内，所述虚拟键盘保持显示不变。
90.步骤s1532：若所述虚拟键盘的空间位置部分位于所述视场内，确定位于所述视场内的所述虚拟环境的部分空间位置，在所述视场内显示部分所述虚拟键盘。
91.当佩戴者的头姿变化幅度较小，使得显示的虚拟键盘未脱离佩戴者视场时，所述虚拟键盘保持显示不变，但是，当佩戴者的头姿移动幅度较大，使得显示的虚拟键盘部分脱离佩戴者视场时，只显示在视场内的虚拟键盘，而且随着脱离现场的增多或减少而动态调整虚拟键盘的渲染显示范围，以适应佩戴者头姿的变化智能显示虚拟键盘，
92.在上述实施例的基础上，在步骤s153中所述若所述佩戴者的手部不在所述虚拟键盘上，所述佩戴者的手部姿势不是预设的敲键盘姿势，但所述虚拟键盘所在的空间位置位于所述视场内，所述虚拟键盘保持显示不变之后，还包括：在所述虚拟键盘上距离所述佩戴者的手部最近的一侧，显示关闭所述虚拟键盘的虚拟按键，以方便用户快捷关闭虚拟键盘。
93.请继续参阅图3，在一个实施例中，步骤s150中所述根据所述佩戴者的手部在所述现实环境的空间位置、所述虚拟键盘在所述现实环境的空间位置以及所述佩戴者的手部姿势调整所述虚拟键盘的空间位置，包括：
94.步骤s154：若所述佩戴者的手部不在所述虚拟键盘上，所述佩戴者的手部姿势不是预设的敲键盘姿势，而且所述虚拟键盘的空间位置不在所述视场内，停止显示所述虚拟键盘。
95.若所述佩戴者的手部不在所述虚拟键盘上，所述佩戴者的手部姿势不是预设的敲键盘姿势，而且所述虚拟键盘的空间位置不在所述视场内，说明此时佩戴者不需要使用虚拟键盘，因此智能停止显示所述虚拟键盘，具体请参阅图10，所述佩戴者的手部不在所述虚拟键盘上，所述佩戴者的手部姿势不是预设的敲键盘姿势，而且所述虚拟键盘的空间位置不在所述视场内，则仅仅显示手部而不显示虚拟键盘。
96.在一个实施例中，所述根据所述虚拟键盘的空间位置，在所述头戴式显示设备的视场中显示所述虚拟键盘之后，还包括如下步骤：实时获取头戴式显示设备视场内的现实环境的场景数据，若通过所述场景数据判断获取的现实环境中不包含头戴式显示设备佩戴
者的手部，提示头戴式显示设备佩戴者追踪手部位置失败的信息。
97.在一个实施例中，所述若所述现实环境中不包含头戴式显示设备佩戴者的手部，则重新获取头戴式显示设备视场内的现实环境的场景数据，继续判断获取的显示环境中是否包含头戴式显示设备佩戴者的手部，若在设定时间内获取的现实环境中均不包含头戴式显示设备佩戴者的手部，提示头戴式显示设备佩戴者追踪手部位置失败的信息。
98.实施例2
99.下述为本技术装置实施例，可以用于执行本技术实施例1中方法的内容。对于本技术装置实施例中未披露的细节，请参照本技术实施例1中方法的内容。
100.请参阅图11，本技术实施例提供的头戴式显示设备的虚拟键盘的显示装置200，包括：
101.场景数据获取模块210，用于获取头戴式显示设备视场内的现实环境的场景数据；
102.空间位置确定模块220，用于若所述现实环境中包含头戴式显示设备佩戴者的手部，根据所述场景数据确定所述佩戴者的手部在所述现实环境中的空间位置，在所述手部的空间位置的下方确定虚拟键盘的空间位置；
103.显示模块230，用于根据所述虚拟键盘的空间位置，在所述头戴式显示设备的视场中显示所述虚拟键盘。
104.本技术实施例根据现实环境的场景数据，确定所述佩戴者的手部的空间位置，进而在所述手部的空间位置的下方确定虚拟键盘的空间位置，从而在所述头戴式显示设备的视场中显示虚拟键盘，避免手部不方便放置到虚拟键盘上时无法对虚拟键盘进行操作的问题，进而可实现跟随手部位置智能布置虚拟键盘。
105.在一个实施例中，所述空间位置确定模块230包括：
106.第一位置确定模块，用于当所述佩戴者的手部悬空时，将所述佩戴者的手部下方的悬空位置确定为虚拟键盘的空间位置；
107.第二位置确定模块，用于当所述佩戴者的手部下方接触物体表面时，将所述物体表面确定为虚拟键盘的空间位置。
108.根据所述佩戴者的手部的空间状态，自动切换虚拟键盘悬空显示或者在物体表面上进行显示，从而既可避免佩戴者手部长期悬空导致的疲劳，又可避免虚拟键盘必须依附于物体表面显示而带来的局限性，可适应于不同场景和需求下的虚拟键盘的操作。
109.在上述实施例的基础上，所述头戴式显示设备的虚拟键盘的显示装置200还包括：
110.数据获取模块，用于实时获取头戴式显示设备视场内的现实环境的场景数据，若所述现实环境中包含头戴式显示设备佩戴者的手部，获取所述佩戴者的手部在所述现实环境的空间位置、所述虚拟键盘在所述现实环境的空间位置以及所述佩戴者的手部姿势。
111.位置调整确定模块，用于根据所述佩戴者的手部在所述现实环境的空间位置、所述虚拟键盘在所述现实环境的空间位置以及所述佩戴者的手部姿势调整所述虚拟键盘的空间位置。
112.头戴式显示设备佩戴者的头部的移动会影响视场内的现实环境，而且佩戴者手部的移动也会影响其在视场内的现实环境的位置，进而改变虚拟键盘与手部的相对位置，进而使虚拟键盘并不在手部的下方，而导致佩戴者无法有效触发所述虚拟键盘，为此，需要实时根据所述佩戴者的手部在所述现实环境的空间位置、所述虚拟键盘在所述现实环境的空
间位置以及所述佩戴者的手部姿势，调整所述虚拟键盘的空间位置，使佩戴者可以实时有效地触发所述虚拟键盘。
113.在一个实施例中，所述位置调整确定模块包括
114.第一显示保持模块，用于若所述佩戴者的手部位于所述虚拟键盘上，所述虚拟键盘保持显示不变。
115.所述佩戴者的手部位于所述虚拟键盘上，说明佩戴者很有可能仍然需要使用虚拟键盘，因此，所述虚拟键盘保持显示不变，以方便佩戴者使用虚拟键盘。
116.在一个实施例中，所述位置调整确定模块包括：
117.第一位置调整确定模块，用于若所述佩戴者的手部不在所述虚拟键盘上，但所述佩戴者的手部姿势为预设的敲键盘姿势，在所述手部的空间位置的下方重新确定虚拟键盘的空间位置，以根据重新确定的所述虚拟键盘的空间位置，在所述头戴式显示设备的视场中重新显示所述虚拟键盘。
118.所述佩戴者的手部姿势为预设的敲键盘姿势，说明佩戴者可能因为手部移动而离开了原虚拟键盘的位置，但仍需要继续使用虚拟键盘，因此，在所述手部的空间位置的下方重新确定虚拟键盘的空间位置，进而在所述头戴式显示设备的视场中重新显示所述虚拟键盘，以使得在佩戴者的手部位置发生变化时，仍然可以继续使用虚拟键盘。
119.在上述实施例的基础上，所述第一位置调整确定模块包括：
120.手部位置和姿势确定模块，用于确定所述佩戴者的手部的空间位置和所述佩戴者的手部姿势；所述佩戴者的手部的空间位置包括第一手部空间位置和第二手部空间位置；所述佩戴者的手部姿势包括第一手部姿势和第二手部姿势。
121.第一空间位置调整确定模块，用于在所述第一手部姿势为预设的敲键盘姿势，所述第二手部姿势不是预设的敲键盘姿势时，在所述第一手部空间位置的下方重新确定虚拟键盘的空间位置。
122.距离计算模块，用于在所述第一手部姿势和所述第二手部姿势均是预设的敲键盘姿势时，根据所述第一手部空间位置和所述第二手部空间位置，计算所述第一手部空间位置和所述第二手部空间位置的间隔距离。
123.第二空间位置调整确定模块，用于在所述间隔距离未超过预设距离时，在所述第一部手部空间位置和所述第二手部空间位置的下方重新确定虚拟键盘的空间位置；其中，所述虚拟键盘的长度大于所述间隔距离。
124.第三空间位置调整确定模块，用于在所述间隔距离超过预设距离时，在所述第一手部空间位置的下方重新确定第一虚拟键盘，在所述第二手部空间位置的下方重新确定第二虚拟键盘。
125.本技术实施例根据佩戴者的手部姿势和手部位置智能显示虚拟键盘，从而可以适应于各种不同的应用场景。
126.在一个实施例中，所述位置调整确定模块包括：
127.第二显示保持模块；所述第二显示保持模块用于若所述佩戴者的手部不在所述虚拟键盘上，所述佩戴者的手部姿势不是预设的敲键盘姿势，但所述虚拟键盘的空间位置位于所述视场内，所述虚拟键盘保持显示不变。
128.所述虚拟键盘的空间位置位于所述视场内，说明佩戴者可能在思考或者让手部休
息，但仍可能继续使用虚拟键盘，因此，所述虚拟键盘保持显示不变，以使用户可以根据需要继续使用虚拟键盘。
129.在上述实施例的基础上，所述第二显示保持模块包括用于：若所述虚拟键盘的空间位置全部位于所述视场内，所述虚拟键盘保持显示不变；若所述虚拟键盘的空间位置部分位于所述视场内，确定位于所述视场内的所述虚拟环境的部分空间位置，在所述视场内显示部分所述虚拟键盘。当佩戴者的头姿变化幅度较小，使得显示的虚拟键盘未脱离佩戴者视场时，所述虚拟键盘保持显示不变，但是，当佩戴者的头姿移动幅度较大，使得显示的虚拟键盘部分脱离佩戴者视场时，只显示在视场内的虚拟键盘，而且随着脱离现场的增多或减少而动态调整虚拟键盘的渲染显示范围，以适应佩戴者头姿的变化智能显示虚拟键盘。
130.在上述实施例的基础上，所述第二显示保持模块还包括用于：在所述虚拟键盘上距离所述佩戴者的手部最近的一侧，显示关闭所述虚拟键盘的虚拟按键，以方便用户快捷关闭虚拟键盘。
131.在一个实施例中，所述位置调整确定模块包括：
132.停止显示模块，所述停止显示模块用于若所述佩戴者的手部不在所述虚拟键盘上，所述佩戴者的手部姿势不是预设的敲键盘姿势，而且所述虚拟键盘的空间位置不在所述视场内，停止显示所述虚拟键盘。
133.若所述佩戴者的手部不在所述虚拟键盘上，所述佩戴者的手部姿势不是预设的敲键盘姿势，而且所述虚拟键盘的空间位置不在所述视场内，说明此时佩戴者不需要使用虚拟键盘，因此智能停止显示所述虚拟键盘。
134.在一个实施例中，所述头戴式显示设备的虚拟键盘的显示装置200还包括第一提示模块，所述第一提示模块用于实时获取头戴式显示设备视场内的现实环境的场景数据，若通过所述场景数据判断获取的现实环境中不包含头戴式显示设备佩戴者的手部，提示头戴式显示设备佩戴者追踪手部位置失败的信息。
135.在一个实施例中，所述头戴式显示设备的虚拟键盘的显示装置200还包括第二提示模块，所述第二提示模块用于：若通过所述场景数据判断获取的现实环境中不包含头戴式显示设备佩戴者的手部，则重新获取头戴式显示设备视场内的现实环境的场景数据，继续判断获取的显示环境中是否包含头戴式显示设备佩戴者的手部，若在设定时间内获取的现实环境中均不包含头戴式显示设备佩戴者的手部，提示头戴式显示设备佩戴者追踪手部位置失败的信息。
136.实施例3
137.下述为本技术设备实施例，可以用于执行本技术实施例1中方法的内容。对于本技术设备实施例中未披露的细节，请参照本技术实施例1中方法的内容。
138.请参阅图12，本技术还提供一种头戴式显示设备300，包括眼镜主体310、以及设置在眼镜主体310上第一传感器320、第二传感器330和摄像装置340；所述眼镜主体310包括框体和以及与该框体连接的两个镜腿，在所述框体上靠近佩戴者人眼的一侧设置有显示屏，以通过所述显示屏向头戴式显示设备佩戴者显示视场；所述第一传感器320用于获取头戴式显示设备佩戴者的位置和姿态，确定头戴式显示设备佩戴者的视场的现实环境范围；所述摄像装置340用于拍摄头戴式显示设备佩戴者视场下的现实环境图像；所述第二传感器
330用于获取头戴式显示设备佩戴者视场下的场景图像的深度信息。所述头戴式显示设备还可以包括：至少一个处理器、至少一个存储器，至少一个网络接口，用户接口以及至少一个通信总线。
139.其中，所述用户接口主要用于为用户提供输入的接口，获取用户输入的数据。可选的，所述用户接口还可以包括标准的有线接口、无线接口。
140.其中，所述网络接口可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。
141.其中，所述通信总线用于实现这些组件之间的连接通信。
142.其中，所述处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个头戴式显示设备的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行头戴式显示设备的各种功能和处理数据。可选的，处理器可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field-programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示层所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器中，单独通过一块芯片进行实现。
143.其中，存储器可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory)。可选的，该存储器包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器可用于存储指令、程序、代码、代码集或指令集。存储器可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器可选的还可以是至少一个位于远离前述处理器的存储装置。作为一种计算机存储介质的存储器中可以包括操作系统、网络通信模块、用户。
144.所述处理器可以用于调用所述存储器中存储的头戴式显示设备的虚拟键盘的显示方法的应用程序，并执行头戴式显示设备的虚拟键盘的显示方法步骤，具体执行过程可以参见实施例1所示的具体说明，在此不进行赘述。
145.实施例4
146.本技术还提供一种计算机可读存储介质，其上储存有计算机程序，所述指令适于由处理器加载并执行上述所示实施例1的方法步骤，具体执行过程可以参见实施例1所示的具体说明，在此不进行赘述。所述存储介质所在设备可以是个人计算机、笔记本电脑、智能手机、平板电脑等电子设备。
147.对于设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的，其中所述作为分离部件说明的组件可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本技术方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
148.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
149.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中选定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中选定的功能。
150.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中选定的功能的步骤。
151.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
152.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
153.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
154.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
155.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、
改进等，均应包含在本技术的权利要求范围之内。