扩展现实中通过手势的操作方法和头戴式显示器系统与流程

1.本公开大体上涉及虚拟模拟，特定来说，涉及一种通过扩展现实(extended reality；xr)中的手势的操作方法和头戴式显示器系统。


背景技术：

2.现今流行用于模拟感觉、感知和/或环境的扩展现实(xr)技术，例如虚拟现实(virtual reality；vr)、增强现实(augmented reality；ar)以及混合现实(mixed reality；mr)。前述技术可应用于多个领域中，例如游戏、军事训练、医疗保健、远程工作等。
3.在xr中，当用户佩戴头戴式显示器(head-mounted display；hmd)时，用户可使用他的/她的手做出手势且进一步触发特定功能。所述功能可与硬件或软件控制相关。用户使用他的/她的手来控制头戴式显示器系统是容易的。


技术实现要素：

4.部分手势可能不够直觉地来触发功能。因此，本公开涉及一种xr中通过手势的操作方法和头戴式显示器系统，以提供直观手势控制。
5.在示范性实施例中的一个中，一种xr中通过手势的操作方法包含但不限于以下步骤。在第一图像中识别第一手势。第一手势对应于用户的手。响应于第一手势的识别结果，而呈现虚拟手和位于交互区域上的第一交互对象。虚拟手做出第一手势。在第二图像中识别第二手势。第二手势对应于用户的手且与第一手势不同。第二手势与交互区域中的第一交互对象交互。响应于第一手势和第二手势的识别结果，而在显示器上呈现虚拟手和第二交互对象。虚拟手做出第二手势。虚拟手的数目可以是一个或两个。虚拟手可以是xr中的全身或半身虚拟化身的手。
6.在示范性实施例中的一个中，一种头戴式显示器系统包含但不限于图像传感器、显示器以及处理器。图像传感器捕获图像。处理器耦接图像传感器和显示器。处理器配置成进行以下步骤。处理器识别由图像传感器捕获的第一图像中的第一手势。第一手势对应于用户的手。处理器响应于第一手势的识别结果，而在显示器上呈现虚拟手和位于交互区域上的第一交互对象。虚拟手做出第一手势。处理器识别由图像传感器捕获的第二图像中的第二手势。第二手势对应于用户的手且与第一手势不同，且第二手势与交互区域中的第一交互对象交互。处理器响应于第一手势和第二手势的识别结果，而在显示器上呈现虚拟手和第二交互对象。虚拟手做出第二手势。虚拟手的数目可以是一个或两个。虚拟手可以是xr中的全身或半身虚拟化身的手。
7.基于上述，依据本发明实施例的xr中通过手势的操作方法和头戴式显示器系统，在两张图像中识别连续的两个手势，且手势组合可触发显示器呈现不同交互对象。此外，提供交互对象以进一步与虚拟手互动。藉此，提供方便且有趣的方式控制头戴式显示器系统。
8.然而，应理解，这一发明内容可能不含有本公开的所有方面和实施例，不意图以任何方式具有限制性或局限性，且如本文中所公开的发明由且将由本领域普通技术人员理解
为涵盖对其所作的明显改进和修改。
附图说明
9.包含附图以提供对本公开的进一步理解，且附图并入本说明书中并构成本说明书的一部分。附图示出本公开的实施例，且与描述一起用来解释本公开的原理。
10.图1是示出根据本公开的示范性实施例中的一个的头戴式显示器系统的方块图；
11.图2是示出根据本公开的示范性实施例中的一个的通过扩展现实(xr)中的手势的操作方法的流程图；
12.图3是示出根据本公开的示范性实施例中的一个的手势分类器的预测的示意图；
13.图4a和图4b是示出根据本公开的示范性实施例中的一个的通过手势触发交互对象的示意图；
14.图5a和图5b是示出根据本公开的示范性实施例中的一个的通过手势触发交互对象的示意图；
15.图6a和图6b是示出根据本公开的示范性实施例中的一个的通过手势触发交互对象的示意图。
16.附图标号说明
17.100：头戴式显示器系统；
18.110：存储器；
19.120：显示器；
20.130：图像传感器；
21.150：处理器；
22.io1、io3：虚拟球；
23.io2：主菜单；
24.io4：快速设定菜单；
25.j：所识别的手关节；
26.lh：虚拟左手；
27.om：图像；
28.rh：虚拟右手；
29.s210、s230、s250、s270、s301、s302：步骤。
具体实施方式
30.现将详细参考本发明的优选实施例，其实例在附图中示出。只要可能，相同附图标号在附图和描述中用以指代相同或相似部分。
31.图1是示出根据本公开的示范性实施例中的一个的头戴式显示器系统100的方块图。参考图1，头戴式显示器(hmd)系统100包含但不限于存储器110、显示器120、图像传感器130以及处理器。hmd系统100适于xr或其它现实模拟相关技术。
32.存储器110可以是任何类型的固定或可移动随机存取存储器(random-access memory；ram)、只读存储器(read-only memory；rom)、快闪存储器、类似装置或以上装置的组合。存储器110记录程序代码、装置配置、缓冲器数据或永久数据(例如图像、手势分类器、
预定义手势或设定)，且稍后将介绍这些数据。
33.显示器120可以是lcd、led显示器或oled显示器。
34.图像传感器130可以是相机(例如单色相机或彩色相机)、深相机、录像机或能够捕获图像的其它图像传感器。
35.处理器150耦接存储器110、显示器120以及图像传感器130。处理器150配置成加载存储在存储器110中的程序代码，以进行本公开的示范性实施例的程序。
36.在一些实施例中，处理器150可以是中央处理单元(central processing unit；cpu)、微处理器、微控制器、图形处理单元(graphics processing unit；gpu)、数字信号处理(digital signal processing；dsp)芯片、现场可编程门阵列(field-programmable gate array；fpga)。处理器150的功能也可由独立电子装置或集成电路(integrated circuit；ic)实施，且处理器150的操作也可通过软件来实施。
37.在一个实施例中，hmd或数字眼镜包含存储器110、显示器120、图像传感器130以及处理器150。在一些实施例中，处理器150可不与显示器120和/或图像传感器130安置在同一设备中。然而，分别配备有显示器120、图像传感器130以及处理器150的设备可进一步包含具有兼容通信技术(例如蓝牙(bluetooth)、wi-fi以及ir无线通信)的通信收发器或物理传输线以彼此传输或接收数据。举例来说，处理器150可安置在hmd中，而图像传感器130安置在hmd外部。对于另一实例，处理器150可安置在计算装置中，而显示器120安置在计算装置外部。
38.为了更好地理解在本公开的一个或多个实施例中提供的操作过程，将在下文举例说明若干实施例以详细解释头戴式显示器系统100。在以下实施例中应用系统100中的装置和模块以解释本文中提供的xr中通过手势的操作方法。方法的每一步骤可根据实际实施情况调整且不应限于本文中所描述的内容。
39.图2是示出根据本公开的示范性实施例中的一个的通过扩展现实(xr)中的手势的操作方法的流程图。参考图2，处理器150可识别由图像传感器130捕获的第一图像中的第一手势(步骤s210)。具体来说，第一手势是预定义手势，例如手掌向上、手掌向下、挥手或握拳手势。第一手势对应于用户的手。首先，处理器150可识别图像中的手。接着，处理器150可识别第一图像中的由用户的手做出的手势，且比较所识别的手势是否是预定义第一手势。
40.在一个实施例中，处理器150可从第一图像识别用户的手的关节，且通过手势分类器基于第一图像和所识别的用户的手的关节来预测用户的手的手势。具体来说，手关节的位置与手势有关。此外，图像中的轮廓、大小、纹理、形状以及其它特征与手势有关。设计者可准备包含预定义手势的大量图像作为训练样本，且使用训练样本通过配置有手势识别功能的机器学习算法(例如深度学习、人工神经网络(artificial neural network；ann)或支持向量机(support vector machine；svm))来训练手势分类器。此外，在这些训练样本中识别手关节，且手关节将是用以训练相同手势分类器或另一手势分类器的另一训练样本。接着，训练后的手势分类器可用于确定在输入图像中做出哪个手势。
41.在一些实施例中，处理器150可仅基于第一图像且在没有所识别的用户的手的关节的情况下预测手势，且接着基于所识别的用户的手的关节来确认所预测的手势。举例来说，图3是示出根据本公开的示范性实施例中的一个的手势分类器的预测的示意图。参考图3，如果将包含手势的图像om输入到手势分类器中，那么将从图像om提取特征(步骤s301，
即，特征提取)。举例来说，在步骤s301中，处理器150对包含图像om的像素值的滤波器与对应内核进行卷积计算，以输出特征图。特征可以是纹理、拐角、边缘或形状。接着，处理器150可对从步骤s301提取的特征(例如特征图)进行分类(步骤s302，即，分类)。应注意，一个手势分类器可配置有一个或多个标签(即，在这个实施例中，一个或多个手势)。手势分类器可输出所确定的手势。
42.在仅基于图像om确定一个或多个手势之后，将把具有所识别的手关节j的图像om输入到同一或另一手势分类器中。类似地，处理器150可对具有所识别的手关节j的图像om进行特征提取(步骤s301)和分类(步骤s302)，以输出所确定的手势。使用随后确定的手势来检查首先确定的手势的正确性。举例来说，如果两个所确定的手势相同，那么处理器150可确认手势。如果所确定的手势不同，那么处理器150可确定另一图像中的手势。
43.在一个实施例中，处理器150可进一步识别用户的右手和左手。这意味着处理器150知道哪只手做出手势或由图像传感器130捕获(即，手位于图像传感器130的视场(field of view；fov)内)。在一些实施例中，处理器150可分别针对用户的右手和左手定义不同预定义手势或相同预定义手势。举例来说，一个功能将通过右手或左手的拇指向上手势触发。对于另一实例，另一功能将通过右手的食指向上手势触发，但同一功能将通过左手的小指向上手势触发。
44.应注意，仍存在大量手势识别算法，例如，基于3d模型的算法、基于骨骼的算法、基于外观的模型或基于肌电图的模型。那些算法可针对实际要求实施。
45.处理器150可响应于第一手势的识别结果，而在显示器120上呈现虚拟手和位于交互区域上的第一交互对象(步骤s230)。具体来说，如果识别结果是第一图像中的手势与第一手势相同，那么对应于用户的手的虚拟手将做出第一手势。处理器150可在显示器120上呈现做出第一手势的虚拟手，使得用户可知道他/她是否做出正确手势。然而，如果第一图像的所识别的手势不是第一手势，那么处理器150仍可在显示器120上呈现所识别的手势。此外，使用第一手势来触发显示器120展示第一交互对象。这意味着第一交互对象可能并不在显示器120上展示，直到用户做出第一手势。第一交互对象可以是图像、视频、虚拟球或其它虚拟对象。第一交互对象位于虚拟手或虚拟化身的手的交互区域上。这意味着虚拟手的手指、手掌或其它部分可能够与位于交互区域中的任何对象交互。举例来说，手指可触摸虚拟按键，或手掌可抓握交互区域中的虚拟球。应注意，可基于实际要求来修改交互区域的形状和方位。此外，虚拟手的数目可以是一个或两个。虚拟手可以是xr中的全身或半身虚拟化身的手。
46.在一个实施例中，使用第一交互对象来通知用户可进行交互，且使用户尝试做另一手势。也就是说，第一交互对象与后续手势的提示相关。举例来说，第一交互对象是虚拟球，且用户可尝试抓握或抓取虚拟球。
47.处理器150可识别第二图像中的第二手势(步骤s250)。具体来说，第二手势是另一预定义手势，例如手掌向上、手掌向下、交叉手指或握拳手势，但与第一手势不同。第二手势也对应于用户的手。处理器150可识别第二图像中的由用户的手做出的手势，且比较所识别的手势是否是预定义第二手势。
48.在一个实施例中，如在步骤s210中所详细提及，处理器150可从第二图像识别用户的手的关节，且通过手势分类器基于第二图像和所识别的用户的手的关节来预测用户的手
的手势。在一些实施例中，如在步骤s210中所详细提及，处理器150可仅基于第二图像且在没有所识别的用户的手的关节的情况下预测手势，且接着基于所识别的用户的手的关节来确认所预测的手势。
49.处理器150可响应于第二手势的识别结果，而在显示器120上呈现虚拟手和第二交互对象(步骤s270)。具体来说，如果识别结果是第二图像中的手势与第二手势相同，那么对应于用户的虚拟手将做出第二手势。处理器150可在显示器120上呈现做出第二手势的虚拟手，且具有第二手势的手可与交互区域中的第一交互对象交互。举例来说，虚拟手抓取虚拟球。在一些实施例中，可在显示器120上呈现第一交互对象变形的动画。举例来说，挤压虚拟球。然而，如果第二图像的所识别的手势不是第二手势，那么处理器150仍可在显示器120上呈现所识别的手势。此外，第一交互对象可因为错误手势而隐藏。
50.此外，使用第一手势与第二手势的组合来触发显示器120展示第二交互对象但隐藏第一交互对象。这意味着第二交互对象可能并不在显示器120上展示，直到用户做出第一手势且接着做出第二手势。如果在已在第一图像中识别到第一手势之后在第二图像中识别到与第二手势不同的第三手势，那么仍在显示器120上呈现第一交互对象且将不展示第二交互对象。第二交互对象可以是图像、视频、菜单或其它虚拟对象。另一方面，由于识别到第二手势，所以不必展示第一交互对象(其是第二手势的提示)。因此，第一交互对象可帮助用户直观地进行第一手势与第二手势的组合。
51.举例来说，图4a和图4b是示出根据本公开的示范性实施例中的一个的通过手势触发交互对象的示意图。参考图4a，在第一时间点在第一图像中识别到左手的手掌向上手势，其定义为第一手势。将在显示器120上呈现具有手掌向上手势的虚拟左手lh和虚拟球io1(即，第一交互对象)。参考图4b，在第二时间点在第二图像中识别到左手的握拳手势，其定义为第二手势。将在显示器120上呈现具有握拳手势的虚拟左手lh和主菜单io2(即，第二交互对象)。主菜单io2包含多个图标，例如用于好友列表、地图以及应用商店的图标。
52.在一个实施例中，第二交互对象包含第一菜单和第二菜单。第二菜单与第一菜单不同。如果识别到右手，那么处理器150可在显示器120上呈现第一菜单，且如果识别到左手，那么在显示器120上呈现第二菜单。这意味着如果由右手做出第一手势与第二手势的组合，那么将在显示器120上展示第一菜单。然而，如果由左手做出第一手势与第二手势的组合，那么将在显示器120上展示第二菜单。
53.举例来说，第二菜单是如图4b中所示出的主菜单io2。图5a和图5b是示出根据本公开的示范性实施例中的一个的通过手势触发交互对象的示意图。参考图5a，在第三时间点在第一图像中识别到右手的手掌向上手势，其定义为第一手势。将在显示器120上呈现具有手掌向上手势的虚拟右手rh和虚拟球io3(即，第一交互对象)。参考图5b，在第四时间点在第二图像中识别到左手的握拳手势，其定义为第二手势。将在显示器120上呈现具有握拳手势的虚拟右手rh和快速设定菜单io4(即，第二交互对象或第一菜单)。快速设定菜单io4包含多个图标，例如用于打开/关闭相机、在虚拟手上进行特定运动以及消息传送的图标。
54.在一个实施例中，如果检测到第二手势，那么处理器150可进一步在显示器120上隐藏第一交互对象。这意味着不需要另外指示后续手势，且第一交互对象将不可见。因此，仅在显示器120上呈现第二交互对象。以图5a和图5b作为实例，在识别到握拳手势之后，隐藏虚拟球io3。
55.在另一实施例中，如果已在显示器120上展示第二交互对象且确认第一手势和第二手势的识别结果(即，由用户做出第一手势与第二手势的组合)，那么处理器150可在显示器120上隐藏第一交互对象和第二交互对象。因此，可通过手势来关闭菜单。
56.举例来说，图6a和图6b是示出根据本公开的示范性实施例中的一个的通过手势触发交互对象的示意图。参考图6a，已在显示器120上展示快速设定菜单io4。由于右手rh的手掌向上手势而呈现虚拟球io3。参考图6b，由于右手rh的握拳手势，而隐藏虚拟球io3和快速设定菜单io4两者。
57.应注意，可基于实际要求来修改图4a到图6b中的第一交互对象、第二交互对象、第一手势以及第二手势，且实施例不限于此。
58.综上所述，在本发明实施例的xr中通过手势的操作方法和头戴式显示器系统中，在两张图像中识别手势组合，且手势组合是用于在显示器中呈现第二交互对象。此外，识别第一手势之后，可显示第一交互对象，以进一步提示做出第二手势。藉此，可提供直觉的手势控制。
59.将对本领域的技术人员显而易见的是，可在不脱离本公开的范围或精神的情况下对本公开的结构作出各种修改和变化。鉴于前述，希望本公开涵盖本公开的修改和变化，前提是所述修改和变化落入所附权利要求和其等效物的范围内。