用于检测通过指向手势的输入的方法和用户界面与流程

本发明涉及使用户能够以可靠的方式通过指向手势进行输入的方法和用户界面。

背景技术：

车辆可具有用户界面，该用户界面使车辆的用户能够通过手势进行输入，例如为了操作车辆的信息娱乐系统。在此可借助一个或多个摄像机检测用户的手的运动。可对检测到的图像数据进行评估，以便从多个存储的输入手势中识别输入手势。

示例性的输入手势在此是指向手势，其使用户能够以手指指向车辆用户界面的选择或输入面(如屏幕)上的特定选择区域，从而进行与该选择区域相关联的输入。在此可基于检测到的图像数据来查明用户手指的指向方向。

大多数情况下，基于图像数据只能以相对低的准确性来查明指向手势的指向方向。此外，用户经常只不准确地指向一个待选择的选择区域。所查明的指向方向的准确性在此通常取决于检测图像数据的所述一个或多个摄像机的定向。指向手势的所查明的指向方向的低准确性导致通过指向手势的输入的相对低的可靠性。此外，指向手势的所查明的指向方向的低准确性要求使用相对大面积的选择区域。

技术实现要素：

本文涉及的技术任务是提供一种紧凑的用户界面，其能以高可靠性实现通过指向手势的输入。

所述任务相应通过独立权利要求来解决。另外，在从属权利要求中描述了有利的实施方式。应指出，独立权利要求的从属权利要求的附加特征在没有独立权利要求的特征的情况下或仅与独立权利要求的部分特征组合的情况下可构成独立于独立权利要求的所有特征的组合的独立发明，其可以是独立权利要求、分案申请或后续申请的技术方案。这同样适用于说明书中描述的技术教导，其可形成独立于独立权利要求的特征的发明。

根据一个方面，描述了一种用于检测用户在输入面上的输入的方法。在此，所述输入面包括多个选择区域。输入面例如可包括屏幕，在该屏幕上显示不同的选择区域。此外，可在输入面上显示功能，这些功能可通过选择不同的选择区域来触发。

所述方法包括检测与用户的头部和/或视线方向和/或眼睛和至少一只手有关的传感器数据。所述传感器数据可借助对准用户的至少一个用户传感器(如图像摄像机、深度摄像机、接近传感器等)来检测。例如可在特定的第一时刻或特定的第一时间段中检测传感器数据。

此外，所述方法包括基于传感器数据确定用户的视线可能对准的至少一个第一选择区域。为此目的可基于传感器数据查明用户的视线方向，然后可查明用户的视线方向落在或可能落在哪个选择区域中。在此尤其是可查明用户的视线在第一时刻或在第一时间段期间对准或可能对准的哪个选择区域。

此外，所述方法包括基于传感器数据查明用户用手做出的指向手势的指向方向。在此可查明在第二时刻或在第二时间段期间做出的指向手势的指向方向。在此，第二时刻或第二时间段可与第一时刻或第一时间段相同。作为替代方案，第二时刻或第二时间段可(在必要时直接)跟随第一时刻或第一时间段。因此可在用户的视线对准和/或已对准第一选择区域期间和/或之后查明用户所指的指向方向。

例如可在第一时刻基于用户的视线或视线方向探测用户视线最后一次(在识别指向手势之前)聚焦的第一选择区域。然后可在评估指向手势时考虑该(不久之前)被观看的第一选择区域。

替代或补充地，基于用户的视线或视线方向可对于所述多个选择区域中的每个选择区域查明选择区域正在或已被用户观看的概率。在此必要时也可考虑用户观看各个选择区域的持续时间。然后在评估指向手势时可考虑不同选择区域的概率。

所述方法还包括基于指向方向查明从所述多个选择区域中选择的选择区域。在此，可将一个选择区域查明为所选择的选择区域，即当指向方向指向该选择区域的选择面时、尤其是当指向方向在最短持续时间内指向该选择区域的选择面且所述最短持续时间等于或大于持续时间阈值(如0.5秒、0.75秒、1秒或更长)时。替代或附加地，可响应于探测到的动态手势将一个选择区域查明为所选择的选择区域。示例性的动态手势是以食指在空中“轻击”和/或以食指在空中相对短的“向前推”。

与所述多个选择区域中的一个或多个其它选择区域相比，第一选择区域在查明时可具有增加的优先级。换句话说，当通过指向手势选择选择区域时，可优选考虑用户视线(以增加的概率)对准的第一选择区域。因此，可增加基于指向手势的用户界面的可靠性。

所述方法例如可包括：与用户可借助指向手势选择所述多个选择区域中的一个或多个其它选择区域的第二概率相比，增加用户可借助指向手势选择第一选择区域的第一概率。在此，增加或减小选择概率例如可通过放大或缩小选择区域的选择面来实现。概率之和在此可保持恒定(例如值为1)。

选择区域的选择面的放大或缩小在此通常对于用户而言不可见。输入面上显示的选择区域可保持不变。另一方面，可放大或缩小所显示的选择区域周围的选择面，该选择面定义输入面的、指向手势必须指向以选择对应选择区域的部分。换句话说，选择面的放大通常不会导致所显示的选择元件的用户可见的放大。而是仅放大理论选择区域，即增加可借助指向手势选择特定显示的选择元件的概率。

然后可基于指向方向在考虑第一概率和第二概率的情况下查明所选择的选择区域。因此可进一步提高基于手势的用户界面的可靠性。

选择区域可分别具有选择面，用户必须指向该选择面以选择相应的选择区域。选择区域在输入面的基本状态中分别包括具有特定尺寸的选择面。用户通常必须、尤其是在等于或大于持续时间阈值的持续时间内指向一个选择区域的选择面，以选择相应的选择区域。

替代或补充地，可通过相对短的动态手势(如借助一根手指的短的轻击运动)来选择一个具体的选择区域。使用动态(指向)手势来选择选择区域是有利的，因为选择相对快速且对于用户而言可舒适地进行。

在基本状态中不同选择区域的选择面的尺寸可以是相同的。另一方面，在基本状态中不同选择区域的选择面的尺寸可取决于用户能够指向相应选择区域的选择面的可靠性。在此通常，指向相应选择区域的指向方向与垂直于用户身体的轴线之间的角度越大，可靠性就越低。选择面的尺寸可随着手势识别可靠性的降低而增大(也在输入面的基本状态中)。

替代或补充地，可随着手势识别可靠性的降低(例如在输入面的远离用户轴线的区域中)增加有利于视线识别的权重。

所述方法可包括相对于所述多个选择区域中的至少一个其它选择区域的选择面放大第一选择区域的选择面。然后可考虑将第一选择区域的放大的选择面用于查明所选择的选择区域。因此可放大用户视线对准的选择区域的选择面的尺寸，以便在手势识别的范围内提高该选择区域的优先级。此外，所述多个选择区域中的一个或多个其它选择区域的选择面的尺寸可根据相应选择区域到第一选择区域的距离来缩放(尤其是减小)。因此可进一步提高手势识别的可靠性。

所述方法可包括确定是否可基于传感器数据查明用户的视线方向。有可能无法查明用户的视线方向(例如由于用户戴着太阳镜的事实)。在本方法范围中，可查明基于传感器数据查明用户视线方向的可靠性的量度或程度。然后可在基于手势选择选择区域时考虑所查明的视线方向的可靠性的量度或程度。因此可进一步提高基于手势的用户界面的可靠性。

所述方法可包括根据视线方向改变至少一个选择区域、尤其是第一选择区域的选择面的尺寸，以使所述多个选择区域处于改变状态中。然后可基于处于改变状态中的所述多个选择区域来查明所选择的选择区域。如果能确定视线方向(必要时仅在此情况下)，则可将所述多个选择区域置于改变状态中。

另一方面，所述方法可包括：如果不能确定视线方向，则基于处于基本状态中(在不改变一个或多个选择区域的选择面的尺寸的情况下)的所述多个选择区域来查明所选择的选择区域。因此，也可在不识别视线方向的情况下实现基于手势的选择(具有特定的基本可靠性)。因而可提供鲁棒的用户界面。

输入面或所述多个选择区域通常具有恒定的总面积。一个或多个选择区域的选择面的尺寸可改变为，使得输入面或所述多个选择区域的总面积(亦在改变状态中)保持恒定或不变。

可根据能够查明视线方向的可靠性程度或量度来改变至少一个选择区域的选择面的尺寸。尤其是，如果只能以相对低的可靠性程度来查明视线方向，则在必要时只能进行相对小的尺寸改变。尺寸改变在此可随着可靠性程度的增加而增加。因而可进一步提高基于手势的用户界面的可靠性。

在本方法的范围中，可基于用户的视线方向查明用于所述多个选择区域的多个概率值。在此选择区域的概率值表示用户的视线对准相应选择区域的概率。因此可对于所述多个选择区域查明视线方向的概率分布。然后可根据用于所述多个选择区域的多个概率值查明基于查明的指向方向所选择的选择区域。尤其是可根据所述多个概率值调整所述多个选择区域的选择面的尺寸，以使所述多个选择区域处于改变状态中。然后可基于处于改变状态中的所述多个选择区域查明所选择的选择区域。通过考虑用于视线方向的概率分布可进一步提高基于手势的用户界面的可靠性。

所述方法可包括在一个时刻序列上检测传感器数据。然后可基于该时刻序列上的传感器数据查明指向方向序列。此外，可基于该指向方向序列查明用户在所述时刻序列上徘徊在所述多个选择区域的不同选择区域上(例如没有在一个选择区域上停留足以选择该选择区域的时间)。

输入面或用户界面可构造为，使得用户在时刻序列上徘徊在不同选择区域上的事实不在显示面和/或用户界面上视觉地显示。尤其是可这样构造输入面或用户界面，使得徘徊的指向运动不引起用户视线方向的分散。从而可确保视线方向与待选择的选择区域相关联并且因此可用于提高基于手势的选择的可靠性。

如上所述，选择区域的选择面的放大或缩小优选这样进行，使得选择面的尺寸改变对于用户而言不可见。输入面上显示的、用于不同选择区域的选择元件可在选择过程中具有不变的(可见)尺寸和/或保持不变。另一方面，可放大或缩小选择区域的用于评估指向方向的选择面(且这对于用户而言不可见)，从而可增大或减小用于根据指向方向选择不同选择区域的概率。

所述方法可包括查明与能够查明视线方向和/或指向方向的可靠性有关的质量信息。尤其是，质量信息可表示基于视线方向和/或基于指向方向能够识别由用户选择的选择区域的可靠性。

然后可在查明所选择的选择区域时根据质量信息调整查明的视线方向和/或查明的指向方向的权重、尤其是调整第一选择区域的优先程度。尤其是可根据质量信息或多或少地在基于指向手势查明所选择的选择区域时考虑基于视线方向查明的用于不同选择区域的概率值。

如果质量信息例如表明视线方向仅提供与待选择的选择区域有关的非常不可靠的信息和/或可以相对高的可靠性来查明指向方向，则必要时只能相对少地提高(被观看的)第一选择区域的优先级(这例如可通过相对少地放大第一选择区域的选择面实现)。尤其是在此情况下在基于指向手势查明所选择的选择区域时只能以相对小的程度考虑用于不同选择区域的基于视线的概率值。

另一方面，如果质量信息表明视线方向提供与待选择的选择区域有关的非常可靠的信息(例如基于相对长的观看持续时间)和/或只能以相对低的可靠性查明指向方向(例如因为指向输入面(远离用户)的边缘上的一个选择区域)，则必要时可相对多地提高(被观看的)第一选择区域的优先级(这例如可通过相对多地放大第一选择区域的选择面来实现)。尤其是在此情况下在基于指向手势查明所选择的选择区域时可以相对大的程度考虑用于不同选择区域的基于视线的概率值。

例如可基于用户观看选择区域的持续时间来查明质量信息。在此通常，观看持续时间越长，用户将要选择所观看的选择区域的概率就越大。因而在基于指示手势查明所选择的选择区域时可根据观看持续时间或多或少地提高所观看的选择区域的优先级。

根据另一方面，描述了一种用于检测用户输入的用户界面。所述用户界面包括输入面，其被划分为多个选择区域。输入面可包括屏幕，该屏幕构造用于显示所述多个选择区域。此外，输入面可以是道路机动车的部分。

用户界面包括至少一个用户传感器，其构造用于检测与用户的头部和手有关的传感器数据。用户界面还包括控制单元，其构造用于基于传感器数据从所述多个选择区域中确定用户的视线可能对准或对准的至少一个第一选择区域。控制单元还构造用于基于传感器数据查明用户用手做出的指向手势的指向方向。此外，控制单元构造用于基于指向方向查明从所述多个选择区域中选择的选择区域，其中，在查明所选择的选择区域时，所述第一选择区域具有与所述多个选择区域中的一个或多个其它选择区域相比增加的优先级。

所述多个选择区域可与对应的多个功能相关联。因此控制单元可构造用于使与所选择的选择区域相关联的功能得以执行。

根据另一方面，描述了一种道路机动车(尤其是轿车或货车或公共汽车)，其包括本文中描述的用户界面。

根据另一方面，描述了一种软件(sw)程序。该sw程序可构造用于在处理器(如车辆的控制器)上执行，以便由此实施本文中描述的方法。

根据另一方面，描述了一种存储介质。该存储介质可包括sw程序，其构造用于在处理器上执行，以便由此实施本文中描述的方法。

应注意，本文中所描述的方法、装置和系统不仅可单独使用，而且也可结合其它本文中所描述的方法、装置和系统来使用。另外，本文中所描述的方法、装置和系统的任何方面可以多种方式相互组合。尤其是权利要求的特征可以多种方式相互组合。

附图说明

下面根据实施例详细阐述本发明。附图如下：

图1示出车辆的示例性部件；

图2a示出在不检测视线方向的情况下输入面的示例性选择区域；

图2b示出在存在检测到的视线方向时输入面的示例性选择区域；和

图3示出用于查明用户输入的一种示例性方法的流程图。

具体实施方式

如开头所述，本文涉及可靠地检测通过指向手势的用户输入。就此而言，图1示出车辆100的示例性部件。车辆100包括至少一个用户传感器103，其构造用于检测与车辆100的用户、尤其是驾驶员有关的、尤其是与用户的头部110和/或眼睛111有关的传感器数据。此外，用户传感器103可构造用于检测与车辆100的用户的手115和/或手指有关的传感器数据。用户传感器103可包括图像传感器或图像摄像机。用户传感器103可对准车辆100的用户位置、尤其是驾驶员位置105，以便检测与该用户有关的传感器数据。

车辆100还包括控制单元101，该控制单元构造用于基于用户传感器103的传感器数据来查明用户的视线方向121。视线方向121在此通常由头部110的定向和用户的眼睛111的定向组成。此外，控制单元101可构造用于基于用户传感器103的传感器数据来查明用户的手或手指115的指向方向125。视线方向121和/或指向方向125可相对于垂直地在用户身体前方的和/或沿车辆100的行驶方向延伸的轴线定义。尤其是可通过延长用户手指(食指)的手指矢量和/或借助前臂矢量和/或通过延长眼睛-指尖轴线来检测指向方向125。

车辆100还包括输入面104作为车辆100的用户界面的部分。输入面104可包括屏幕，在该屏幕上显示用于车辆100的用户的输入选项。通过将屏幕用作输入面104可灵活地改变用于车辆100的用户的输入选项。通常，输入面104可以是车辆100的任何面、如车辆100的仪表板的任何面。输入面104也可能设置在车辆100之外(如(从车辆100可见的)路牌和/或建筑物上)。

图2a示出示例性的输入面104。输入面104可被划分为多个选择区域201，不同的选择区域201分别成对地通过区域边界203彼此分开。每个选择区域201可具有特定的选择面，其中，选择区域201的选择面由该选择区域201的区域边界203定义。图2b所示的输入面104具有四个不同的选择区域201。在所示示例中，所有选择区域201在此具有尺寸相同的选择面。输入面104可具有例如2、3、4、5、6或更多个选择区域201。

不同的选择区域201可与车辆100的不同功能202相关联。示例性功能202例如是收音机功能、电话功能、导航功能或网络浏览器功能。通过选择特定选择区域201可使得与所选择的选择区域201相关联的功能被执行或激活。

如上所述，控制单元101可构造用于基于用户传感器103的传感器数据来查明车辆100的用户的指向手势的指向方向125。此外，可基于查明的指向方向125从所述多个选择区域201中选择用户指向的选择区域201，以实现对该选择区域201的选择。选择区域201的选择例如(必要时仅)在用户对同一选择区域201做出(动态的)选择手势时才能进行。示例性的选择手势是以用户的手115的一根手指进行轻击运动。

如开头所述，在大多数情况下只能以相对低的准确性程度来确定用户的指向方向125，或者用户在大多数情况下只以相对低的准确性做出指向手势(尤其是在驾驶期间)。这导致基于所查明的指向方向125只能以相对低的可靠性程度来查明用户所指向的选择区域201。因此可相对频繁地发生用户的错误输入。

在做出指向手势时，用户通常看向用户希望指向的选择区域201。因此，基于用户传感器103的传感器数据查明的视线方向121可用于查明用户在做出指向手势时看向的选择区域201。然后在评估用户的指向手势时可考虑与用户观看的选择区域201有关的知识，以便提高在查明由指向手势选择的选择区域201时的可靠性。

例如可基于视线方向125查明用户观看输入面104的所述多个选择区域201中的第一选择区域211(参见图2b)。此外，可查明用户指向手势的指向方向125并且可根据指向方向125选择输入面104的一个选择区域201。在此可优先考虑用户观看的第一选择区域211。尤其是可基于指向方向125选择一个选择区域201，使得与其它选择区域201相比增加选择用户观看的第一选择区域211的概率。

如图2b所示，例如可与其它选择区域201的选择面相比放大第一选择区域211的选择面。为此目的，将第一选择区域211的区域边界203在一个或多个其它选择区域201的方向上移动。基于第一选择区域211的放大的选择面，可增加指向手势的指向方向125落入第一选择区域211内的概率。

因此，使用视线辅助以使借助指向手势的输入更可靠且更准确。如果基于用户传感器103的传感器数据识别到用户看向输入面104，则可识别用户的焦点或视线方向121并且可提高在用户的视线方向121上的一个或多个选择区域211的优先级。为此目的可放大用户视线对准的所述一个或多个选择区域211的选择面。另一方面，可缩小其它的一个或多个选择区域201(例如使得选择区域201的总面积保持不变)。在此选择区域201、211是指输入面104的如下区域，指向手势必须指向该区域以选择相应的选择区域201、222。如图2b所示，例如如果用户的眼睛111聚焦电话功能的选择区或选择区域211，则可与所述一个或多个其它选择区域201相比放大输入面104的这个选择区域211，该选择区域必须被指向手势指向以选择电话功能。在此所述一个或多个其它(未被观看的)选择区域201可全部具有相同的大小。作为替代方案，所述一个或多个其它(未被观看的)选择区域201(必要时成比例地)可根据与视线方向121的焦点中心的距离减小。

如果不能基于用户传感器103的传感器数据查明用户视线对准的输入面104的选择区域201，则仍可通过指向手势来输入。在此情况下，不同的选择区域201可具有与用户的视线方向121无关的选择面。如图2a所示，例如可为不同的选择区域201使用相同大小的选择面。作为替代方案，可根据选择区域201相对于用户手指115和/或用户头部110的位置的位置来改变不同选择区域201的选择面的尺寸。指向手势的准确性通常随着待选择的选择区域201与用户头部110和/或手指115的距离的增加而降低。为了补偿指向手势的降低的准确性，选择区域201的选择面的尺寸可随着与用户头部110和/或手指115的距离的增加而增大。因此，可提高基于指向手势的用户界面的可靠性。

因此，本文中描述的基于手势的用户界面不需要视线辅助。如果驾驶情况不允许用户观看输入面104，或者用户的视线因太阳镜或照明条件而无法识别，则(必要时仅)可基于指向手势进行选择。因此，(必要时仅)可通过指向手势来选择选择区域201。但可辅助地利用视线方向121(如存在)，以提高通过指向手势选择的可靠性。

视线方向121识别的可靠性通常取决于观看角度。通常，视线方向121识别的可靠性随着观看角度的增加而降低，当用户直视前方(如沿车辆100的行驶方向)时，观看角度为零。用户观看的所述一个或多个选择区域211的选择面的尺寸可取决于视线方向121识别的可靠性。尤其是用户观看的所述一个或多个选择区域211的放大可取决于视线方向121识别的可靠性。如果视线方向121识别的可靠性较低，则可相对少地放大。另一方面，如果视线方向121识别的可靠性较高，则可相对多地放大。

输入面104可构成为，使得在选择输入面104上的选择区域201期间不对用户正在指向哪个选择区域201进行反馈。尤其是不显示选择区域201的(彩色)“悬停”(hover)。因此可防止用户的视线跟随用户正在指向的选择区域201。换句话说，可避免分散用户的视线并且因此防止与视线方向121有关的传感器数据的失真。另一方面，可实现用户的视线方向121大概率对准用户想要选择的选择区域211(而不是对准发生视觉改变的选择区域211)。

为了查明指向方向115，可查明指示矢量，该指示矢量指示用户的手指115所指的(三维)空间中的方向。在此指向矢量在必要时可限于笛卡尔坐标系的单一坐标(尤其是车辆100的x方向或纵向方向)。然后可查明指向矢量(从用户的手指或手115开始)落到输入面104上的哪个选择区域211、201中，以便查明所选择的选择区域211、201。

图3示出用于检测用户在输入面104上的输入的一种示例性方法300的流程图。输入面104例如可设置在车辆100中。输入面104包括多个选择区域201，其中，不同的选择区域201可与不同的功能相关联，这些功能可通过选择相应的选择区域201来触发。方法300可由用户界面和/或车辆100的控制单元101来实施。

方法300包括检测301与用户的头部110以及与用户的至少一只手115有关的传感器数据。为此目的使用用户传感器103(如，图像摄像机)。

此外，方法300包括基于传感器数据确定302用户的视线可能对准或对准的至少一个第一选择区域211。尤其是可基于传感器数据查明用户的视线方向121。然后可查明视线方向121对准哪个或哪些(第一)选择区域211。在此用户在特定的最短持续时间(如300ms或更长)内所维持的用户视线方向可被看作视线方向121。通过考虑最短持续时间，可避免基于眼睛111和/或头部110定向的随机变化而导致的对视线方向的错误识别。

最短持续时间(如300ms)可对应于人眼的注视持续时间。在最短持续时间过去之后，通常可假设不仅用户的视线、而且其注意力都(至少暂时)在选择区域211上。因此，基于视线方向121可确定用户的注意力焦点。如果观看持续时间低于最短持续时间，则可假设用户可能未察觉到选择区域。注意力集中在选择区域201上的概率通常随着观看或注视持续时间而增加。因此，在评估指向手势125时视线信息的权重可随着观看或注视持续时间的增加而增加。

此外，方法300包括基于传感器数据查明303用户用手115做出的指向手势的指向方向125。在此可在时间上同步地(即对于同一时刻)查明视线方向121和指向方向125。

此外，方法300包括基于指向方向125查明304从所述多个选择区域201中选择的选择区域201、211，其中，与所述多个选择区域201中的一个或多个其它选择区域相比，第一选择区域211在查明304时具有增加的优先级。增加的优先级例如可通过相对于另一选择区域201相对放大第一选择区域211的选择面来实现。

通过本文中描述的措施可提高指向手势识别的准确性和/或可靠性。在此视线方向121的识别对于指示手势的识别不是绝对必要的。因此提供了鲁棒且可靠的基于手势的用户界面。

本发明不限于所示的实施例。尤其是应注意，说明书和附图仅旨在说明所提出的方法、装置和系统的原理。