用户界面、运输工具和用于识别用户的手的方法与流程

本发明涉及计算机程序产品、信号序列、运输工具（fortbewegungsmittel）、用户界面以及用于识别用户的手的方法。本发明尤其涉及对用户的左手和右手或前侧和后侧的区分。

背景技术：

在许多用户界面中需要在左手或右手之间进行区分，其中借助于所述左手或右手进行输入。例如在驾驶员工作位置处重要的是，将通过驾驶员进行的操作与通过副驾驶员进行的操作进行区分。例如通过驾驶员进行的操作在履行行驶任务期间应该予以禁止或应该仅在受限制的范围内予以允许，而副驾驶员能够在不受限制的范畴（rahmen）内访问（zugreifen）/操作分配给该副驾驶员的功能范围（funktionsumfang）。通常使用的传感器不具有大的检测范围并且因此不能够区分：手是从驾驶座的方向还是从副驾驶座的方向接近。由于该事实，只有当该手已经位于中央控制台（mittelkonsole）附近时，才有可能在左手和右手之间进行区分。通过对运输工具（fortbewegungsmittel）的供暖/空调设备的基于手势的空调操作来描述可替代的应用情况。响应于对驾驶员的右手的识别，对于驾驶员能够引起对额定温度和通风机速度施加影响，而响应于对副驾驶员的左手的识别，对于副驾驶侧进行相应的设定。前面提及的应用情况也能够应用于例如座椅位置、照明选项、车窗玻璃升降器等功能范围。

de102013010932b4公开一种基于手势的用户界面，所述用户界面具有飞行时间相机（time-of-flight（tof）-kamera）作为传感器。这样创建的图像数据是三维信息，在所述信息中包含至少一个打手势的手臂的各个面积区段的空间坐标。

de202015100273u1公开一种用于3d手势识别的输入设备，该输入设备借助于基于相机的传感器系统在用户的手的擦拭手势与返回运动（rückführbewegung）之间进行区分。

de102014004675a1公开一种具有tof相机的手势评估系统，借助于该手势评估系统能够通过识别手姿势("竖起拇指"手势)而执行（例如关于演奏的音乐作品的）评估过程。

de19516662a1公开一种用于对三维物体和人进行标识的装置，其中对无生命物品以及人的表面传感地（sensorisch）进行检测。作为可靠的标识特征而建议主体（körper）的三维形状。

de10100615a1公开一种具有位置确定装置的手识别系统，其中构成在体积/面积的大小与表面/边缘线长度的比例之间的比较。通过将该比例与阈值比较，将用户的掌与手指或手臂相区分。

以前面提及的现有技术为出发点，本发明的任务是提供在用户的为了手势输入而使用的手的正手（vorhand）与反手（rückhand）之间的鲁棒性区分。

技术实现要素：

上面标识的任务按照本发明通过用于识别用户的手的方法来执行。按照第一步骤，借助于传感器检测用户的手。这能够在在空间中自由实施的三维手势的实施期间进行。在传感器信号中测定（ermitteln）用户的掌和/或手的表面点。所述表面点能够至少被理解为在手表面的代表手表面的扫描结果内的控制点（stützstelle）。随后，确定所述表面点以（例如关于穿过掌的预先定义的中间平面或与该平面平行的）何种相对位置布设。例如能够由传感器测定表面点的相应距离。由此能够识别出，所述表面点布置在从传感器角度而言凹形或凸形地成型的表面上。只要所述表面点基本上位于凹形的面上，就识别出朝向该传感器的手心。因此手背与该传感器背离地定向。换句话说，该传感器在掌中（palmar）定位。只要所述表面点基本上位于凸形的面上，就识别出，手背朝向该传感器。换而言之，该传感器布设于背侧。这可以使用户界面能够区分：操作该用户界面的手是分配给了第一用户（例如驾驶员）还是分配给了第二用户（例如副驾驶员）。

从属权利要求示出本发明优选的改进方案。

用于检测用户的手的传感器能够例如在中央控制台中、在仪表盘中或者在车顶内衬（dachhimmel）中，前面提及的位置的组合或者（bzw.）用于在前面提及的位置中的至少一个处组合地使用的更多组合（mehrere）当然也是可能的。出于符合人类工程学的原因，作为检测传感器（例如tof相机）的位置尤其可以优选在车顶内衬处或在具有向下闪光（blickend）的相机的内部反光镜处的地方（ort），或在具有朝向上的相机的中央控制台中的装配部（einbau），因为手基本上水平地保持比基本上垂直地保持是更符合人体工学的。

优选地能够识别出，多个表面点布设于手掌（handfläche）上（也称为“掌（handteller）”）的。这原则上并不排除，传感地检测的表面点能够附加地代表布设于用户的手的手指上的区域。后者也可以被包含到按照本发明在表面点的云状物（wolke）的凸形与凹形表面之间进行区分中。然而限制于掌使得能够尽可能地防止滥用并且避免错误识别，因为相对于整个手的过度伸展（从凹形面转换成凸形面）而言掌的过度伸展（überstreckung）明显更难或者根本不可能。

优选地，能够测定用户的手的拇指的位置。例如能够进行手的肢体（手指和拇指）的相对长度或大小和/或其相互间距。随后，根据拇指的位置结合按照本发明测定的手的取向地能够自动识别：这涉及左手还是右手。这能够特别高质量（hochwertig）地给出关于是第一用户（例如驾驶员）还是第二用户（例如副驾驶员）操作用户界面的情况。

优选地能够根据限定手的表面点的形状的半径观察来识别拇指的位置。换句话说，能够对关于凸形的边缘区域的手轮廓在以下方面进行检查，即手的拇指或手指布置在哪些位置处。以相应的方式，手指间隙能够根据其凹形的手轮廓区段被定位。

能够通过以下方式特别简单地且不太计算密集地制定（gestalten）按照本发明的取向检查，即对于按照本发明的检查考虑所述多个表面点中的特别少的表面点。例如能够与两个布设于手掌的边缘区域中的表面点相结合地对基本上布设于手掌中心的表面点进行观察。所述两个布设于手掌的边缘区域中的表面点优选地基本上关于中间表面点彼此相对。现在可以这样对通过表面点布置（gelegenen）的面的凹性或凸性进行第一估计，其方式是测定所述三个点是否描述从传感器角度观察凸形的或凹形的曲线或者是否位于这样的曲线上。这使对全部多个表面点的分析和从而与此相关联的计算耗费不必要。尤其能够以这种方式实现对用户的手的取向的特别快速的（第一）估计。

优选地，按照本发明的方法可以包括：作为用于测定凹形或凸形面的参考，对通过手的多个表面点布设的均衡平面（ausgleichsebene）进行测定。换句话说，首先根据手的表面点测定平均平面，并且对实际表面点相对于该平面的相应位置进行分类。根据被分类为位于均衡平面的“前方”或“后方”的表面点的位置，能够将手掌确定为凸形的或凹形的，并且（如上面描述的那样）从中测定手掌相对于所使用的传感器的取向。

传感器例如可以包括立体相机、红外传感器和/或飞越时间相机（英文：“time-of-flight（飞行时间相机）（tof）”相机）。借助于前面提及的传感器能够进行对相应表面点的距离的估计，通过该估计能够表征朝向该传感器的手表面的取向。

优选地，为了按照本发明识别所考虑的多个表面点可以限制于这样的数据，即所述数据描述用户的手的表面区域。换句话说，能够取消用于按照本发明对手进行识别的手位置或手取向。这使得能够对于所使用的传感器使用非常紧密的检测区域并且能够实现在该检测区域内的高分辨率。

按照本发明的第二个方面，建议用户界面，其中例如能够为运输工具设置所述用户界面。可替代地或附加地，用户界面能够被设立用于，在无线通信设备或移动用户终端设备（例如平板电脑、智能电话等）中被使用。用户界面包括传感器，该传感器例如可以被构成为相机、红外传感器、飞越时间相机等。相机例如也能够为了视频电话、照相等的应用而被使用。对于脱离（abseits）本发明所布设的任务包以及运算操作同样地能够使用分析单元（例如可编程处理器、电子控制设备等）。传感器被设立用于，传感地检测用户的手。分析单元被设立用于，在传感器信号中测定手和/或掌的多个表面点。这些表面点例如能够被分类，使得手的掌的边缘区域、手指的极限点以及布置在掌的中间区域中的表面点被相互区分。尤其是，也可以关于掌的中点成对地分配在掌的边缘区域上或在手指上所布设的点，使得表面点的对关于中点彼此相对。例如，可以把表面点的点云（punktewolke）与相应的距离值关联，基于此，朝向传感器的手区域能够根据其外形被描述。如果表面点基本上彼此有凹形（konkavzueinanderliegen），那么现在通过分析单元识别出朝向传感器的手心。相反地，如果表面点基本上彼此有凸形，那么识别出朝向传感器的手背。以这种方式设立按照本发明的用户界面，用以显而易见地以相应的方式实现按照本发明的方法的特征、特征组合以及从这些中得出的优点，使得为了避免重复而参阅上面的讲述。

按照本发明的第三方面，建议计算机程序产品（例如数据存储器），在所述计算机程序产品上存储指示，所述指示使可编程处理器能够执行按照首先提及的发明方面所述的方法的步骤。该计算机程序产品例如能够被构成为cd、dvd、蓝光光盘、闪存、硬盘、ram/rom高速缓冲存储器等。

按照本发明的第四方面，建议代表指示的信号序列，所述指示使可编程处理器能够执行按照首先提及的发明方面所述的方法的步骤。对于为此需要的存储装置处于所附的权利要求的适用范围之外的情况，以这种方式也使指示的信息技术提供置于保护下。

按照本发明的第五方面，建议运输工具（例如载客汽车、运输机、载重汽车、摩托车、飞机和/或船舶），该运输工具包括按照其次提及的发明方面所述的用户界面。在此，可以尤其为运输工具的驾驶员设置该用户界面，借助于该用户界面，司机在驾驶运输工具期间能够与该运输工具及其技术装置通信。相应的情况适用于副司机、副驾驶员、副飞行员（co-pilot）等。所述特征、特征组合以及从这些中得出的优点显而易见地与结合首先提及的和其次提及的发明方面所讲述的特征、特征组合以及优点相对应，使得为了避免重复而参照上面的讲述。

附图说明

随后根据附图详细地描述本发明的实施例。在附图中：

图1是具有按照本发明的第一实施例的用户界面的运输工具的驾驶员工作位置的示意性视图；

图2是用户的手的图示，在该手上可视化多个表面点；

图3是用户的手的图示，在该手上光学地强调根据半径观察定位的手指以及拇指；

图4是左手背的图示；

图5是左手心的图示；

图6是右手背的图示；

图7是右手心的图示；以及

图8是流程图，该流程图阐明按照本发明的方法的实施例的步骤。

具体实施方式

图1示出运输工具10的驾驶员工作位置，在该运输工具的仪表盘中设置屏幕作为按照本发明的用户界面的显示装置。在屏幕5下方设置有用于对借助于用户的手1而自由地在空间内实施的手势（也为“3d手势”）进行检测的红外led板条（leiste）2。屏幕5以及红外led板条2都与作为分析单元的电子控制设备3在信息技术上连接，该分析单元在其侧与数据存储器4在信息技术上连接。在数据存储器4中存储用于实施按照本发明的方法的步骤的指示。

图2示出用户的右手1，该右手的手心8朝向观察者。多个表面点7基本上布置在围绕手1的虚拟中点6的圆形上。该中点6是按照要求的多个表面点的组成部分。按照本发明，从观察者的角度为凹形的掌的表面是手1的取向的特征。因为多个表面点7平均地比中点6更靠近观察者，所以手心8朝向观察者的这个事实按照本发明也能够传感地并且在计算技术上简单地通过对表面点6，7的相对位置进行分析而被识别。例如能够对两个关于该中点6彼此相对的表面点7在以下方面进行检查：在所述两个表面点之间的假想的直线是位于中点6前方还是后方。如果中点6位于观察者的方向上，即位于假想的直线前方，那么手心8背对观察者，并且按照本发明的装置识别出手的手背。然而如果（如示出的那样）手心8朝向观察者，那么中间的表面点6布置在所述的表面点7的假想的线后方。可替代地或者附加地，也能够对中间的、通过表面点7或全部表面点6、7布设的平面如下进行检查：中间的表面点6是位于该平面前方还是后方。鉴于手心8的取向的分析以相应的方式进行。

图3光学地强调用户的右手1的指尖以及拇指尖。这些区域的特征在于，其凸形的边缘线和具有特别强烈的曲率（小半径）的区段。指尖/拇指尖彼此的相对位置显示出拇指的引人注目的位置。基于与图2相结合地阐述的、关于在观察者的方向上手心8的取向的认识，现在能够测定出：这涉及右手（在车辆应用中通常分配给驾驶员）。

图4示出用户的左手1，所述左手的手背9朝向观察者。从观察者的角度凸形的定向线11、12表明手背9的表面的走向。所示出的表面走向能够传感地或者在数据技术上被检测并且被分析，以便按照本发明测定手1的定向。

图5示出用户的左手1，该左手的手心8朝向观察者。从观察者的角度为凹形的定向线13、14表明手心8的表面的走向。所示出的表面走向能够传感地或在数据技术上被检测并且被分析，以便按照本发明测定手1的定向。

图6示出用户的右手1，该右手的手背9朝向观察者。从观察者的角度为凸形的定向线11、12阐明手背9的表面走向。所示出的表面走向能够传感地或在数据技术上被检测并且被分析，以便按照本发明来测定手1的定向。

图7示出用户的右手1，该右手的手心8朝向观察者。从观察者的角度为凹形的定向线13、14阐明手心8的表面的走向。所示出的表面走向能够传感地或在数据技术上被检测并且被分析，以便按照本发明来测定手1的定向（orientierung）。

图8示出用于识别用户的手的按照本发明的方法的实施例的步骤。在步骤100中，借助于传感器检测用户的手。该传感器例如能够包括立体相机、红外传感器或飞越时间相机。该传感器能够设置在用户界面中。能够为移动用户终端设备（例如无线通信设备）或者为运输工具设置该用户界面。在步骤200中，在传感器信号中对手的多个表面点进行标识（测定）。所述表面点可能属于整个手或掌。在步骤300中，如果表面点基本上位于关于传感器为凹形的面上，那么识别出朝向传感器的手心。手心（或手背）的定向为现代的用户界面设法获得关于利用哪只手（用左手或者用右手）进行当前操作的附加指示符（indikator），其中所述用户界面支持三维手势操作和/或触摸输入。对于应该对（例如副驾驶员的）左手与对（例如驾驶员的）右手不同地作出反应的用户界面，本发明因此能够实现对提供给用户的功能的特别安全的激活（freischaltung）。

即使已经根据结合附图阐述的实施例详细地描述了按照本发明的方面和有利的实施方式，对于本领技术人员而言对所示出的实施例的特征的修改和组合也是可能的，而不偏离通过所附上的权利要求而限定的本发明范围。

附图标记列表

1手

2传感器

3分析单元

4数据存储器

5屏幕

6表面点（手中心）

7表面点（掌的边缘区域）

8手心

9手背

10载客汽车（pkw）

11、12凸形的定向线

13、14凹形的定向线

100-300方法步骤。