利用视线追踪的菜单选择设备的制作方法

本公开涉及利用视线追踪的菜单选择设备，特别是涉及利用驾驶者的视线作为菜单的指向和识别驾驶者的按钮点击作为所指向菜单的选择的技术。

背景技术：

一般来说，视线追踪技术能够被用来理解用户凝视(gaze)的位置，并被广泛的应用于市场营销、医疗服务、驾驶、菜单控制等。利用视线追踪技术的视线追踪方案可大致地分为两种方案：远程遥控方案和头戴式方案。

远程遥控方案涉及在限定的显示器或屏幕内搜索用户的视线点。远程遥控方案不妨碍用户携带设备，但使用空间有限，因此可能不在真实环境中使用。进一步，根据用户的意向有必要修正视线点。

头戴式方案通过利用用户头上戴的设备追踪用户的视线，并把搜索的视线点映射到前面的图像从而搜索视线点。头戴式方案可用于真实环境下的三维空间。

当用户的视线在特定的点停留预定的时间或更长时间时，利用视线追踪的现有菜单选择方法识别用户的视线停留在特定点作为用户选择其视线停留的菜单的指示。利用视线追踪的现有菜单选择方法在用户不能凝视菜单预定的时间或者更长时间的情况下可能不适用，因为驾驶者的视线需要在特定的菜单停留预定的时间或更长时间(例如，2秒或更长)来选择菜单项。特别是，当利用视线追踪的现有菜单选择方法用于驾驶车辆时，驾驶者向前视线，而非凝视着显示器上特定的菜单预定的时间或者更长时间来选择菜单项。因此，由于驾驶者开车时视线固定在菜单上导致安全驾驶会受到妨碍。

技术实现要素：

本公开致力于解决在现有技术中出现的上述问题，而通过现有技术获得的优点被完整保留。

本公开一方面提供用于视线追踪的菜单选择设备，在利用驾驶者视线作为菜单的指向并识别驾驶者按钮点击作为指向菜单的选择时，考虑到人的反应时间(例如，0.1秒)，检测驾驶者凝视的菜单项，由此能够准确地识别驾驶者所选择的菜单项。

根据本公开实施例，利用视线追踪的菜单选择设备包括：一种利用视线追踪的菜单选择设备，包括：视线(gaze)追踪器，其经配置追踪驾驶者的视线和输出时间序列视线数据；定时器，其设置在所述视线追踪器内并经配置输出定时脉冲；缓冲器，其经配置存储所述时间序列视线数据；计数器，其经配置计算所述定时脉冲以调整与所述定时器的同步；按钮，其经配置当被驾驶者点击时输出点击信号；以及控制器，其经配置在所述点击信号从所述按钮输出时，提取临界时间的时间序列视线数据，然后计算每个时间序列视线数据内的视线矢量的平均，所述临界时间是基于按钮点击时刻的。

所述时间序列视线数据可以包括视线矢量字段(gaze vector field)和和时间戳字段(time stamp field)。

所述按钮可以安装在车辆的方向盘上。

另外，根据本发明的实施例，一种利用视线追踪的菜单选择设备，包括：视线追踪器，其经配置追踪驾驶者的视线和输出时间序列视线数据；缓冲器，其经配置存储所述时间序列视线数据；定时器，其经配置基于所述时间序列视线数据的时间戳调整与视线追踪器的同步；按钮，其经配置当被驾驶者点击时输出点击信号；以及控制器，其经配置在所述点击信号从按钮输出时，提取时间序列视线数据，然后计算每个时间序列视线数据内的视线矢量的平均，所述临界时间是基于按钮点击时刻的。

所述时间序列视线数据可以包括伪数据(dummy data)。

所述伪数据可以包括时间戳字段。

所述时间序列视线数据可以包括用于数据识别的标识字段(flag field)、视线矢量字段和时间戳字段。

所述按钮可以安装在车辆的方向盘上。

根据本公开下面的具体实施方式，本公开的前述的和其他的目的、特征、方面和优点将被理解并变得更明显。也容易理解，本公开的目的和优点可通过权利要求中叙述的单元及其组合实现。

附图说明

本公开的上述和其他目的、特征和优点在与附图结合的以下具体实施方式中将更加明显。

图1是根据本公开的实施例的利用视线追踪的菜单选择设备结构图；

图2是根据本公开的实施例的时间序列视线数据的示例图；

图3是根据本公开的实施例的利用视线追踪的菜单选择设备结构图；

图4是根据本公开的实施例的时间序列视线数据的示例图；以及

图5是根据本公开的实施例的基于按钮点击时刻的临界时间的说明图。

附图标记说明

100：视线追踪器

101：定时器

110：缓冲器

130：按钮

140：控制器

120：计数器

300：视线追踪器

301：定时器

310：缓冲器

320：定时器

330：按钮

340：控制器

具体实施方式

参考下面给出的附图，前述目的、特征和优点将从下面本公开的实施例的详细描述中将变得更明显。因而，本领域技术人员将易于实施本公开的技术思路或实质。另外，当现有技术中已知的技术的详细描述被认为使本公开要旨晦涩时，其中详细描述将被忽略。下面参考附图详细描述本公开的实施例。

本文使用的术语仅用于描述特定实施例，而不是为了限制本公开。如这里所用，单数形式“一个”、“一”和“该”旨在包括复数形式，除非上下文另外明确指出。应该进一步理解，当术语“包括”和/或“包含”用于本说明书时，规定所述特征、整数、步骤、操作、元件、和/或组件的存在，但不排除一个或更多其他特征、整数、步骤、操作、元件、组件和/或其中的成员组合的存在或附加。如这里所用，术语“和/或”包括一个或更多关联的列出项的任何和所有的组合。

可以理解，术语“车辆”或“车辆的”或这里所用的其他类似的术语包括一般地机动车辆，如包括运动型多功能车(SUV)、公共汽车、卡车、各种商用车的客车，包括各种船舶、飞艇的水运工具等，并且包括混合动力汽车、电动汽车、插电式混合电动汽车、氢动力汽车和其他新能源汽车(例如，来自非石油资源的衍生燃料)。这里提到的混合动力汽车是有两种或更多种动力源的汽车，例如同时有汽油动力和电动的汽车。

此外，应当理解，下面方法或其方面的一个或多个可以由至少一个控制器执行。术语“控制器”可以指包括存储器和处理器的硬件设备。存储器被配置为存储程序指令，并且处理器被专门编程用于执行程序指令，以执行下面进一步描述的一个或多个处理。此外，可以理解，下面的处理可以通过包括控制器连同其他部件的装置来执行。

此外，本公开的控制器可被实施为含由处理器、控制器等执行的可执行程序指令的计算机可读介质上的非瞬时性计算机可读介质。计算机可读介质的示例包括，但不限于，ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存、智能卡和光学数据存储设备。计算机可读记录介质也可分布在连接网络的计算机系统中，使计算机可读介质以分布的方式存储和执行，例如，由远程信息服务器或控制器局域网(CAN：Controller Area Network)存储和执行。

图1是根据本公开的实施例的利用视线追踪的菜单选择设备结构图，其中利用视线追踪的菜单选择设备可被应用到音视频导航(AVN：audio video navigation)系统等。如图1示出，根据本公开的实施例的利用视线追踪的菜单选择设备包括视线追踪器100、缓冲器(buffer)110、计数器120、按钮130和微控制单元(MCU：micro control unit)140。

描述每个组件，首先，视线追踪器100追踪驾驶者的视线从而输出时间序列视线数据。如图2示出，时间序列视线数据以预定的时间单元生成，且每个视线数据包括写入视线矢量的字段200、和写入视线数据的生成时间的时间戳字段210。另外，视线追踪器100包括用于提供被写入时间戳字段210中的视线数据生成时间的定时器101。

例如，视线追踪器100可包括：第一成像器(未示出)，其经配置通过拍摄驾驶者凝视的目标获取图像；第二成像器(未示出)，其经配置获取对于凝视上述目标的驾驶者的双眼的双眼图像；和图像处理器(未示出)，其经配置利用第二成像器提供的双眼图像检测双眼的瞳孔区域，并将检测到的瞳孔区域映射到由第一成像器提供的目标图像，从而提取用户凝视的目标上感兴趣的区域。

接着，缓冲器110存储从视线追踪器100输出的时间序列视线数据。缓冲器110以先入先出的方式操作。接着，计数器120对从定时器101传输来的时间脉冲进行计数以调整与定时器101的同步。接着，按钮130可安装在车辆的方向盘上并由驾驶者按下(点击)以输出点击信号。接着，控制器140控制各个部件正常完成他们的功能。

特别是，控制器140提取视线数据，其中视线数据是随着点击信号从按钮130输出，持续基于按钮点击时刻(timing)的临界时间地生成的数据，然后控制器140计算每个视线数据内的视线矢量的平均。然后，控制器140应用基于按钮点击时刻的临界时间以考虑人的反应时间。这样计算出的视线矢量的平均指出由驾驶者通过按钮选择的菜单。

在这里，驾驶者凝视的菜单除了平均之外，也可以通过加权平均、中值滤波等来选择。作为参考，加权平均是指在获得多个方差的平均值的时候通过乘以与重要度或影响度对应的权重获得的平均值。

中值滤波是一种非线性区域的处理技术，且为这样一种方案：其在对于一幅图像的像素滑动具有任意尺寸的窗口的同时，将窗口内的像素以升序顺序排列，并选择其中的中间值，利用所选的中间值填充输出图像。中值滤波的基本功能是通过使像素具有类似于相邻像素的非常清楚的亮度来去除突出的像素值。

以下，参考图5将详细描述基于当前时间的临界时间。在图5中，驾驶者视线停留的位置(例如，菜单位置)，将基于按钮点击时刻100ms之前和100ms之后生成的视线数据作为目标，由控制器进行估计。通过这样做，可以考虑人的反应时间。这里使用了这样一种原理：当驾驶者的视线想要停留在任一点时，他/她的视线从之前的主视点向希望的方向移动，他/她停留在希望的点，然后在100ms后才能按下按钮，并且他/她按下按钮后，他/她也不能在100ms内停留在其他点。

在这里，基于按钮点击时刻，临界时间被设置为200ms，但考虑到驾驶者的年龄、反应时间、残疾等级等，临界时间可以调整。例如，就老年人或者反应时间慢的女驾驶者来说，临界时间可以设置为，例如300ms。

图3是根据本公开的实施例的利用视线追踪的菜单选择设备结构图。如图3示出，根据本公开的实施例的利用视线追踪的菜单选择设备包括视线追踪器300、缓冲器310、定时器320、按钮330和微控制单元(MCU)340。在这种结构中，根据本公开的实施例，缓冲器310和按钮330的功能与缓冲器110和按钮130的功能相同，因此其描述将会被省略。

首先，如图4所示，视线追踪器300生成时间序列视线数据。在这种情况下，每个视线数据包括用于数据识别的标识字段411；写入视线矢量的字段412和时间戳字段413。而且，视线追踪器300包括用于提供被写入时间戳字段413中的视线数据生成时间的定时器301。而且，视线追踪器300一般以预定的时间周期生成视线数据，但当视线追踪器300不能生成视线数据时，其生成伪数据(dummy data)420。在这种情况下，伪数据420只包括时间戳字段。伪数据的用途是使定时器320调整与视线追踪器300的同步。结果是，视线追踪器300生成时间序列视线数据，而这样生成的时间序列视线数据可能只包括视 线数据，以及可能包括视线数据和伪数据。

接着，定时器320基于从视线追踪器300输出的时间序列视线数据的时间戳调整同步。在这种情况下，时间序列视线数据包括伪数据，因此定时器320可以调整与定时器301的同步。接着，控制器340提取随着点击信号从按钮130输出而持续基于按钮点击时刻的临界时间地生成的视线数据，然后计算每个视线数据内的视线矢量的平均。然后，控制器340应用基于按钮点击时刻的临界时间以考虑人的反应时间。这样计算出的视线矢量的平均指出由驾驶者通过按钮选择的菜单。在这里，驾驶者凝视的菜单除了平均值之外也可以通过加权平均、中值滤波等来选择。

本公开的实施例作为实例对按钮进行了描述，但利用视线追踪的控制器340还可以包括接收驾驶者的声音或手势等的输入设备。如上文描述，根据本公开的实施例，在利用驾驶者的视线作为菜单的指向并识别驾驶者的按钮点击作为指向菜单的选择时，考虑到人的反应时间(例如，0.1秒)，检测驾驶者凝视的菜单，由此能够准确地选择驾驶者要选择的菜单。

本公开上述内容可由本领域技术人员在不脱离本公开的范围和实质内，进行各种取代、改变和修改。因此，本公开不限于上述实施例和附图。