鲁棒的眼睛/视线追踪装置和方法
【技术领域】
[0001]本发明大体上涉及一种用于产生关于对象的眼睛和/或视线追踪数据的技术方案，例如，该对象为计算机屏幕前方的人。更特别地，本发明设计一种根据权利要求1的前序部分的眼睛/视线追踪装置以及根据权利要求15的前序部分的眼睛/视线追踪方法。本发明还涉及一种根据权利要求29的计算机程序产品以及根据权利要求30的计算机可读介质。
【背景技术】
[0002]用于自动追踪人眼睛的技术方案已经存在了许多年。眼睛追踪被理解为对眼睛相对于头部的运动进行测量的过程，而视线追踪为确定视线点(即对象正在看的地方)的过程。所以，眼睛/视线追踪器是用于对眼睛位置和/或眼睛运动进行测量的设备。眼睛/视线追踪器被用于在视觉系统研究、心理学、认知语言学中以及被用于控制各种计算机系统。眼睛/视线追踪器还可以被用在车辆中以确定驾驶员的困倦或者使得能够与内部显示器进行交互。测量眼睛运动有很多不同的方法。然而，最普遍的变型使用的是视频图像，由该视频图像提取眼睛位置。
[0003]在视频数据中找到对象的眼睛并随后维持对眼睛的追踪通常具有挑战性。一般地，一组初始图像数据表示场景的较大视图，并且在识别出眼睛候选者之后，仅读出成像传感器上与眼睛所处位置对应的区域。换句话说，这减小了平均带宽需求，并且增大了图像传感器读出频率。因此，由于较短的读出时间导致的任何无控制光源的效应能够被减少。该策略通常被称为图像裁剪、开窗或应用ROI (reg1n of interest,关注区域)或AOI (areaof interest，关注区)。当这样做时，图像大小变小，然而通常在每个图像中使用传感器能够提供的最闻的可能分辨率。
[0004]发现并追踪目标(诸如面部或尤其是面部特征)的通常的高效方法是使用基于图像的识别技术，该识别技术基于其他算法而非用于视线追踪的最高效算法。换句话说，所识别的目标和随后处理的目标在大小和形状上有很大的不同。因而，对于特征识别，使用摄像头的全视场是有益的。进一步地，在眼睛追踪过程中，当仅使用ROI图像时，眼睛追踪器有可能“锁定”到实际上并非眼睛的眼睛候选者上。因此，在一个或更多眼睛位于ROI外时，(在发现对象的眼睛之后)从广视场切换到R0I，以及随后切换回广视场可能有用。在多个对象位于眼睛追踪器前方时，这同样有益。
[0005]W02008/107713公开了一种用于目标识别应用的图像处理的方法和装置。其中，首先，以相对广的视场、相对低的分辨率获得图像。图案识别算法被应用于第一图像以识别关注目标。在确定至少一个关注目标及其在图像中的坐标之后，对同一图像捕捉设备或额外的图像捕捉设备进行控制以获得一序列具有相对窄的视场、相对高的分辨率的第二图像，该相对窄的视场含有所述至少一个关注目标。
[0006]US 2009/0219387描述了一种自动视频监视系统，其中，视频摄像头最初寄存一系列低分辨率图像。该视频数据经过分析，并且根据此分析，在视频摄像头采集的场景中确定至少一个关注区域。以比初始系列的图像更高的分辨率水平追踪该至少一个关注区域。对更高的分辨率水平进行动态选择，以使得场景内的重要细节得到适当的细查，同时非关注区以较低分辨率成像。较优地，后续的视频数据以不同的暴露水平同时寄存以提供更大的动态范围，并因此提供改善的图像质量。
[0007]技术问题
[0008]因此，在现有技术方案的示例中，图像数据最初以相对低的分辨率寄存，并且随后以更高的分辨率和/或改善的图像质量来追踪特别关注区。在本发明的背景下，术语“图像分辨率”、“分辨率”或者其他此类术语是指每像素成像的视场的大小。更具体地，分辨率为成像的视场除以像素个数，即，图像的水平视场除以以像素为单位的图像宽度，或者成像的垂直视场除以以像素为单位的图像高度。因此，分辨率相对较高的图像每视场角具有许多像素，而分辨率相对较低的图像每视场角具有较少像素。
[0009]然而，为了达到鲁棒的眼睛/视线追踪系统，重要的是重复验证“追踪的眼睛”的确对应于作为整个摄像头视场中最佳的眼睛候选者的图像元素。
[0010]对于视线追踪，众所周知(已知视线角、眼睛位置和角膜半径)，照明器和摄像头的相对位置决定了所述照明器的清晰反射在角膜上的位置。反射或闪烁有时可能位于不利于视线追踪的位置，例如通过引起眼镜中的反射，使通孔的大部分模糊，或者与角膜区域重合，这在所使用的眼镜模型中很难表示。
[0011]在这样的情况下，一方面，相当期望可以使用来自系统中的任何其他照明器的信息。另一方面，能够被适应性选择的发光器所在的系统可能与可测性和可重复性问题相关，这是因为这样的系统在不同情况下可以显示出不同的行为。而且，系统的可重复行为能够避免任何与硬件相关的关于稳定性的问题(例如，由不均匀且无法预期的热量分布引起的稳定性的问题)以及任何通过在照明器之间随机切换引起的低频分量中的可见闪烁。
【发明内容】
[0012]本发明的目的是缓和以上问题，并因此提供更加鲁棒和稳定的眼睛/视线追踪技术方案。
[0013]根据本发明的第一方面，该目标的实现是通过最初所述的装置，其中，控制单元被配置为控制图像寄存单元的操作序列，以使得数据处理单元接收的系列图像代表图像帧重复序列。进一步，每个周期包含至少一个第一分辨率的图像帧以及至少一个不同于第一分辨率的第二分辨率的图像帧。
[0014]该装置是有利的，这是因为，一方面能够利用基于图像的特征识别技术，例如使用第一分辨率的图像帧或第二分辨率的图像帧。某些可能的特征识别技术包括对图像帧成像的人的面部动作、手势、面部特征、面部表情、闭眼、识别数据和身份识别的检测。另一方面，可以应用最高效的视线追踪算法，例如应用于第二分辨率的图像帧。所以，可以在普遍的鲁棒实施方式中将可靠的特征追踪与高质量的眼睛/视线追踪相结合。
[0015]根据本发明的此方面的一个优选实施方式，图像寄存单元包含具有一组传感器元件的图像传感器。而且，图形寄存单元被配置为以图像帧形式传递所述传感器元件寄存的数据，其中，至少一个第一分辨率的图像帧包含来自第一组所述传感器元件的数据；并且至少一个第二分辨率的图像帧包含来自第二组所述传感器元件的数据。所以，第一组和第二组可以代表图像传感器的不同裁剪。
[0016]例如，根据本发明的一个实施例，第一组可以与相对较低的第一分辨率相关联并且等价于所谓的全帧，也就是包含来自横跨传感器区的全宽和全高位置处的传感器元件的数据的图像帧。较优地，第一分辨率的图像帧是包含来自涉及传感器区的全宽的至少80%和全高的至少80%传感器元件的数据的基本全帧。第二组可以与相对较高的第二分辨率先关联并且等价于所谓的子帧，子帧包含来自小于横跨传感器区的全宽和/或小于全高位置处的传感器元件的数据，例如，小于全宽的50 %和/或小于全高的50 %。因此，第一组可以形成上述特征识别技术的基础，而第二组可以是适用于对一个或更多识别出的眼睛候选者进打追踪的ROI。
[0017]根据本发明的此方面的另一优选实施例，眼睛/视线追踪装置包括第一光源。控制单元被配置为与至少一个图像寄存单元的操作序列协调控制第一光源。更确切地说，这意味着当寄存至少一个第二分辨率的图像帧中的至少一个时，第一光源发光。自然，照明可以选通，以使得例如第一光源仅在一部分传感器暴露下发光。
[0018]根据本发明的此方面的又一优选实施例，眼睛/视线追踪装置包括第二光源。控制单元被进一步配置为与图像寄存单元的操作序列协调控制第二光源，以使得当寄存图像帧重复序列的至少一个图像帧时，第二光源发光。
[0019]使用这样的重复(并因此)已知的图像序列捕获和照明使得可以使用来自两个或更多光源的信息，并借此抑制任何不利位置的闪烁/反射；并且与此同时，满足与可测试性及可重复性相关的要求。例如，当寄存低分辨率全格式图像时使用一组光源，并且当寄存高分辨率ROI图像时使用另一组光源，这是有利的。
[0020]根据本发明的此方面的又一优选实施例，眼睛/视线追踪装置仅包含单个图像寄存单元，该单个图像寄存单元被配置为对代表对象的单个系列图