便携式眼睛追踪设备的制造方法
【专利摘要】公开了一种便携式眼睛追踪器设备，其包括框架、至少一个光学器件保持构件、运动传感器和控制单元。框架可以是适于由用户佩戴的框架。至少一个光学器件保持构件可以包括配置成选择性地光照用户的至少一个眼睛的至少部分的至少一个光照器、以及配置成捕获表示用户的至少一个眼睛的至少部分的图像的图像数据的至少一个图像传感器。运动传感器可以配置成检测框架的运动。控制单元可以配置成控制至少一个光照器以用于选择性光照用户的至少一个眼睛的至少部分，从图像传感器接收图像数据，并且从运动传感器接收信息。
【专利说明】
便携式眼睛追踪设备[0001]相关申请的交叉引用本申请要求2013年9月3日提交的题为“PORTABLE EYE TRACKING DEVICE”的美国临时 专利申请号61/873，154的优先权，该美国临时专利申请的整个公开内容据此出于所有目的 通过引用并入本文，就像在本文中完整阐述的那样。[0002]本申请还涉及与其同时提交的题为“PORTABLE EYE TRACKING DEVICE”的美国专 利申请号14/281,599、与其同时提交的题为“PORTABLE EYE TRACKING DEVICE”的美国专利 申请号14/281,616、与其同时提交的题为“PORTABLE EYE TRACKING DEVICE”的美国专利申 请号14/281,587,以及与其同时提交的题为“PORTABLE EYE TRACKING DEVICE”的美国专利 申请号14/281,676,这些美国专利申请的整个公开内容据此出于所有目的通过引用并入本 文，就像在本文中完整阐述的那样。
【背景技术】
[0003]在现有技术中已知用于确定用户在看的点的方法。该技术通常称为眼睛追踪或凝视(gaze)检测技术。眼睛追踪系统典型地以两个主要形式见到。在一种形式中，传感器或者其他眼睛追踪设备定位成远离用户的眼睛，诸如在计算机、显示器或类似设备中或者在其上。
[0004] —种已知的眼睛追踪方法包括使用红外光和图像传感器。朝向用户的瞳孔引导红外光并且光的反射由图像传感器捕获。通过对反射点的分析，可以计算用户的凝视方向。一个这样的系统在转让给Tobii Technology AB, Sweden的美国专利号7,572,008( “’008专利”)中描述。’008专利的整个公开内容据此出于所有目的通过引用并入本文，就像在本文中完整阐述的那样。
[0005]便携式或者可佩戴的眼睛追踪设备也在之前已经描述并且可用于商业购买。一个这样的眼睛追踪系统在转让给Tobii Technology AB, Sweden的美国专利申请公开号 2011/0279666( “’666申请”)中描述。’ 666申请的整个公开内容据此出于所有目的通过引用并入本文，就像在本文中完整阐述的那样。’666申请描述了一种可佩戴的眼睛追踪设备，其要求将外部红外光源放置在场景中作为参考点，以帮助确定用户的凝视方向。
[0006]当仪器相对于佩戴者的头部运动时，现有的便携式眼睛追踪系统可能遭受严重的性能降级。例如，眼镜可能相对于佩戴者的鼻子滑动；另外，佩戴者可能在佩戴眼镜时手动地调节眼镜。对于要求校准的设计，眼镜相对于佩戴者的头部的这样的运动可能使校准无效并且使读取的精度显著降级。作为另一示例，单摄像机便携式眼睛追踪系统可能在某些条件下提供相当大地降级的读数，包括当佩戴者处于强光源存在中时;暴露于直射太阳光； 或者当单个摄像机的视野受到诸如由眼睫毛阻挡时。此外，这样的单摄像机系统可能不能够检测用户的视场的末端处的凝视方向。
【发明内容】
[0007]在一个实施例中，提供一种便携式眼睛追踪器设备。便携式眼睛追踪器设备可以包括框架、至少一个光学器件保持构件、运动传感器和控制单元。框架可以是适于由用户佩戴的框架。至少一个光学器件保持构件可以包括配置成选择性地光照用户的至少一个眼睛的至少部分的至少一个光照器、以及配置成捕获表示用户的至少一个眼睛的至少部分的图像的图像数据的至少一个图像传感器。运动传感器可以配置成检测框架的运动。控制单元可以配置成控制至少一个光照器以用于选择性光照用户的至少一个眼睛的至少部分，从图像传感器接收图像数据，并且从运动传感器接收信息。
[0008]在另一实施例中，提供一种确定用户的凝视方向的方法。方法可以包括激活由用户所佩戴的框架上的至少一个光照器以选择性地光照用户的至少一个眼睛的至少部分。方法还可以包括从框架上的至少一个图像传感器接收表示用户的至少一个眼睛的至少部分的图像的图像数据。方法可以进一步包括从配置成检测框架的运动的运动传感器接收信息。方法可以附加地包括至少部分地基于来自运动传感器的信息和图像数据来确定用户的凝视目标区域。
[0009]在另一实施例中，提供一种在其上具有指令以用于确定用户的凝视方向的非暂时性机器可读介质。指令可以由处理器可执行以用于激活由用户所佩戴的框架上的至少一个光照器以选择性地光照用户的至少一个眼睛的至少部分。指令还可以可执行以用于从框架上的至少一个图像传感器接收表示用户的至少一个眼睛的至少部分的图像的图像数据。指令可以进一步可执行以用于从配置成检测框架的运动的运动传感器接收信息。指令可以附加地可执行以用于至少部分地基于来自运动传感器的信息和图像数据来确定用户的凝视目标区域。【附图说明】
[0010]结合随附各图来描述本发明:图1A示出根据本发明的一些实施例的眼睛追踪设备；图1B示出根据本发明的其他实施例的可替换的眼睛追踪设备；图2A示出根据本发明的一些实施例的眼睛追踪设备的后视图；图2B示出根据本发明的其他实施例的眼睛追踪设备的后视图；图3示出根据本发明的一些实施例的光学器件保持构件的第一视图；图4示出根据本发明的一些实施例的光学器件保持构件的第二视图；图5示出由本发明的各种实施例所采用的一种可能的方法;以及图6是能够在本发明的装置或系统的至少一些部分中使用或者实现本发明的方法的至少一些部分的示例性计算机系统的框图。
[0011]在随附各图中，类似的组件和/或特征可以具有相同的数字参考标记。另外，相同类型的各种组件可以通过由字母跟随参考标记来区分，该字母在类似的组件和/或特征之间进行区分。如果在说明书中仅使用第一数字参考标记，则描述适用于具有相同第一数字参考标记的任何一个类似的组件和/或特征而不管字母后缀如何。【具体实施方式】
[0012]随后的描述仅提供示例性实施例，并且不意图限制本公开的范围、适用性或配置。 相反，示例性实施例的随后描述将为本领域技术人员提供用于实现一个或多个示例性实施例的实现描述。应当理解到，可以在元件的功能和布置方面做出各种改变而不脱离如在随附权利要求中阐述的本发明的精神和范围。例如，本文讨论的一个实施例的任何细节可以或者可以不存在于该实施例的所有可能变形中，并且可以或者可以不存在于本文讨论的其他实施例的所有可能变形中。
[0013]在以下描述中给出具体细节以提供对实施例的透彻理解。然而，本领域普通技术人员将理解到，可以在没有这些具体细节的情况下实践实施例。例如，本发明中的电路、系统、网络、过程和其他元件可以以框图形式被示出为组件以便使实施例在非必要细节中模糊。在其他实例中，可以在没有非必要细节的情况下示出公知的电路、过程、算法、结构和技术以便避免使实施例模糊。
[0014]而且，要指出的是各个实施例可以描述为过程，其被描绘为流程图、流程示图、数据流图、结构图或框图。尽管流程图可以将操作描述为顺序过程，但是许多操作可以并行地或者同时执行。此外，操作的次序可以重新布置。过程可以在其操作完成时终止，但是可以具有未在图中讨论或包括的附加步骤。此外，并非任何特定描述的过程中的所有操作都可以在所有实施例中发生。过程可以对应于方法、功能、进程、子例程、子程序等。当过程对应于功能时，其终止对应于功能返回到调用功能或主功能。
[0015]术语“机器可读介质”包括但不限于便携式或固定的存储设备、光学存储设备、无线信道、以及能够存储、包含或承载(多个)指令和/或数据的各种其他介质。代码片段或者机器可执行指令可以表示进程、功能、子程序、程序、例程、子例程、模块、软件包、分类、或者指令、数据结构或程序声明的任何组合。代码片段可以通过传递和/或接收信息、数据、自变量、参数或存储器内容而耦合到另一代码片段或者硬件电路。信息、自变量、参数、数据等可以经由任何适当的装置来传递、转发或传送，包括存储器共享、消息传递、令牌传递、网络传送等。
[0016]此外，本发明的实施例可以至少部分地手动或自动实现。手动或自动实现可以通过使用机器、硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来执行或者至少辅助。当实现在软件、固件、中间件或微码中时，执行必要任务的程序代码或代码片段可以存储在机器可读介质中。(多个)处理器可以执行必要任务。
[0017]现在参照图1A，示出根据本发明的一个实施例的便携式眼睛追踪设备10。眼睛追踪设备10包括框架12,所述框架12具有以与传统的眼镜对或太阳镜对相似的这样的方式与它耦合的眼镜透镜(或透镜对)14。框架12可以包括中心部段(pieCe)15,眼镜透镜14附接到中心部段15并且两个臂部17(即边撑(temple))从中心部段15延伸。臂部17可以以传统眼镜透镜对或太阳镜对的方式适配在用户耳朵上方。
[0018]在一些实施例中，鼻子部段16可以提供用于舒适性并且帮助将设备10适配到用户鼻子。场景摄像机18(其可以捕获静止和/或视频图像和/或其他图像数据)可以设置在眼镜透镜14的中部，或者分离的眼镜透镜之间、鼻子部段16上方。麦克风20也可以放置成邻近或者靠近场景摄像机18。
[0019]控制单元22可以位于一个或两个臂部17内，在其前部、中部或者端部中。本文描述的任何处理器功能可以在控制单元22和/或与控制单元22通信的外部处理器处执行。控制单元22可以包括用于执行计算任务的元件，诸如印刷电路板(PCB)和其他电子器件，如将在本文中进一步详细描述的。控制单元22还可以包含设计成与外部计算设备通信的通信端口或组件。该通信端口或设备可以支持任何一个或多个形式的已知通信。例如，通信端口可以包括通用串行总线(USB)端口、火线端口、高清晰度多媒体接口(HDMI)端口、以太网端口等。 通信设备可以包括W1-Fi收发器、蓝牙收发器、或者任何其他近场或较长范围的通信设备。 在其他实施例中，通信端口或设备还可以具有专有类型，其尤其设计用于在便携式眼睛追踪设备中使用。通信端口或设备可以例如包括低供电无线通信装置。
[0020]图1B示出不同位置中的具有某些组件的可替换的眼睛追踪设备10A。在该实施例中，控制单元22可以位于臂部17的侧面上并且包括HDMI接口 19。
[0021]图2A示出当从后方观看时的根据本发明的某些实施例的眼睛追踪设备10。出于说明目的，已经从图中移除中心部段12的部分以示出可以包含诸如弯折连接器52和麦克风20 之类的电子组件的电路板50的放置。电路板50还可以包含处理架构，诸如数字信号处理器、 现场可编程门阵列和/或另一片上处理器系统。电路板50可以通过诸如螺丝54、粘合剂和/ 或其他装置之类的常规紧固装置而附接到中心部段12。中心部段12可以包括一个或多个部分，其适配在电路板50之上，使得电路板50设置在中心部段12内，并且在正常使用期间不可见。[〇〇22]设备10还可以包括两个光学器件保持构件70。在其他实施例中，可以提供仅一个连续的光学器件保持构件，其提供在图2A中示出的两个光学器件保持构件70的功能性。每一个光学器件保持构件70可以包括一个或多个图像传感器和一个或多个光照器，如将在下文进一步解释的。因而，光学器件保持构件70可以包括光照用户眼睛或其某一子部分(例如虹膜)以及捕获包括用户眼睛或其某一子部分上的光照的反射点的图像的组件。图2B示出图1B的可替换的眼睛追踪设备10A。[〇〇23]图3和4进一步详细地示出根据本发明的实施例的光学器件保持构件70。每一个光学器件保持构件70可以包括两个主要组件:覆盖物72和柔性构件74。覆盖物72可以在恰当地耦合于一起时覆盖柔性构件74,如通过光学器件保持构件70B所示出的。光学器件保持构件70A被示出为具有分开的柔性构件74和覆盖物72以便示出这两个组件之间的相互作用。 柔性构件74和覆盖物72可以配置成使得柔性构件74卡扣(snap)到覆盖物72中。作为另一示例，柔性构件74和覆盖物72可以使用粘合剂、螺丝和/或其他常规紧固装置而连接到彼此。 [〇〇24]柔性构件74可以包括弯折电路并且已经在其上安装一个或多个间隔的光照器76 和/或一个或多个图像传感器78。可以在每一个光学器件保持构件70中采用任何数目的光照器76(例如，1、2、3、4、5、6等)和图像传感器(例如，1、2、3、4、5、6等)。光照器76可以包括能够发射红外光的红外光照器，如本领域技术人员将容易理解的，但是也可以使用其他光照器，包括发射紫外和/或可见光的光照器。图像传感器78可以对由光照器76所发射的光以及可见光和可能存在于使用区域中的其他光是灵敏的。例如，当在外部使用设备10时，可能存在可见和非可见光谱中的环境光(例如来自太阳的可见和紫外光)，并且图像传感器78可以配置成检测和区分(例如过滤出或者以其他方式补偿)环境光的不同波长。柔性构件74可以包括电源(例如电池、太阳能电池等)以便以本领域普通技术人员将良好理解的方式向光照器76和图像传感器78提供功率。柔性构件74的上端可以包括连接到安装于中心部段12上的电路板50的接触元件80。柔性电路和电子器件的使用是公知的，并且本领域技术人员将领会到它们可以在本发明中使用的方式。
[0025]在本发明的一些实施例中，覆盖物72可以由光学透明材料形成，使得来自光照器76的光可以基本上不受妨碍地穿过覆盖物72。在一些实施例中，覆盖物72可以成形为将由光照器76所发射的光传送到适当位置。覆盖物72的部分或区域可以例如成形为透镜，其使来自一个或多个光照器76(或者甚至环境照明源)的光发散以光照包括用户眼睛的较大区域。覆盖物72的部分或区域还可以成形为使光会聚或聚焦在特定区域或位置上。覆盖物72 可以从单件材料模塑而成，其中材料的区域像透镜那样成形或者以其他方式成形为如上文所述那样传送光。在其他实施例中，覆盖物可以包括多个部分，其通过胶合、焊接、螺丝和/ 或其他常规紧固装置而固设在一起，其中一些部分传送光并且一些不传送，或者其中不同部分以不同方式传送光。在一些实施例中，柔性构件74和/或覆盖物72可以是双重模塑的并且包括滤波器，其防止光通过覆盖物72从光照器76更直接地传送到图像传感器78。光学窗口可以由覆盖物72提供或者以其他方式提供在每一个图像传感器78处。
[0026]眼睛追踪设备10可以从光照器76发射光，该光照器76光照用户的至少一个眼睛的至少部分。一个或多个图像传感器78然后可以捕获包括如由光照器76所光照的眼睛的至少部分的图像。该捕获图像可以经由柔性构件74传送到处理设备(例如控制单元22或其他处理器，也许处于与框架12分离的设备中)，其中可以通过分析图像数据来确定用户的凝视方向。
[0027]为了确定用户的凝视方向，可以确定用户的一个或两个眼睛的角膜位置。用户的 (一个或两个)眼睛的角膜位置可以通过检测从光照器76发射到用户的(一个或两个)眼睛上的光的反射或闪烁来分析。为了获得示出用户眼睛上的闪烁的高质量图像，可以使用多个光照器76的各种组合来发射光。例如，一个光照器76可以使用红外光进行光照，而另一个使用另一波长的光进行光照。图像传感器78然后可以在仅利用环境光来光照眼睛时、在通过每一个光照器76单独地光照眼睛时、或者在通过两个(或更多)光照器76同时光照眼睛时捕获图像。在这样的实施例中，图像传感器78可以准备用户眼睛的差分图像。
[0028]闪烁的检测可以利用图像差分技术(即将第一图像与第二图像相比较以检测改变)和/或标准图像分析算法来完成。例如，通过接通和关断光照器76并且在每一个状态下捕获用户眼睛的图像，可以经由图像的比较检测结果所得的闪烁。然而，在一些实施例中， 闪烁可以通过分析一个或多个图像以标识对应于闪烁的强度的区域来检测。一种闪烁检测的方法在Yoshinobu Ebisawa于 1998年8月4 日公布的文章 “Improved Video-Based Eye-Gaze Detect1n Method”中概述，该文章据此出于所有目的通过引用并入本文，就像在本文中完整阐述的那样。另外的闪烁检测的方法在题为“Method and system for relevant feedback through gaze tracking and ticker interfaces” 的美国专利6，577，329和题为 “Method and apparatus for communicat1n between humans and devices” 的美国专利8,292,433中讨论。前述专利的整个公开内容据此出于所有目的通过引用并入本文，就像在本文中完整阐述的那样。本领域技术人员将意识到根据从用户眼睛反射的光确定凝视方向的数种方式，并且本发明不限于上文记载的示例。
[0029]在本发明的一些实施例中，给定数目的红外光照器76可以用于光照用户的每一个眼睛。如所讨论的，可以在其他实施例中使用其他数目和/或类型的光照器76。在这样的实施例中，将预期到对应于每一个光照器76的一个或多个闪烁。因为还可以存在由诸如聚光灯或太阳光等之类的环境照明引起的其他闪烁，所以可以使用不同技术来标识哪些闪烁对应于光照器76并且哪些不对应。在一些实施例中，在光照器76未接通的情况下拍摄的用户眼睛的图像可以与在光照器76接通的情况下拍摄的图像相比较，以过滤出由环境光所造成的闪烁。然而，在其他实施例中，可以使用闪烁的大小、形状、预期强度和预期位置来确定哪些闪烁对应于哪些光照器。
[0030]在其他实施例中，可以与图像传感器78结合地使用波长滤波器以过滤出与由光照器76所发射的波长不对应的光波长。例如，在光照器76发射红外光的情况下，可以使用仅使红外光穿过至图像传感器78的滤波器。以此方式，图像传感器78可以仅检测由光照器76所发射的光引起的闪烁。相反地，可以采用过滤由光照器76发射的红外光而使环境光通过的滤波器。这样的滤波器可以关于各种人造环境光源良好地工作。在一些实施例中，透镜14还可以配置成阻挡环境红外或某种其他波长的光。然而，在包括包含红外和紫外二者的光谱的直射太阳光的情况下，滤波器可能不能够充分地阻挡所有环境光并且仅使由光照器76所发射的光通过。因此，由环境光引起的闪烁可能不可与由光照器76在光照器点亮时所发射的光引起的闪烁区分。
[0031]用于可佩戴眼睛追踪器设备10的用户的环境光条件可以随时间急剧改变。例如， 如果用户面对太阳，则他或她的眼睛可能经受由太阳光的大量光照，而如果用户背对太阳， 则他/她的眼睛可能明显较少地受光照。类似地，如果用户处于室内环境中，则光照可以基于各种光源的接近而显著变化。例如，如果用户站立在天花板灯的正下方，则他/她的面部和眼睛可能比他/她站立成邻近天花板灯的情况明显更多地受光照。此外，在一些实施例中，取决于光源的放置和类型，环境光水平可以在所追踪的两个眼睛之间不同。例如，用户可能定位成使得他/她的左侧处于直射太阳光中而他/她的右侧处于阴影中。
[0032]如所讨论的，可以可能的是通过使用内置式光照器76来补偿环境光水平的一些改变。还可以可能的是通过使用环境照明设置中可用的光的光谱范围之外的光来抵消环境光变化的影响。例如在室内设置中，可以使用紫外光照器76来以不存在或者以较低水平存在于室内照明中的紫外光对用户眼睛进行光照。类似地，红外光照器76可以使用在一些实施例上，假定红外光典型地以低水平存在于室内设置中。在一些实施例中，可以使用能够发射波长的范围之上的光的光照器76。在这样的实施例中，设备10可以编程为动态地分析环境光谱，并且将要由光照器76发射的波长选择成高于或低于所检测的光谱或者以其他方式限制到所检测的光谱的某一部分，在该情况下，传感器78还可以由设备10动态地调节。可替换地，可以提供与不同波长合调的不同类型的多于一个传感器78。[〇〇33]在另一实施例中，可以采用具有高水中吸收水平的光波长，诸如940nm。该概念在欧洲专利申请号12192370.0中讨论，其整个公开内容据此出于所有目的通过引用并入本文，就像在本文中完整阐述的那样。在该波长处，眼睛的暗瞳效应可以处于其最大状态，因为进入眼睛的大多数光将被吸收。附加地，该波长处的大气中的环境光水平相对低。另外， 环境光可以通过以适当材料或配置提供眼镜透镜14来阻挡对于传感器78可见的波长处的光而被寻址。在功能上，这改进信号质量，因为光被阻挡而不能穿过眼镜透镜14。
[0034]在一些实施例中，可以使用差分照明应用。例如，(多个)图像传感器78可以每秒捕获60次用户眼睛的图像，并且光照器76可以配置成与(多个)传感器78的曝光异相地每秒改变60次状态(开/关)。在这样的情况下，图像数据的每一个其他帧表示如由光照器76光照的用户眼睛，其中交替帧表示如由环境光所光照的用户眼睛。当分析图像数据时，可以采用图像处理来确定两个相邻帧之间的差异，并且因此将由来自光照器76的反射所导致的闪烁与由来自环境光的反射所导致的闪烁区分。光照器76的强度或曝光时间可以在一些实施例中动态地调节，例如基于佩戴者周围的环境光的水平。例如，当存在更多环境光时，可以应用较高水平的光照或者较长的曝光时间，或者如果来自环境光的闪烁由传感器有利地使用， 则可以应用较少水平的光照或者较短的曝光时间。此外，可以成组控制光照器76以允许图像传感器78和图像处理算法检测并且补偿来自环境光的噪声。[〇〇35]环境光可以用于检测所捕获的图像数据中的反差(contrast)以确定用户瞳孔和/ 或虹膜的位置。该信息可以与基于与光照器76相关联的闪烁的信息一起使用以确定用户所看的方向。针对从光照器76所发射的光照的脉冲长度和强度以及图像传感器78的曝光时间的不同设置可以用于补偿环境光的明亮度，并且可以特别地改进黑暗或明亮环境光条件下的性能。
[0036]例如，当存在高水平的环境光时，可以禁用光照器76并且用户瞳孔的位置可以基于闪烁或者作为环境光的结果而检测的其他图像数据来进行三角测量。因而，可以分析图像数据以仅使用环境光来确定角膜的位置。在一些情况下，光照器76可以用于帮助反差检测，其中与由图像传感器78的图像捕获协调的光照的简短闪光可以足以检测用户瞳孔的位置。具有较短曝光时间的短强光照脉冲的使用可以帮助避免诸如过度曝光、运动模糊和滚动快门效应之类的效应。例如，在购物研究情况下，移动眼睛追踪器用户可以快速地四处运动他/她的头部而同时为了期望产品而扫描商店货架。类似地，当在环境中存在太少环境光时，光照器76可以用于帮助产生光以使得有可能获得眼睛的反差。光照器76因而可以配置成以较长曝光时间发射较低强度的较长脉冲和/或恒定地发射低强度光。在本发明的一个实施例中，所有光照器76可以同时激活使得所发射的光在角膜上的多个反射可以由传感器 78捕获。设备10然后可以使用所测量的瞳孔位置来确定凝视方向、方位数据、角膜位置和瞳孔大小中的一个或多个。
[0037]在一些实施例中，多个光照器76中的至少一个、多个图像传感器78中的至少一个或者控制单元22的算法的校准可以在受控制的照明条件下进行以确定瞳孔和/或角膜的位置。在又其他实施例中，虹膜的位置可以单独基于环境光来追踪;例如虹膜线可以被标识以确定眼睛的方位。仅依赖于环境光的各种模式可以基于数个条件而激活。例如，这样的模式可以在电池功率低时激活以便通过禁用光照器76来节省功率。此外，模式可以在环境照明达到其中基于闪烁的追踪的精度至少相当于另一可用模式的精度的水平时激活。本领域技术人员将领会到，可以使用数个不同配置来获得图像数据，并且本发明不限于以上所记载的示例。将在本文中进一步讨论附加校准方法。
[0038]可以通过确保闪烁具有最佳大小来最大化便携式眼睛追踪器设备10的精度。太小的闪烁可能难以检测并且因此减小精度。另一方面，太大的闪烁可能难以准确地放置并且因此可能类似地通过干扰瞳孔检测或以其他方式减小性能。闪烁的大小可能受由光照器76 所发射的光的强度所影响。闪烁的大小可能进一步受图像传感器78的灵敏度设置、孔径和/ 或曝光时间所影响。图像传感器78的(多个)设置可以调节成补偿环境光，并且光照器76的强度继而可以调节成获得最佳闪烁大小。此外，光照器76的强度以及图像传感器78的设置可以平衡以获得闪烁的最佳反差水平使得它们可以容易地检测。本领域技术人员将领会至IJ，闪烁的大小、反差和其他特性可以以数个方式优化，并且本发明不限于以上所记载的示例。
[0039]针对每一个眼睛的光条件可以通过分析由图像传感器78所捕获的图像或者使用外部光传感器或二者的组合来确定。该分析结果可以用于实时地控制针对每一个眼睛的眼睛追踪器设置。在本发明的一些实施例中，可以通过嵌入在便携式眼睛追踪器设备10中的光传感器来确定相关光水平。在其他实施例中，光水平可以使用一个或多个场景摄像机18 来确定。通过基于针对每一个眼睛的当前光条件实时地单独控制光照器，眼睛追踪器设备 10的总体性能可以相比于其中设置仅基于一个眼睛或者两个眼睛的平均的情况而改进。
[0040]在由图像传感器78捕获的图像数据中已经标识对应于光照器76的闪烁之后，使用已知的图像处理技术来确定这样的闪烁相对于用户眼睛的位置。一旦确定闪烁位置，就可以分析它们以确定用户角膜的位置。在一些实施例中，闪烁的位置可以映射到人类眼睛的三维模型上。例如，闪烁可以映射到角膜上。在一些实施例中，角膜可以假定为完美球体;闪烁的位置可以用于确定角膜相对于瞳孔的位置。角膜相对于瞳孔的该位置可以继而用于确定凝视方向以及由此眼睛的光轴。基于闪烁确定凝视方向的各种装置在现有技术中是已知的，并且本领域技术人员将领会到，本发明不限于以上所记载的示例。
[0041]在本发明的一些实施例中，提供多于一个图像传感器78以用于捕获每一个眼睛的图像。在两个图像传感器78被用于每一个眼睛的情况下，这可以被称为“立体模式”。通过从多个视点捕获眼睛的图像，可以通过诸如控制单元22或其他处理器之类的处理器来确定附加信息，诸如眼睛离每一个图像传感器78的距离。另外，通过操作多于一个图像传感器78而在系统中存在冗余水平，由此即便在一个或多个图像传感器78停止作用的情况下，它仍可以起作用。
[0042]任何数目的图像传感器和/或其配置可以与多个光照器76组合以在各种配置中操作来优化系统的可靠性。例如，设备10可以配置成尝试光照器76的各种配置(例如循环通过各种光照图案和/或顺序)以确定光照器76的哪个配置创建每一个图像传感器78处的最佳图像。光照器76然后可以配置成以使得每一个图像传感器78在最佳光照中拍摄图片的频率改变状态(开/关)。例如，如果针对每一个眼睛存在三个图像传感器78，并且每一个图像传感器78每秒捕获30个图像，则光照器76可以配置成每秒改变90次状态使得每一个图像传感器78可以在专用光照设置中捕获图像。这可以进一步用于提供用于凝视数据的增大的帧速率。另外，针对眼睛使用多于一个图像传感器78减少设备10与用户之间的校准的必要性， 即，可以有可能的是在一些实例中在没有用户校准的情况下操作设备10,这是由于通过具有多于一个图像传感器78所搜集的额外数据的缘故。[〇〇43]多于一个图像传感器78还可以虑及补偿设备10的物理运动。例如，当配置为一对透镜时，设备10可以滑下用户的鼻子，并且用户继而可以将它向上推回。在用户头部的快速运动之后，或者出于任何其他原因，设备10也可以相对于用户头部运动。设备10相对于用户头部的该类型的运动可能减少或消除从现有校准所得到的任何精度。使用多个图像传感器 78可以在不需要重新校准的情况下改进精度。例如，当两个图像传感器78被用于每一个眼睛时，从两个视角检测每一个闪烁并且有可能以较大精度估计角膜的位置，甚至在其中设备10在任何初始校准之后已经相对于用户头部运动的情况下。
[0044]在本发明的一些实施例中，设备10还包括一个或多个运动传感器或定位设备25。 运动传感器或位置设备25可以包括以下中的一个或多个:陀螺仪;加速度计;罗盘、GPS或其他卫星接收器;GLONASS罗盘;或者任何其他位置、定位或方向传感器。运动传感器或定位设备25可以使得能够追踪设备10本身的位置和/或方位以及继而追踪用户头部的位置或定位。这可以允许设备10计及头部运动并且基于关于头部运动的信息来调节凝视方向数据以提供对凝视方向的更好估计。基于用户眼睛的方位所确定的凝视方向可以是相对于用户头部的方位。关于基于用户眼睛的凝视方向的信息可以因此扩增有关于用户头部的方位的信息。对于短暂时刻而言，该扩增可以使用加速度计或陀螺仪执行。然而，这些设备的不准确性可能引起漂移，如果它们用于随时间确定方位的话。在一些实施例中，关于基于用户眼睛的凝视方向的信息和/或关于用户头部的方位的信息可以使用来自罗盘的信息进一步扩增，所述罗盘提供相对于绝对参考点的方位信息。另外，当进行凝视数据的固定滤波时，关于设备方位的改变的信息可能是有帮助的。假定周围的对象保持相对静止，则确定佩戴设备的用户固定在静止对象处而同时运动其头部可能容易得多，如果设备方位数据可用的话。
[0045]在其他实施例中，运动传感器或定位设备25可以嵌入在与设备10或设备10的任何部分连接的装置中。例如，运动传感器或定位设备25可以与设备10或设备10的任何部分无线连接或者利用线缆连接。在一些实施例中，这样的运动传感器或定位设备25可以携带在由用户所佩戴的背包中，或者以其他方式由用户携带。当运动传感器或定位设备25嵌入在设备10中时，其可能能够提供关于用户的凝视位置的更准确信息。数个不同的系统可以提供或计及所要求的延迟和精度。特别地，陀螺仪和罗盘可以提供更准确的信息，如果嵌入在设备10本身中的话。
[0046]此外，来自运动传感器或定位设备25的信息可以用于稳定来自(多个)场景摄像机 18的图像数据。例如，场景摄像机18可以捕获接近由用户所看到的视野的图像数据。来自运动传感器或定位设备25的信息可以用于稳定该图像数据。关于用户的凝视的信息可以进一步用于裁剪或以其他方式调节该图像数据以更准确地表示用户的凝视方向。图像稳定或补偿可以包括视频数据的线位移(line-shifting)。存在涉及使用陀螺仪或加速度计的数个公知的图像稳定方法，并且本领域技术人员将领会到，这些方法可以如何与本发明的实施例组合。此外，基于时间的补偿可以应用于图像数据以计及场景摄像机18中所固有的图像捕获延迟。特别地，由视频摄像机、滚动快门摄像机以及CCD类型摄像机所捕获的图像可能由于图像捕获延迟而未示出针对获得凝视点时的正确视野。时间补偿可以取决于场景摄像机18的类型和/或凝视点定位在图像中何处而不同。[〇〇47]图像处理和稳定在一些实施例中可以在捕获数据时实时地在设备10上或外部设备上执行。在其他实施例中，图像数据可以仅存储在设备10上或者传输给外部设备(未示出)，并且图像稳定或其他处理可以基于所捕获的数据而随后执行。所采取的方法可以取决于设备10中可用的处理能力，以及从机载或以其他方式连接的(多个)电源可用的能量。特别地，某些类型的处理可能要求大量计算能力，其继而消耗很多电池容量。在一些实施例中，设备10可以是可配置的以优化电池容量或者针对实时处理进行优化。
[0048]此外，可以分析来自场景摄像机18的所捕获的图像或视频中的元素以确定用户头部的方位以及用户头部的运动速度。通过分析接连图像或视频中的元素的相对位置，可以做出对凝视方向的计算的调节以补偿运动。在另外的实施例中，图像传感器78和/或场景摄像机18可以利用滚动快门来进一步改进确定用户头部的方位的精度的精度。通过与图像传感器78和场景摄像机18的行的读出信息组合地确定用户头部的方位和运动，所确定的凝视方向可以以使得凝视方向可以被校正成反映在计算凝视方向时存在于用户视场中的实际场景的这样的方式重叠在由场景摄像机18所捕获的图像上。
[0049]例如，设备10可以利用从传感器78导出的凝视数据来校准来自场景摄像机18的所捕获数据以便更正确地反映在与来自场景摄像机18的所捕获数据有关的特定时间用户看向何处以及何时看向。在本发明的实施例中，该方法可以在以下情况下采用:由场景摄像机 18捕获的图像数据已经由于例如滚动快门失真或振动而失真。另外的实施例包括考虑设备的瞬时运动数据并且相应地通过利用运动传感器和/或其他传感器进行校准。
[0050]可以分析来自场景摄像机18的视频以标识用户视场中的对象。通过标识对象以及对象离用户的距离，可以确定关于凝视方向和目标的更准确信息。可以使用计算机视觉算法来从图像数据检测对象。在一些实施例中，多个场景摄像机18可以用于提供立体视觉以及更准确的计算机视觉算法。如同图像稳定和其他处理那样，对象标识可以取决于设备10 上可用的计算能力和功率容量而实时地或者作为后处理完成。可替换地或者附加地，场景摄像机18可以是测量到佩戴设备10的人的视场内的对象的距离的深度摄像机。深度摄像机还可以确定对象的强度水平，因而也提供灰度等级图像。
[0051]此外，图像分析可以用于基于在用户的视场内所检测的对象的标识来确定用户的位置。换言之，用户的视场内的对象(例如已知为与给定地点或地点类型相关联的地标或对象)可以揭示用户的位置。例如，对象或其他标记(诸如标志、产品类型、定价标签产品等等) 可以指示用户存在于特定零售商店或者至少某一类型零售商店内。作为另一示例，场景摄像机18或连接到设备10的另一扫描设备可以配置成扫描出现在用户的视场内的条形码，其可以揭示用户存在于零售商店或者其他已知位置或已知类型的位置内。这样的位置信息可以与来自位置传感器和运动传感器的信息复合，以确定用户到达他/她的存在位置所采取的路径和/或在该位置周围导航。在用户处于电视或显示器(例如显示计算机游戏)附近的情况下，游戏可能能够处理由设备10提供的眼睛追踪输入;可以使用图像分析来确定相对于电视或显示器的用户凝视的方向。
[0052]此外，来自场景摄像机18的图像的图像分析可以用于同时定位和映射(SLAM)。 SLAM是构建位置地图而同时在该地图内映射设备的位置的过程。SLAM由机器人及类似器械频繁使用并且可以包括用于捕获机器人的环境的图像以用于映射的图像传感器。根据本发明的实施例的设备也可以与SLAM—起使用。
[0053]在运动传感器被用于检测运动的情况下，当在较长的时间段内依赖于它们时，可能存在数据内的显著漂移。来自这些运动传感器的信息因此可以通过基于从(多个)场景摄像机18所检测的对象而确定的位置信息来校正。使用(多个)场景摄像机18所检测的对象可以包括特性结构或对象以及条形码。在其他实施例中，经由麦克风20所检测的声音信息可以用于确定位置。例如，超声发射器可以放置在遍及特定位置(诸如零售商店)的各点处，并且麦克风20可以用于确定最靠近的发射器。可替换地，超声源可以安装在设备10上并且麦克风被用于确定在超声源的方向上到最靠近的对象的距离。另外或者可替换地，麦克风20 可以被用于检测其他环境声音，并且这样的信息可以至少部分地用于确定其中存在用户的位置或位置类型。在一些实施例中，RFID标签读取器可以包括在设备10中使得RFID标签可以被用于确定用户的位置。作为附加示例，W1-Fi信号和/或其他通信信号可以通过适当的收发器和设备10上所机载的逻辑来接收并进行三角测量，以确定用户的位置。本领域技术人员将领会到，本发明不限于上文所记载的示例并且可以使用数个位置标识装置来聚合或确定关于佩戴者的位置信息。
[0054]在一些实施例中，一个或多个附加的设备可以嵌入在设备10中或者与设备10耦合。例如，场景摄像机18可以被用于记录用户可能在其中运动和/或观看的区域中的图像。 陀螺仪可以被用于罗盘类特征以标识设备10指向哪个方向以及因而用户看向哪个方向。设备中的图像传感器78然后可以基于头部所指向的地方的方向来标识用户的凝视点的角度和距离。来自这些多个传感器的信息组合起来可以用于计算表示佩戴者的凝视的向量。该向量可以变换和可视化在场景摄像机18的视野中。向量可以在一些实施例中用于基于关于用户的凝视聚焦在哪里的信息而提供热图。提供在设备10上的显示器30可以允许用户观看由设备10所提供的该视觉数据或其他视觉数据。仅仅作为示例，这样的显示器30可以包括 LCD屏幕、LED屏幕、棱镜投影仪和/或其他显示技术。
[0055]在本发明的一些实施例中，凝视向量可以用于模拟沿着凝视方向从用户的视点的视角。如上所述，凝视向量可以用于稳定来自附接到设备10的场景摄像机18的图像。然而， 场景摄像机18可能不捕获充分质量的视频或者具有以充分质量传送视频的能力。凝视向量因此可以连同来自其他摄像机(诸如静止或追踪摄像机)的视频数据一起用于准备仿效从场景摄像机18的视野的合成视野。类似地，针对一个或多个用户的凝视向量可以显示在概观视角中。本发明的该应用可以尤其与体育赛事有关。例如在足球比赛中，单独球员的凝视向量可以连同一些或所有其他球员的凝视向量一起显示。此外，可以针对具有球的球员显示场景摄像机视野或所近似的场景摄像机视野的画中画。类似的应用可以用在大型协调警察行动中。本领域技术人员将领会到，本发明不限于以上记载的示例，并且在不同赛事的情况下以及在其他情形下的应用可以是有用的。
[0056]凝视向量还可以用于以数个方式优化来自一个或多个场景摄像机18的视频数据。 在本发明的一个实施例中，凝视向量可以用于确定针对场景摄像机18的聚焦和光设置。例如，场景摄像机18可以聚焦在凝视向量的目标上。此外，场景摄像机18的照明水平可以针对所确定的凝视方向的目标区域而优化。在其中计算机视觉用于检测由场景摄像机18捕获的对象的本发明的实施例中，关于对象离用户的距离的信息可以被确定并且用于进一步改进场景摄像机18的曝光或照明设置。在一些实施例中，凝视目标区域可以在表示用户的视场的至少部分的图像的图像数据内确定。在这些实施例中的一些中，他凝视目标区域可以包括来自场景摄像机的图像中的图像数据的少于5%、少于10%、少于15%、少于20%、少于25%、少于30%、少于35%、少于40%、少于45%或者少于50%。控制单元22然后可以控制场景摄像机以基于凝视目标区域和/或在凝视目标区域内调节聚焦或光敏度中的至少一个。
[0057]然而，在其他实施例中，场景摄像机18的调节可能不是必要的。例如，当用户在明亮日光下驾驶车辆时，场景摄像机18可以捕获车辆的仪表盘和通过挡风玻璃的视野。通过挡风玻璃所看到的对象可以以比仪表盘高得多的水平受光照，并且自然地遥远得多。使用标准自动聚焦和光检测，场景摄像机18可以基于所检测的图像中的平均明亮度来调节并且聚焦到摄像机视野的中心中的对象。然而，当使用凝视向量时，图像可以在用户看向仪表盘时聚焦在仪表盘上，并且在用户看向道路时聚焦在道路上。类似地，所捕获的视频的照明水平可以在用户看向仪表盘时调节成针对仪表盘是适当的并且在用户看向道路时调节成针对道路是适当的。
[0058]在一些实施例中，凝视数据可以用于优先化图像的区域以得到更多细节。基于所使用的视频压缩，可以给予由凝视作为目标的图像的区域优先权。在其他实施例中，视频流可以划分成两个或更多馈送。一个低质量的馈送可以包括场景摄像机的整个视场，而高质量的馈送可以包括凝视向量的目标周围的小的区域。在另一实施例中，可以使用视频馈送的矩阵，并且其比特率可以基于凝视向量的位置而动态地适配。本领域技术人员将领会到， 视频质量可以以数个不同方式来调节，并且本发明不限于以上记载的示例。
[0059]在另外的实施例中，设备10可以包括用于向用户发射声音的扬声器。扬声器可以放置在设备10上靠近用户的耳朵。
[0060]在其中处理器用于检测由场景摄像机18所捕获的图像中的对象的实施例中，凝视向量可以用于仅选择凝视目标周围的图像数据的子集来处理并且因而减少处理工作量以改进反馈时间、电池时间等。
[0061]本发明的实施例可以采用动作触发，其使得动作由设备10、其某一子组件、或者诸如计算机、平板电脑、电视和/或游戏机之类的所连接的系统来执行。根据一些实施例，动作触发可以由设备10以许多可能的方式制定，包括:?由传感器78捕获并且由设备10或所连接的系统处理的图像，从而导致以预确定的图案检测存在眼睛、不存在眼睛、眨眼、注视、扫视、用户的凝视方向或者用户的凝视运动。?由场景摄像机18捕获并且由设备10或所连接的系统处理的图像，从而导致使用计算机视觉算法检测光、(多个)所标识的对象、(多个)所标识的模式和(多个)所标识的手势的改变。?基于开关或按钮的触发。例如，设备10或另一设备上的物理按钮。?基于音频的触发。例如，由用户说出并且由麦克风20检测的声音、词语或命令。 ?加速度计或陀螺仪检测的动作触发，诸如点头或其他头部运动。?以上描述的动作的组合。
[0062]本发明的实施例包括校准技术，由此外部对象可以用于促进设备10的校准过程。 仅仅以示例的方式，光照器76、图像传感器78和/或控制单元22的算法可以在这样的校准期间调节。在一些实施例中，诸如打印介质、电视或其他显示器之类的外部设备可以包含可由设备10容易标识的特征。在一些实施例中，特征可以是特定帧、QR代码、不可见特征(即红外特征)和/或其他可见特征。特征可以包含标识代码，其在由设备10识别时允许设备10通过诸如因特网、蓝牙、w1-fi或其他通信协议之类的通信协议而连接到外部设备。外部设备然后可以进入校准模式，由此用于校准的图标显示在屏幕上并且通过扬声器发射或示出校准指令。具体校准过程是公知的，但是典型地包括在屏幕上有序显示图标，用户然后凝视其， 并且设备10确定相对于每一个所显示的图标的凝视方向。
[0063]通过具体示例的方式，一些实施例可以执行校准方法，由此当设备10由用户佩戴并且图案放置在用户前方使得图案处于场景摄像机18的视场内时。场景摄像机18记录图案的图像，而图像传感器78捕获用户的(多个)眼睛的图像。处理设备分析图案并且确定图案的已知分量。处理设备利用由图像传感器78所捕获的图像来分析用户的凝视方向并且将凝视方向针对图案的已知分量进行匹配。因为分量已知，所以处理设备可以确定分量位置与所确定的用户凝视方向之间的偏差。通过知晓该偏差，设备针对特定用户校准并且可以在确定用户相对于其他对象的凝视方向时考虑该偏差。
[0064]另外，设备10可以在算法或数学模型中利用从分析用户的凝视方向与模式或类似物的已知分量之间的关系所获得的信息。以示例的方式，设备10可以设定用于确定凝视方向的算法或眼睛模型中所使用的参数的值，如本领域技术人员将容易理解的。
[0065]在一些实施例中，当设备10用在诸如超市之类的零售或消费者购买环境的上下文中时，可以提供附加功能性。设备可以预加载诸如个人校准数据之类的信息以匹配用户的简档。一旦设备10由用户佩戴，则其可以从低功率模式改变到正常功率模式并且进入操作模式。设备10可以允许用户通过添加和移除来自虚拟购物车的物品而交互地管理其购物账单。例如，当用户将物品放置到其购物车中时，他们可以看物品上的条形码并且利用其手指从右向左滑动条形码以指示物品应当被添加到列表。设备10可以识别手势并且将物品添加到设备10上或者与设备10通信的远程位置处的虚拟列表。该虚拟列表可以由用户例如通过如下操作控制:通过从左向右跨条形码滑动来移除物品、从顶向底滑动以获得关于物品的另外信息、以及凝视购物车并触碰预确定的位置以听到关于列表的反馈或其他信息。在从商店结账时，虚拟列表可以由收银员或自动机器检索并且用户可以直接针对购物车中的物品进行支付。在另外的实施例中，用户可以直接离开商店并且在离开商店时，列表的价值可以从诸如信用卡或账户之类的货币源扣除。
[0066]在另一实施例中，设备10可以对包括由用户所读取的文本的图像数据执行光学字符识别(OCR)。例如，场景摄像机18可以记录如由用户的凝视方向确定的用户所读取的文本的图像。设备10或与设备10通信的计算设备可以对文本的图像执行OCR以确定包括文本的词语。OCR技术在本领域中是良好理解且已知的。一旦已经使用OCR技术分析文本，其就可以被发送给文本向言语功能性，其大声读出文本、将其翻译成实时呈现给用户的结果、和/或作为计算设备可以容易操控和理解的文本数据或字符串而保存。文本可以被保存以供用户检索，或者由计算设备或服务利用以理解用户的习惯。例如，文本可以指示用户特别期望的产品或服务。在实施例中，文本数据可以用于定制要显示给用户的广告等。[〇〇67]在本发明的实施例中，设备10可以考虑诸如条形码或标准对象的大小之类的已知信息。例如，商店中的产品可以包括数个条形码，一个较大的条形码包含产品标识符或SKU， 并且一个较小的条形码包含该盒中的特定物品的序列号。设备10可以配置成引导图像传感器78以仅在准备购物列表时读取较大的码。这可以基于凝视聚焦距离以得到更好的精度。 另外，诸如对象识别库之类的许多软件解决方案要求标准大小的视频。因而，设备10可以捕获仅具有所要求的大小的图像或视频，或者对所捕获的图像或视频进行剪裁使得它们符合所要求的大小。
[0068]图5示出用于使用如本文所描述的可佩戴框架确定用户的凝视方向的本发明的一个可能方法500的框图。在框510处，如上文所讨论的，设备10可以在初始使用之前校准。在框520处，诸如来自运动传感器或定位设备25之类的信息的非图像信息可以由控制单元22 获得。如本文所描述的，也可以接收其他类型的非图像信息(例如来自麦克风20的信息)。在框530处，来自场景摄像机18的图像信息可以由控制单元22接收。[〇〇69]在框540处，控制单元22可以根据在步骤510处的校准期间所建立的设置来激活光照器76。在框550处，图像数据可以由控制单元22从图像传感器78接收。在框560处，控制单元22可以从其已经接收的信息确定是否是否可以如上文所述那样确定凝视方向。如果否， 则在框570处，光照器76、图像传感器78和/或设备10的其他组件可以如本文所述的那样调节，并且然后方法500返回到框520。在一些实施例中，方法500可以返回到另一步骤，诸如框 530或框540,如果不能确定凝视方向的话。如果控制单元22可以从其已经接收的信息确定凝视方向，则在框580处确定凝视方向。方法500可以以规律或非规律间隔重复以在需要的情况下重新确定凝视方向。
[0070]图6是图示了其中可以实现本发明的实施例的示例性计算机系统600的框图。该示例图示了计算机系统600,诸如可以整体地、部分地或者以各种修改使用，以提供和/或控制控制单元22、光照器76、图像传感器78和/或本发明的其他组件的功能，诸如以上所讨论的那些。例如，控制单元22的各种功能可以由计算机系统600控制，仅仅以示例的方式包括控制光照器76、从图像传感器78接收图像、处理来自图像传感器78的数据等。[〇〇71]示出了包括可以经由总线690电耦合的硬件元件的计算机系统600。硬件元件可以包括一个或多个中央处理单兀610、一个或多个输入设备620(例如鼠标、键盘等)、以及一个或多个输出设备630(例如显示设备、打印机等)。计算机系统600还可以包括一个或多个存储设备640。以示例的方式，(多个)存储设备640可以是盘驱动器、光学存储设备、固态存储设备，诸如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)，其可以是可编程的、闪速可更新的等等。[〇〇72]计算机系统600可以附加地包括计算机可读存储介质读取器650、通信系统660(例如调制解调器、网络卡(无线或有线)、红外通信设备、Bluetooth?设备、蜂窝通信设备等)、 以及工作存储器680,其可以包括如上文所描述的RAM和ROM。在一些实施例中，计算机系统 600还可以包括处理加速单元670,其可以包括数字信号处理器、专用处理器等。[〇〇73]计算机可读存储介质读取器650还可以连接到计算机可读存储介质，从而一起(并且可选地，与(多个)存储设备640组合)广泛地表示远程、本地、固定和/或可移除的存储设备加上存储介质以用于临时和/或更持久地包含计算机可读信息。通信系统660可以准许与网络、系统、计算机和/或以上所述的其他组件交换数据。[〇〇74]计算机系统600还可以包括软件元件，其被示出为当前位于工作存储器680内，包括操作系统684和/或其他代码688。应当领会到，计算机系统600的可替换实施例可以具有从以上所述那些的众多变型。例如，还可以使用定制的硬件和/或可以以硬件、软件(包括便携式软件，诸如小应用程序)或这二者实现特定元件。此外，到诸如网络输入/输出和数据获取设备之类的其他计算设备的连接也可以发生。
[0075]计算机系统600的软件可以包括用于实现如本文所述的架构的各种元件的任何或所有功能的代码688。例如，存储在诸如系统600之类的计算机系统上和/或由其执行的软件可以提供控制单元22、光照器76、图像传感器78和/或本发明的其他组件(诸如以上所讨论的那些)的功能。已经在上文讨论了可由软件在这些组件中的一些上实现的方法。[〇〇76]现在已经出于清楚和理解的目的而详细描述了本发明。然而，将领会到，某些改变和修改可以在随附权利要求的范围内实施。
【主权项】
1.一种便携式眼睛追踪器设备，包括:适于由用户佩戴的框架；至少一个光学器件保持构件，其中光学器件保持构件包括:至少一个光照器，其配置成选择性地光照用户的至少一个眼睛的至少部分；以及 至少一个图像传感器，其配置成捕获表示用户的至少一个眼睛的至少部分的图像的图 像数据；运动传感器，其配置成检测框架的运动；以及 控制单元，其配置成:控制至少一个光照器以用于选择性光照用户的至少一个眼睛的至少部分；从图像传感器接收图像数据；以及 从运动传感器接收信息。2.权利要求1的便携式眼睛追踪器设备，其中控制单元还配置成:至少部分地基于图像数据来确定用户的凝视目标区域。3.权利要求1的便携式眼睛追踪器设备，其中运动传感器包括:陀螺仪。4.权利要求1的便携式眼睛追踪器设备，其中控制单元还配置成:至少部分地基于从运动传感器所接收的信息和图像数据来确定用户的凝视目标区域。5.权利要求1的便携式眼睛追踪器设备，还包括:场景摄像机，其背对用户并且配置成捕获表示用户的视野的至少部分的图像的图像数据。6.权利要求5的便携式眼睛追踪器设备，其中控制单元还配置成:确定表示至少部分用户的视场的图像的图像数据内的凝视目标区域，其中凝视目标区 域包括来自场景摄像机的图像中的图像数据的少于百分之十；以及控制场景摄像机基于凝视目标区域调节聚焦或光敏度中的至少一个。7.权利要求6的便携式眼睛追踪器设备，其中:所有的光照器发射相同波长的光。8.权利要求1的便携式眼睛追踪器设备，其中控制单元还配置成:控制至少一个光照器的第一子集来选择性地光照用户的至少一个眼睛的至少部分； 从第一子集的至少一个图像传感器接收图像数据的第一集合，其中图像数据的第一集 合表示当用户的至少一个眼睛暴露于来自至少一个光照器的第一子集的光时所捕获的用 户的至少一个眼睛的至少部分的图像；确定凝视目标区域不能基于图像数据的第一集合而确定；控制至少一个光照器的第二子集来选择性地光照用户的至少一个眼睛的至少部分； 从第二子集的至少一个图像传感器接收图像数据的第二集合，其中图像数据的第二集 合表示当用户的至少一个眼睛暴露于来自至少一个光照器的第二子集的光时所捕获的用 户的至少一个眼睛的至少部分的图像；以及至少部分地基于图像数据的第二集合来确定用户的凝视目标区域。9.权利要求1的便携式眼睛追踪器设备，其中:便携式眼睛追踪器设备还包括配置成确定便携式眼睛追踪器设备的位置的定位设备；以及控制单元还配置成至少部分地基于从定位设备所接收的信息和图像数据来确定用户 的凝视目标区域。10.权利要求1的便携式眼睛追踪器设备，其中控制单元还配置成:从至少一个图像传感器接收图像数据；从图像数据确定环境光的水平；至少部分地基于环境光的水平来调节至少一个光照器的明亮度或曝光时间。11.权利要求1的便携式眼睛追踪器设备，还包括:可由用户观看的显示器。12.权利要求1的便携式眼睛追踪器设备，其中控制单元还配置成:从至少一个图像传感器接收表示包括用户的眼睛之外的区域的图像的图像数据。13.—种确定用户的凝视方向的方法，包括:激活由用户所佩戴的框架上的至少一个光照器以选择性地光照用户的至少一个眼睛 的至少部分；从框架上的至少一个图像传感器接收表示用户的至少一个眼睛的至少部分的图像的 图像数据；从配置成检测框架的运动的运动传感器接收信息；以及至少部分地基于来自运动传感器的信息和图像数据来确定用户的凝视目标区域。14.权利要求13的方法，其中运动传感器包括:陀螺仪。15.权利要求13的方法，还包括:接收表示用户的视野的至少部分的图像的由场景摄像机所捕获的图像。16.权利要求15的方法，还包括:确定表示至少部分用户的视场的图像的图像数据内的凝视目标区域，其中凝视目标区 域包括来自场景摄像机的图像中的图像数据的少于百分之十；以及控制场景摄像机基于凝视目标区域调节聚焦或光敏度中的至少一个。17.—种在其上具有指令以用于确定用户的凝视方向的非暂时性机器可读介质，所述 指令可由处理器执行以用于至少:激活由用户所佩戴的框架上的至少一个光照器以选择性地光照用户的至少一个眼睛 的至少部分；从框架上的至少一个图像传感器接收表示用户的至少一个眼睛的至少部分的图像的 图像数据；从配置成检测框架的运动的运动传感器接收信息；以及至少部分地基于来自运动传感器的信息和图像数据来确定用户的凝视目标区域。18.权利要求17的非暂时性机器可读介质，其中运动传感器包括:陀螺仪。19.权利要求17的非暂时性机器可读介质，其中所述指令还可执行以用于至少:接收表示用户的视野的至少部分的图像的由场景摄像机所捕获的图像。20.权利要求19的非暂时性机器可读介质，其中所述指令还可执行以用于至少:确定表示至少部分用户的视场的图像的图像数据内的凝视目标区域，其中凝视目标区 域包括来自场景摄像机的图像中的图像数据的少于百分之十；以及控制场景摄像机基于凝视目标区域调节聚焦或光敏度中的至少一个。
【文档编号】A61B3/113GK105960193SQ201480060817
【公开日】2016年9月21日
【申请日】2014年5月19日
【发明人】J.安德森, S.古斯塔夫森, E.恩格瓦尔, R.海恩斯尔, A.克劳森, J.诺尔登
【申请人】托比股份公司