眼睛跟踪佩戴式设备和使用方法
【专利说明】眼睛跟踪佩戴式设备和使用方法
[0001]相关申请数据
[0002]本申请要求共同未决临时申请，即2012年12月6日提交的序列号分别为61/734，354,61/734, 294和61/734，342的权益，其全部公开以引用的方式明确地并入本文。
技术领域
[0003]本发明通常涉及用于眼睛跟踪的装置、系统和方法以产生注视映射，如确定空间中的位置或由一只或两只眼睛观察到的(一个或多个)物体。
【背景技术】
[0004]佩戴式设备和系统是有益的，因为使用靠近一只或两只眼睛的平台的眼睛测量降低由头部移动和其他来源生成的测量误差。历史上，由于与佩戴式眼睛跟踪设备有关的局限性，佩戴式应用限于研宄、眼科手术和军事领域。由于所需摄像机位置不便，导致佩戴式系统趋向于体积大且昂贵。惯例，制造成像和照明系统的困难在于要求实现不显眼的外形因素。如果系统未连接到计算机，注视映射和/或注视确定可以是数据且计算密集导致有限的实时功能。最后，获得更高精确度的一个方法是根据眼睛图像中的位置和饱和度控制闪烁的存在。结果，户外功能由以外来闪烁的形式的噪声明显限制。外来闪烁通常由在系统外部的光源(直接的或间接的)引起。
[0005]一个示例是在眼睛图像中捕获的、用户眼睛中的场景的映像。对于类似的原因，依靠用于注视确定的浦肯野(Purkinje)图像的眼睛跟踪系统经常与眼镜和隐形佩戴者不相宜。
【发明内容】
[0006]本发明针对用于眼睛跟踪的装置、系统和方法，例如，以产生注视映射，如确定空间中的位置或确定由一只或两只眼睛观察到的(一个或多个)物体。具体地，本文提出的方案可以与移动设备(如平板电脑)相配，该移动设备对环境照明条件如明亮的阳光成模块化且/或是鲁棒的。
[0007]本文装置、系统和方法涉及应用中的眼睛跟踪，在应用中，移动的佩戴式设备用于用户视觉反馈和/或期望对一致的性能具有环境鲁棒性。不像其他眼睛跟踪系统，本文中的系统可以是低成本的和/或不引人注目的，其具有安装在架构上的部件，如类似于一副典型的太阳镜或其他头饰。由于眼睛移动对人的做决定的过程和技能提供有用的洞察力，则确定注视点位置的能力和/或使用眼睛移动来控制和/或与设备的宽阵列交互的能力可以是有用的。
[0008]佩戴式眼睛跟踪设备中的一个障碍是不引人注目的摄像机位置。用于成像眼睛的理想位置是紧靠在眼睛前。历史上，选择移动摄像机和光学器件到头部一侧并包含热镜或其他反射镜，或选择将摄像机离轴移动到眼睛以下。后一种方法导致紧紧约束的机械设计以让用户看不到。另外，高视角使眼睛和瞳孔检测复杂化。需要一种方案使眼睛能够直视，同时能够具有重量轻的、紧凑的外形因素。自由形式的光学表面是一个可能的方案，如在美国公开号2012/0162549中由高(Gao)等人和2012/0081800中由程(Cheng)等人公开的方案，其全部公开成果以引用的方式明确地并入本文。传感器和耦合透镜组件可以靠近太阳穴定位，且自由形式的光学器件如棱镜或波导可以被设计，使得眼睛的正前方视图在重量轻的、不引人注目的耳机的约束内获得。优化自由形式的模块的入射光瞳和厚度以成像眼睛，且补偿透镜可以连接到自由形式的光学器件的外表面以给用户提供场景的无畸变视图。补偿透镜可以包含或可以不包含用户的处方(prescript1n)校正。
[0009]典型地，佩戴式设备与眼镜不相宜或放置在眼镜上。如果相反，用户的处方被包含到光学系统设计，那么根据用户的立足点，系统可以是体积小的和/或不灵活的。
[0010]为缓和一些耦合/反射光学器件的性能约束，由于目标不是产生图像数据而是产生眼睛跟踪数据，所以光学精度可以代替光学空间传递函数的知识。实际上，这可以包括波前编码技术和/或给出每个像素的实际位置(相对于使用阵列内的像素的索引来表示空间距离)的二维(2D)查询表的发展。为了成本效率，机械和光学设计的模块化方法可以是有用的。
[0011]例如，紧凑的自由形式的波导可以结合到眼睛跟踪产品一类中。在此系统中，传感器、光源、耦合透镜组件、自由形式的光学器件和补偿透镜中每个都可以是可以拆除和/或由不同的应用专用和/或用户专用的部件所取代的模块。例如，在示例性实施例中，包括多个不同设计或配置的(例如六个设计)部件的工具箱，可以被提供用于更常规的视觉校正处方。
[0012]因为在从近眼显示器(near-eye display “NED”)移动到眼睛跟踪的唯一方案中移除显示器缓和对设计的约束，如在美国公开号2012/0162549中公开那样，模块化方法可以是可行的。眼睛照明和用于跟踪的眼睛图像可以使用窄带(通常在红外附近)波长来执行。这可以缓和对自由形式的光学器件设计内的表面的设计的约束，因为不仅系统可以忍受用于眼睛跟踪的图像内的空间畸变(正如所述的)，而且由于没有用于投射的显示(可见波长)，与像差有关的问题也可以在照明光束路径中得以缓和。另外，用于自由形式的光学器件内的全内反射和/或反射镀膜的条件可以更容易维持在眼睛跟踪的唯一系统中。类似地，用于将图像传输到摄像机的耦合光学器件(如在美国公开号2012/0162549中公开的那些器件)可以在能够忍受空间畸变和/或像差的注视跟踪系统中简化和/或移除。
[0013]设计模块化也可以增加照明配置和眼睛跟踪的算法方法的灵活性。以轴上模式观察眼睛的能力能够实现亮瞳孔跟踪。通过结合设计内的同轴闪烁源配置和轴外闪烁源配置，具有与摄像机的光学轴线同轴的照明的序列图像(“亮瞳孔”或浦肯野图像)和不具有与摄像机的光学轴线同轴的照明的序列图像(暗瞳孔图像)可以被减掉以使瞳孔隔离(甚至在FPGA或ASIC内)。亮瞳孔图像中的辐照度分布可以给出轴上眼睛如何与投射照明和图像采集有关的一些指示。可选地，暗瞳孔图像中对眼睛的闪烁可以用来继续进行角膜中心的计算。
[0014]移到模块化方案能够使外形因素具有灵活性，使得注视跟踪设备可以结合至佩戴式设备，如太阳镜、防护眼镜、口罩、头盔、耳机等等。设计中的这种灵活性扩大佩戴式眼睛跟踪系统可以在其中被实施的用例数量。于是，局限性在于视频压缩、传输和处理的要求。为了缓和向与移动设备相配的无线的或已连接的便携系统的过渡，深入到模块中的仔细算法分解可以从CPU转向集成到佩戴式设备的眼镜(temple arm)(或其他位置)的嵌入式处理单元且可以减少数据传输所需的带宽量。
[0015]一旦注视映射系统是真实移动的且是在环境上是鲁棒的，可能的用例范围明显增加。例如，参考施工监测期间的蓝图，仓库库存和专家-新手的运动训练可以使用对结构移动、眼睛控制和/或户外功能具有鲁棒性的移动系统得以促进。
[0016]另外或可选地，可以理解，本文的任何设备可以包括一个或多个方法来利用可用环境亮度并且将眼睛检测限制到窄波长范围或一组范围。对于眼睛跟踪，只有近红外(near-1nfrared, “IR”)光的窄带可以用于眼睛成像，但经过适当设计之后，可以大体上允许百分之百(100% )的可见光(减去材料接口处的损耗)被传输用于穿戴者以观察场景。也可以使用如镀膜、光栅、滤波和/或多光源的技术。镀膜可以包括金属和介电材料和/或可以在功能上是反射的或抗反射的，包括二色性方案。
[0017]注视跟踪系统在相对于给定用户的脸部的结构位置中的小的移动具有鲁棒性且允许无限制的头部移动，这一点通常是有用的。然而，在移动场景中，满足这两种情况可能是重要的。两种情况可以通过相对于观察平面的内空间(成像和/或跟踪一只或两只眼睛)和外空间(成像用户的周围或“场景”)的合适的标准化来完成。注视点可以由左眼和右眼注视向量的收敛确定。随后，信息可以通过移动设备作为场景摄像机视频上的叠加(overlay)转送给用户。
[0018]例如，出于新手训练的目的，用于户外三维(3D)注视点(point of regard，“POR”)而已优化的头盔式眼睛跟踪眼镜可以用于记录执行专门技能(如踢足球)的职业运动员(专家)的视觉行为。在此情况下，3D注视点可以叠加在场景图像上。POR视频和视数据可以被记录在已连接的记录设备上和/或可以无线地流到平板电脑或其他计算设备。随