用于眨眼检测的接近感测的制作方法【专利摘要】本公开涉及用于眨眼检测的接近感测。一种例示性方法包括从接近传感器的接收器部分接收数据。接收器部分布置在可头戴设备(HMD)的侧部。当穿戴者穿戴着HMD时，接收器部分被布置为接收从穿戴者的眼睛区域反射的光，接近传感器检测眼睛区域的运动，并且该数据表示该运动。该方法包括确定该数据对应于眨眼姿势。该方法还包括基于眨眼姿势选择要执行的计算动作。该方法还包括执行该计算动作。【专利说明】用于眨眼检测的接近感测[0001]相关申请的交叉引用[0002]本申请要求2012年7月17日递交的13/550,791号美国申请的优先权，该美国申请要求2012年4月2日递交的61/619,336号美国临时申请的权益，特此通过引用将这些申请全部并入。【
背景技术：
】[0003]诸如个人计算机、膝上型计算机、平板计算机、蜂窝电话和无数类型的具备联网能力的设备之类的计算设备在现代生活的许多方面中正越来越普遍。随着时间的流逝，这些设备向用户提供信息的方式正变得更智能、更高效、更直观和/或不那么突兀。[0004]计算硬件、外设以及传感器、检测器以及图像和音频处理器的微型化趋势以及其他一些技术已帮助打开了一个有时被称为"可穿戴计算"（wearablecomputing)的领域。尤其，在图像和视觉处理和制作的领域中，已经可能考虑可穿戴显示器，这些可穿戴显示器将非常小的图像显示元件放置得足够靠近穿戴者的眼睛（一眼或两眼），使得显示的图像填满或几乎填满视野，并且显现为普通大小的图像，比如可能显示在传统的图像显示设备上的那种。相关技术可被称为"近眼显示器"（near-eyedisplay)。[0005]近眼显示器是可穿戴显示器的基本成分，可穿戴显示器有时也被称为"可头戴显示器"（head-mountabledisplay,HMD)。可头戴显示器将一个或多个图形显示器放置得靠近穿戴者的一眼或两眼。为了在显示器上生成图像，可使用计算机处理系统。这种显示器可占据穿戴者的整个视野，或者占据穿戴者的视野的一部分。另外，可头戴显示器可以像一副眼镜那么小或者像头盔那么大。[0006]可穿戴显示器的正在出现的和预期的用途包括其中用户实时地与增强现实或虚拟现实交互的应用。这种应用可能是任务关键的或安全关键的，例如在公共安全或航空背景中。然而，用户经常必须执行复杂的和/或繁冗的输入过程来执行期望的计算功能。结果，执行计算功能的已知方法经常被认为是不方便的、低效的和/或不直观的。【
发明内容】[0007]本公开一部分提供一种方法。该方法包括从接近传感器的接收器部分接收数据。接收器部分布置在可头戴设备（HMD)的侧部。当穿戴者穿戴着HMD时，接收器部分被布置为接收从穿戴者的眼睛区域反射的光，接近传感器检测眼睛区域的运动，并且该数据表示该运动。该方法还包括确定该数据对应于眨眼姿势（winkgesture)。该方法还包括基于眨眼姿势选择要执行的计算动作。该方法还包括执行该计算动作。[0008]本公开一部分还提供了一种HMD。该HMD包括支撑结构，该支撑结构包括前部和侧部。侧部适合于接收接近传感器的接收器部分，使得当穿戴者穿戴着HMD时，（i)接收器部分被布置为接收从穿戴者的眼睛区域反射的光，并且（ii)接近传感器被配置为检测眼睛区域的运动。HMD还包括计算机可读介质。HMD还包括存储到计算机可读介质并可被至少一个处理器执行来执行功能的程序指令。这些功能包括从接收器部分接收数据。当HMD被穿戴时，该数据表示眼睛区域的运动。这些功能还包括确定该数据对应于眨眼姿势。这些功能还包括基于眨眼姿势选择要执行的计算动作。这些功能还包括执行计算动作。[0009]本公开一部分还提供了一种非暂态计算机可读介质。该介质上存储有程序指令，这些程序指令当被至少一个处理器执行时使得该至少一个处理器执行功能，例如上文联系方法论述的那些功能。【专利附图】【附图说明】[0010]图1A和1B示出了可穿戴计算系统的示例。[0011]图1C示出了可穿戴计算系统的另一示例。[0012]图1D示出了可穿戴计算系统的另一示例。[0013]图2示出了眨眼检测系统的示例。[0014]图3示出了计算系统的示例。[0015]图4是根据实施例示出一种方法的流程图。[0016]图5示出了图2的眨眼检测系统与向上看的眼睛交互。[0017]图6示出了图2的眨眼检测系统与向下看的眼睛交互。[0018]图7A示出了图2的眨眼检测系统与眨双眼的穿戴者的眼睛区域交互。[0019]图7B示出了图2的眨眼检测系统与眨单眼的穿戴者的眼睛区域交互。【具体实施方式】[0020]1.概述[0021]本公开中的一些实现方式涉及检测眼睛的眨动以及在眨眼之前、在眨眼期间或者在眨眼之后眼睛所朝向的方向。这可在诸如眼镜式可穿戴计算机之类的配备有一个或多个接近传感器（proximitysensor)的可头戴显示器中实现。在一些实现方式中，HMD具有接近传感器，该接近传感器具有布置在HMD的侧部的接收器部分。因此，在这些实现方式中，当穿戴者穿戴着HMD时，接收器部分被布置成相对于眼睛区域成倾斜角度并且可检测从眼睛区域反射的光（例如，红外光）。此外，HMD可包括能够向眼睛区域提供光（例如，红外光）的一个光源或一组光源。[0022]当穿戴者的眼睛改变朝向或闭合时，眼睑的运动可引起从眼睛区域反射的光的强度的变化。通过跟踪反射的光的强度，系统可识别眼睛运动并且可确定在眨眼之前、眨眼期间或眨眼之后眼睛所朝向的方向。[0023]响应于眨眼姿势，HMD可选择要执行的计算动作。然后，HMD可执行该计算动作或者可使得连接的系统执行该计算动作。在一些实现方式中，响应于某些眨眼姿势可选择该计算动作，而响应于其他眨眼姿势则可不选择该计算动作。例如，响应于在眼睛朝向"屏幕上"方向期间发生的眨眼姿势可选择该计算动作，而响应于在眼睛朝向"屏幕外"方向期间发生的眨眼姿势则可不选择该计算动作。[0024]2.眨眼检测系统体系结构[0025]a.计算系统[0026]图1A示出了包括眨眼检测系统136的可穿戴计算系统100的示例。虽然图1A示出了可头戴设备（HMD)102作为可穿戴计算设备的示例，但可以使用其他类型的可穿戴计算系统。如图1A所示，HMD102包括框架元件、透镜元件110、112以及延伸侧臂114、116，其中框架元件包括透镜框架104、106和中央框架支撑108。中央框架支撑108和延伸侧臂114U16被配置为分别经由穿戴者的鼻子和耳朵将HMD102固定到穿戴者的脸部。[0027]框架元件104、106和108以及延伸侧臂114、116中的每一个可由塑料和/或金属的实心结构形成，或者可由类似材料的中空结构形成，以允许配线和组件互连在内部按一定路线经过HMD102。也可以使用其他材料。[0028]透镜元件110、112中的每一个中的一个或多个可由能够适当地显示投影的图像或图形的任何材料形成。透镜元件110U12中的每一个也可充分地透明以允许穿戴者看穿透镜元件。结合透镜元件的这两个特征可促进增强现实或抬头显示，其中投影的图像或图形被叠加在穿戴者透过透镜元件感知到的真实世界视图上。[0029]延伸侧臂114、116可各自是分别从透镜框架104、106延伸开的突起物，并且被定位在穿戴者的耳后以将可头戴设备102固定到穿戴者。延伸侧臂114U16还可通过绕着穿戴者的头的后部延伸来将可头戴设备102固定到穿戴者。额外地或替换地，例如，可穿戴计算系统100可连接到可头戴头盔结构或者附于可头戴头盔结构内。[0030]可穿戴计算系统100可包括机载计算系统118、视频相机120、传感器122以及手指可操作触摸板124。机载计算系统118被示为定位在HMD102的延伸侧臂114上；然而，机载计算系统118可设在HMD102的其他部分上或者可被定位成远离HMD102。机载计算系统118可以有线或无线地连接到HMD102。机载计算系统118例如可包括处理器和存储器。机载计算系统118可被配置为接收和分析来自视频相机120和来自手指可操作触摸板124(以及可能来自其他传感设备、用户接口或者这两者）的数据并且生成用于由透镜元件110和112输出的图像。机载计算系统118可采取下文联系图3论述的计算系统300的形式。[0031]继续参考图1A-1B，视频相机120被示为定位在HMD102的延伸侧臂114上；然而，视频相机120可设在HMD102的其他部分上。视频相机120可被配置为以各种分辨率或者以不同的帧率捕捉图像。许多具有小外形参数的视频相机--例如蜂窝电话或网络摄像头中使用的那些--可被包含到可穿戴计算系统1〇〇中。[0032]另外，虽然图1A示出了一个视频相机120,但可以使用更多视频相机，并且每个视频相机可被配置为捕捉相同的视图，或者捕捉不同的视图。例如，视频相机120可向着前方以捕捉用户感知到的真实世界视图的至少一部分。由视频相机120捕捉到的这个前向图像随后可用于生成增强现实，在该增强现实中计算机生成的图像看起来与穿戴者感知到的真实世界视图交互。[0033]传感器122被示为在HMD102的延伸侧臂116上；然而，传感器122可定位在HMD102的其他部分上。传感器122例如可包括陀螺仪、加速度计或接近传感器中的一个或多个。传感器122内可包括其他感测设备，或者除了传感器122还可以包括其他感测设备，或者传感器122可执行其他感测功能。[0034]手指可操作触摸板124被示为在HMD102的延伸侧臂114上。然而，手指可操作触摸板124可定位在HMD102的其他部分上。另外，在HMD102上可存在多于一个手指可操作触摸板。手指可操作触摸板124可被穿戴者用来输入命令。手指可操作触摸板124可经由电容感测、电阻感测或表面声波过程或者其他可能方式来感测手指的位置和移动中的至少一者。手指可操作触摸板124可能够感测在与板表面平行或在同一平面内的方向上、在与板表面垂直的方向上或者在这两个方向上的手指移动，并且还可能够感测施加到板表面的压力的水平。手指可操作触摸板124可由一个或多个半透明或透明绝缘层和一个或多个半透明或透明导电层形成。手指可操作触摸板124的边缘可形成为具有凸起的、凹陷的或粗糙的表面，以在穿戴者的手指到达手指可操作触摸板124的边缘或其他区域时向穿戴者提供触觉反馈。如果存在多于一个手指可操作触摸板，则每个手指可操作触摸板可被独立操作，并且可提供不同的功能。[0035]图1B示出了图1A所示的可穿戴计算系统100的替换视图。如图1B所示，透镜元件110U12可充当显示元件。HMD102可包括第一投影仪128,该第一投影仪128耦合到延伸侧臂116的内表面并且被配置为将显示130投影到透镜元件112的内表面上。第二投影仪132可耦合到延伸侧臂114的内表面并被配置为将显示134投影到透镜元件110的内表面上。[0036]透镜元件110U12可充当光投影系统中的组合器并且可包括涂层，该涂层反射从投影仪128U32投影到其上的光。在一些实施例中，可以不使用反射涂层，例如，当投影仪128、132是扫描激光设备时。[0037]在一些实施例中，也可使用其他类型的显示元件。例如，透镜元件110U12本身可包括：透明或半透明的矩阵显示器（例如电致发光显示器或液晶显示器），用于将图像输送到穿戴者的眼睛的一个或多个波导，或者能够将焦点对准的近眼图像输送到穿戴者的一个或多个其他光学元件。相应的显示驱动器可被部署在框架元件104U06内用于驱动这种矩阵显示器。可以使用激光或LED源和扫描系统来将光栅显示直接摄取到穿戴者的一只或两只眼睛的视网膜上。[0038]眨眼检测系统136在图1B中被示为包括附着到HMD102的延伸侧臂114的光源138和光传感器140。如下文联系图2所论述，眨眼检测系统可包括其他数目的光源（包括没有光源）并且可包括除了联系眨眼检测系统136所示的那些以外的元件。此外，眨眼检测系统136可按多种其他方式来附着。例如，光源138可与光传感器140分开安装。作为另一示例，眨眼检测系统136可安装到HMD102的其他框架元件，例如透镜框架104或106、中央框架支撑108和/或延伸侧臂116。[0039]图1C示出了可耦合到眨眼检测系统（在图1C中未示出）的可穿戴计算系统150的另一示例。虽然图1C示出了HMD152作为可穿戴计算系统的示例，但也可使用其他类型的可穿戴计算系统。HMD152可包括框架元件和侧臂，例如上文参考图1A和1B描述的那些。HMD152还可包括机载计算系统154和视频相机156,例如上文参考图1A和1B描述的那些。视频相机156被示为安装在HMD152的框架上；然而，视频相机156也可安装在其他位置。[0040]如图1C所示，HMD152可包括单个显示器158,该显示器158可耦合到HMD152。显示器158可形成在HMD152的透镜元件之一上，例如上文参考图1A和1B描述的透镜元件，并且显示器158可被配置为将计算机生成的图形覆盖在穿戴者对物理世界的视图中。显示器158被示为设在HMD152的透镜的中心；然而，显示器158可设在其他位置。可经由通过光学波导160耦合到显示器158的计算系统154来控制显示器158。[0041]图1D示出了可包括或连接到眨眼检测系统（在图1D中未示出）的可穿戴计算系统170的另一示例。可穿戴计算系统170是以HMD172的形式示出的；然而，可穿戴计算系统170也可采取其他形式。HMD172可包括侧臂173、中央框架支撑174和具有鼻托的鼻架部175。在图1D所示的示例中，中央框架支撑174连接侧臂173。HMD172不包括包含透镜元件的透镜框架。HMD172还可包括机载计算系统176和视频相机178,例如上文参考图1A和1B描述的那些。[0042]HMD172可包括单个透镜元件180,该透镜元件180可耦合到侧臂173之一或者中央框架支撑174。透镜元件180可包括显示器，例如上文参考图1A和1B描述的显示器，并且可被配置为将计算机生成的图形覆盖在穿戴者对物理世界的视图上。例如，单个透镜元件180可耦合到延伸侧臂173的内侧（当被穿戴者穿戴时暴露于穿戴者的头部的一部分的那侧）。当可穿戴计算设备172被穿戴时，单个透镜元件180可定位在穿戴者的眼睛的前方或附近。例如，单个透镜元件180可定位在中央框架支撑174下方，如图1D所示。[0043]b.眨眼检测系统[0044]图2示出了与眼睛区域204交互的眨眼检测系统200的示例。眼睛区域204可包括眼睛表面、眼睑和脸部的在眼睛周围的部分。眨眼检测系统200包括被配置为向眼睛区域204提供光（示为虚线的光）的两个光源202A和202B。眨眼检测系统200还包括被配置为检测从眼睛区域204反射的光（也示为虚线）的光传感器206。眨眼检测系统200还可包括可执行计算功能的处理单元（在图2中未示出）。具体地，除了其他功能以外，处理单元还可驱动光源202A-B，从光传感器206接收读数，和/或处理读数以确定眼睛区域204的各方面。[0045]i.光源[0046]在图2中，系统200被示为使用两个光源202A-B来向眼睛区域204提供光。虽然示出了两个光源，但眨眼检测系统可以使用任何适当数目的光源来照射眼睛区域。另外，一些眨眼检测系统可完全不包括光源。取而代之，这种系统可检测环境光或来自眼睛区域的其他照射。[0047]在使用光源的系统中，光源可以是任何类型的光源。例如，光源可以是发光二极管(light-emittingdiode,LED)、激光二极管、白炽源和/或气体放电源。光源可与系统集成或者从外部连接，并且可被光传感器或者被处理单元驱动。光源可发出任何频率或强度的光。在一实施例中，强度可以在对于穿戴者的眼睛安全的范围中。此外，可以使用人类不可见的光（例如，红外（infrared，IR)光、近IR等等）来避免刺激穿戴者。然而，一些眨眼检测系统可以使用可见光或高强度光来进行检测。[0048]在一些实施例中，光源可瞄准眼睛区域的特定部分。例如，光源202A-B在图2中被示为分别指向眼睛的上方部分和下方部分，靠近眼睛的内眼角208。在一些实现方式中，单个光源可指向整个眼睛区域或者指向眼睛区域的一部分（例如，指向一个眼睑或者指向眼睛的中心）。作为另一示例，若干个光源可以各自瞄准眼睛区域上的各种点，在各种点的每一个处照射眼睛。光源在其为之提供光的眼睛区域的量（称为光斑大小）方面也可以不同。例如，一个光源可具有向整个眼睛区域提供光的光斑大小。另一个光源可聚焦于眼睛上的相对较小的一点。另外，被照射区域的形状可影响系统的行为。例如，如果光源照射穿过眼睛区域的顶部的一个窄的水平区域，则反射光的量可取决于上眼睑是否覆盖该特定高度。作为另一示例，向整个眼睛区域提供光的光源可允许系统检测完全闭合的眼睛和几乎完全闭合的眼睛之间的差异。[0049]此外，每个光源可使用经调制的光或者脉冲式的光来将各个光源与其他源和环境光相区分。具体地，每个光源可被配置为按特定模式脉动，以使得传感器可基于光的开/关模式来确定哪个源发送了光。因为环境光通常不遵循任何这种模式，所以通过处理测量到的光信号可将来自系统的光源的光与环境光噪声相区分。注意，可以使用其他光特性来在光源和/或环境光之间进行区分，包括例如光的频率（颜色）和/或强度。[0050]另外，光源可包括允许系统动态地改变所生成的光的频率、强度、光斑大小/形状、焦点和/或调制的元素。此外，光源可与一个或多个机械致动器或伺服器相耦合以帮助改变其位置和/或光方向。这样，系统可允许光源的动态校准和调整。[0051]ii.光传感器[0052]除了光源202A-B以外，眨眼检测系统200还包括被配置为检测从眼睛区域204反射的光的光传感器206。当在本公开中使用时，术语"反射"可以指光与眼睛区域之间的多种交互，包括将光引导向光传感器的那些交互。这种交互的示例包括镜面反射、漫反射和折射，以及其他散射过程。传感器可以是任何类型的光敏感元件或者装置，其能够响应于光强度的变化而输出可测量的变化。例如，传感器可以是光电二极管、电光传感器、光纤传感器、光检测器或者其组合，以及其他示例。另外，传感器可被配置为检测指定频率的光或指定范围的频率。在一些实现方式中，可针对指定频率和强度的光来设计传感器的灵敏度。[0053]传感器可被定位为检测从眼睛区域的特定部分反射的光。例如，传感器可被定位在眼睛上方以在眼睛打开时检测从眼睛的顶部反射的光，并且在眼睛闭合时检测从上眼睑反射的光。这样，传感器可检测上眼睑覆盖的眼睛的量。在一些实施例中，光传感器在使用中可被定位为相对于眼睛区域成倾斜角度（例如，在图1B中示出的传感器140的朝向）。在一些布置中，传感器可直接指向眼睛区域并且可瞄准眼睛区域的中心。[0054]在一些布置中，系统可检测从第二眼睛区域反射的光。例如，系统可从可检测来自第二眼睛区域的光的另一光传感器接收光数据。或者，一个光传感器可被定位为检测来自两个眼睛区域的光。[0055]另外，系统可能够通过改变传感器的位置、方向、频率响应、灵敏度、可检测区域、大小/形状或者其组合来调整和校准传感器的行为。这可基于使用系统的情境来完成--例如，系统是否是针对特定用户校准的、环境光的强度、使用的光源、设备的电池水平，等等。例如，传感器可耦合到机械致动器，这些机械致动器可操作来改变其位置和方向。作为另一示例，传感器可包括可改变滤波器和挡板，用于过滤掉不同频率的光。[0056]检测来自多个源的光的传感器可区分来自每个源的信号。例如，如果系统对于每个光源使用不同的脉动模式，则传感器可基于检测到的光的检测到的脉动特性来分离信号。此外，光源在其照射眼睛区域时可交替。在这种布置中，传感器可基于在测量到光之时哪个源是开启的来将光的测量与源关联起来。如果光源照射眼睛区域的不同部分，则分离的信号可进一步与各个眼睛区域部分相关联。在其他布置中，传感器可基于来自所有源的光来测量单个光强度，而不在光源之间进行区分。[0057]iii.处理和其他元件[0058]眨眼检测系统中的处理单元可以是通用处理器、专用处理器或者通用和/或专用处理器的网络。处理单元可与光传感器或光源集成，或者处理单元可通过总线或网络连接而连接到光传感器和光源。另外，处理单元可包括或连接到非暂态计算机可读介质，例如硬盘、存储器核、存储器驱动器、服务器系统或者其组合，以及各种其他类型的盘。此计算机可读介质可存储程序指令，用于指导处理单元执行与眨眼检测方法相关联的功能，例如，本公开中论述的方法中的一个或多个。[0059]眨眼检测系统可包括各种其他元件，例如包括额外的处理、感测、照明和/或接口元件。一些眨眼检测系统可包括运动传感器（例如，陀螺仪或加速度计）来检测系统何时运动。这可帮助眨眼检测系统确定检测到的光的变化是否是由于光传感器相对于眼睛区域的运动，而不是眼睛或眼睑相对于眼睛区域的运动。[0060]在一些实现方式中，眨眼检测系统可集成在计算系统中或者与计算系统相集成，例如上文参考图1A-D描述的计算系统。这种系统可帮助用户与眨眼检测系统相接口，以例如指定用户偏好、改变系统设定和/或执行校准过程。计算系统还可为眨眼检测系统提供各种其他益处，其中一些在这一节中论述。[0061]图3示出了计算系统300的示例。计算系统300可包括至少一个处理器302和系统存储器304。计算系统300可包括通信地连接处理器302和系统存储器304以及计算系统300的其他组件的系统总线306。取决于期望的配置，处理器302可以是任何类型的处理器，包括-但不限于-微处理器（microprocessor，μP)、微控制器（microcontroller，μc)、数字信号处理器（digitalsignalprocessor,DSP)或者其任何组合。另外，系统存储器304可以是现在已知或以后开发的任何类型的存储器，包括--但不限于--易失性存储器（例如RAM)、非易失性存储器（例如ROM、闪存，等等）或者其任何组合。[0062]计算系统300也可包括各种其他组件。例如，计算系统300包括用于（经由A/V端口314)控制图形显示器310和扬声器312的A/V处理单元308、用于连接到其他计算设备318的一个或多个通信接口316、以及电源320。图形显示器310可被布置为提供由用户接口322提供的各种输入区域的视觉描绘。另外，注意，用户接口322也可与一个或多个额外的用户接口设备328兼容。[0063]此外，计算系统300还可包括一个或多个数据存储设备324,这些数据存储设备324可以是可移除存储设备、不可移除存储设备或者其组合。可移除存储设备和不可移除存储设备的示例包括诸如软盘驱动器和硬盘驱动器（hard-diskdrive,HDD)之类的磁盘设备、诸如致密盘（compactdisk,⑶）驱动器或数字多功能盘（digitalversatiledisk,DVD)驱动器之类的光盘驱动器、固态驱动器（solidstatedrive,SSD)、和/或现在已知或以后开发的任何其他存储设备。计算机存储介质可包括易失性和非易失性的、可移除和不可移除的介质。[0064]计算系统300可利用通信链路316(有线或无线连接）与远程设备318通信。远程设备318可以是任何类型的可被配置为向计算系统300发送数据的计算设备或发送器，例如膝上型计算机、移动电话或者平板计算设备。远程设备318和计算系统300可包含使能通信链路316的硬件。适当的硬件的示例包括处理器、发送器、接收器和天线。[0065]在图3中，通信链路316被示为无线连接；然而，也可使用有线连接。例如，通信链路316可以是诸如通用串行总线之类的有线串行总线或者并行总线，或者其他连接。通信链路316也可以是使用例如蓝牙（Bluetooth)?无线电技术、IEEE802.11(包括任何IEEE802.11修订版）中描述的通信协议、蜂窝技术（例如GSM、CDMA、UMTS、EV-D0、WiMAX或LTE)或紫蜂（Zigbee)技术等等的无线连接。这种有线和/或无线连接中的任一者也可以是专有连接。远程设备330可经由因特网来访问并且可包括与特定的web服务（例如，社交网络、照片共享、地址簿，等等）相关联的计算集群。[0066]3.操作[0067]图4是根据实施例示出方法400的流程图。在方框402,方法400包括从一个或多个光源向眼睛区域提供光。在方框404,方法400包括从接近传感器的接收器部分接收数据。接收器部分可被布置在可头戴设备（HMD)的侧部。当穿戴者穿戴着HMD时，接收器部分被布置为接收从穿戴者的眼睛区域反射的光，接近传感器检测眼睛区域的运动，并且该数据表示该运动。在方框406,方法400包括确定该数据对应于眨眼姿势。在方框408,方法400包括基于眨眼姿势选择要执行的计算动作。并且在方框410,方法400包括执行该计算动作。方法400的一些实现方式可不包括步骤402和410中的一者或两者。其他实现方式可包括替换的和/或额外的步骤。[0068]a.向眼睛区域提供光[0069]如上所述，眨眼检测系统可包括一个或多个光源。这些光源可由光传感器或者由处理单元来控制。当在使用中时，光源可向眼睛区域的一些部分提供光。眼睛区域可包括穿戴者的眼睛表面、眼睑以及脸部的在眼睛周围的部分。光源可向眼睛区域中的一些或全部提供光。当在本公开中使用时，术语"光源"可包括被配置为提供适当的电磁(electromagnetic,EM)福射的任何装置或装置集合。EM福射可以是可见光，或者EM福射可以是在人类通常可见的频率范围之外的适当类型的EM辐射。例如，一些实现方式可使用一个或多个红外光源。从而，当在本公开中使用时，术语"光"既可包括在可见频率范围中的EM辐射，也可包括在可见频率范围之外的EM辐射，这取决于期望的实现方式和使用术语"光"的上下文。[0070]在方框402，方法400包括系统从一个或多个光源向眼睛区域提供光。光源可以不断地向眼睛的一些部分提供光，或者它们可以间歇地向眼睛提供光。例如，源可在开启和关闭之间交替以促进区分来自每个光源的信号。另外，开/关特性可帮助传感器在环境光和人造光信号之间进行区分。在一些实施例中，系统可既包括始终开启的光源也包括间歇光源。[0071]因为在穿戴者与穿戴者之间脸部结构一般是不同的，所以一些系统可基于检测到的脸部特性来校准光源的方向、位置和光斑大小/形状特性。例如，系统可确定从光源到眼睛区域的中心的方向（例如利用凝视跟踪、闪光检测、视频识别或者其组合），然后改变光源的布置以瞄准在中心周围的区域。[0072]b.从光传感器接收光数据[0073]在方框404,方法400包括从接近传感器的接收器部分接收光数据。接收器部分可布置在HMD的侧部。当穿戴者穿戴着HMD时，接收器部分被布置为接收从穿戴者的眼睛区域反射的光，接近传感器检测眼睛区域的运动，并且该数据表示该运动。例如，参考图1A和1B，当HMD102被穿戴时，传感器140面对着穿戴者的眼睛区域并且可检测眼睛区域的运动。[0074]在一些实现方式中，光数据可指示出从眼睛区域反射的光的一个或多个特性。传感器可被配置为检测光的某些方面，例如光的频率和强度。也可检测其他方面，例如检测到的光的极化、相干性、相位、谱宽度和/或调制。[0075]光传感器还可被布置为检测从眼睛区域的特定部分反射的光或者检测来自整个眼睛区域的光。此外，传感器可被设计为检测具有某些属性的光，例如特定的调制频率、光的频率或者具有特定极化的光。[0076]另外，系统可校准和调整传感器的特性。例如，如果传感器是与近IR光源一起使用的，则传感器可被配置为过滤不在近IR频率范围中的光以避免有噪声的信号。作为另一示例，如果眨眼检测系统被安装在眼睛区域上方较高处，则系统可检测眼睛的位置并且作为响应将传感器瞄准得较低以捕捉眼睛区域。作为另一示例，响应于检测到光源不像期望地那么明亮，系统可增大传感器的灵敏度以对较低的光强度进行补偿。[0077]由传感器提供的光数据可随着时间的流逝而作为离散的光强度测量值被接收。另夕卜，光数据可表示来自所有光源和眼睛区域部分的一个组合信号，或者数据可包括多个数据集合，其中每个数据集合表示特定的光源或眼睛区域的特定被检测部分。[0078]从眼睛的一部分检测的光的强度可基于眼睛在该指定点的特性而变化。具体地，与当传感器瞄准在眼睛的表面（巩膜、角膜等等）时传感器检测到的相比，当传感器瞄准在眼睛周围的皮肤（包括眼睑）时，传感器可检测到更多的光，这--除了其他考虑因素以外--是因为人类皮肤和眼睛表面的不同的光散射特性。因此，从眼睛区域的特定部分检测到的光的增加可指示出增大占据眼睛区域的如下部分的皮肤的量的眼睛运动：传感器正从该部分检测光。例如，当眼睛打开时检测到来自眼睛的表面的光（相对较少的光）的传感器也可在眼睛闭合时检测到来自眼睑的光（相对较多的光）。[0079]除了眼睛闭合以外，其他眼睛运动也可由传感器检测到的光强度的增大来表示。例如，图5示出了在图2所示的眨眼检测系统200与眼睛区域500交互的情形中的系统200。如图5所示，眼睛正向上看。因此，下眼睑504向上移动到了来自光源202B的光的路径中。因此，由传感器206检测到的从光源202B提供的光的强度可由于眼睛运动而增大，因为与图2所示的情形中相比更多的皮肤将被源所照射。同时，在此示例中，来自光源202A的光仍将照射眼睛的顶部，而不会像图2所示的情形中那样照射眼睑502。因此，由源202B提供的光的强度可保持不变，并且从两个源整体检测到的光强度因此可由于眼睛运动而增大。[0080]作为另一示例，图6示出了在眼睛向下看的情形中检测系统200与眼睛区域600交互。如图6所示，穿戴者的上眼睑602向下移动并且移动到了来自源202A的光的路径中。因此，由传感器206检测到的从光源202A提供的光的强度可由于眼睛运动而增大，因为与图2所示的情形中相比将检测到更多的皮肤。同时，来自源202B的光仍然不照射上眼睑602。因此，从源202B检测到的光的强度将保持不变，并且从两个源整体检测到的光强度可由于眼睛运动而增大。[0081]c.检测眨眼姿势[0082]参考图4,方法400在方框406还包括系统确定来自接近传感器的数据对应于眨眼姿势。由于皮肤和眼睛表面的散射特性，当眼睛闭合时，由于检测到的皮肤的面积的增大(或者由于检测到的眼睛的面积的减小），眨眼检测系统检测到的光可增加。因此，光的增加可以是眨眼姿势的结果。[0083]此外，光增加的特性可指示出相应的眼睛运动是眨眼还是某种其他运动。例如，增加的大小可指示出眼睛是部分闭合（像眯眼时那样）还是完全闭合（像眨眼时那样）。作为另一示例，闭合单只眼的运动（眨单眼（wink))可比闭合两只眼的运动（眨双眼（blink))更缓慢。[0084]更具体而言，由眨双眼姿势引起的光的增加可比由眨单眼姿势引起的光的增加更小。例如，在眨单眼姿势中，眼睑和眼睛周围的皮肤可以比眨双眼姿势中更加起皱。与关联于眨双眼姿势的平坦皮肤将会反射的相比，所产生的皱纹可反射更多光到传感器。为了说明，图7A和7B示出了眨眼检测系统200与眨双眼时的眼睛（图7A)和眨单眼时的眼睛(图7B)交互。如图所示，眨双眼时的眼睛702和704相对较平坦地闭合，使得光斑710和712照射眼睛702上的平坦眼睑皮肤。与之不同，在眨单眼姿势中涉及眼睛706和708。由于眨单眼姿势，眼睑和眼睛706周围的皮肤曲折并起皱（皱纹示为实线）。因此，相同的照射光斑710和712遇到眼睛706上的折叠并紧张的皮肤。因此，从眨动的眼睛706反射的光可不同于由眨双眼时的眼睛702反射的光。[0085]为了在眨眼与另一眼睛运动之间进行区分，眨眼检测系统可存储指示出由于眨眼姿势而反射到传感器的光的量的数据，以及指示出由于其他眼睛运动（例如，眨双眼姿势、眯眼姿势或者凝视方向的变化）而产生的光强度的数据。然后，当检测到眼睛运动时，系统可将当前光强度与存储的指示出相对光强度的数据相比较以确定眼睛运动是否是眨眼姿势的结果。存储的数据可指示出与每个眼睛运动相关联的光强度的最大或平均幅度。在一些情况下，该数据还可指示出由于各种眼睛运动而产生的光强度的基于时间的变化。例如，因为与眨双眼时相比在眨单眼时眼睛可更缓慢地闭合，所以存储的数据可指示出与眨双眼姿势相比由于眨单眼姿势而产生的检测到的光强度的相应的更缓慢变化。[0086]另外，系统可使用眨眼的持续时间、闭合之后眼睛打开速度、在眼睛闭合时强度的变化或者其组合来作为确定光的特定变化指示眨眼姿势的基础。[0087]取决于眼睛的被照射和测量的部分，可按不同方式来检测眨眼。例如，在系统200中，可以分别测量来自上眼睑和下眼睑的光并且可以对每个眼睑识别检测到的光的增加。在其他布置中，可以跟踪单个眼睑的运动，或者可以测量整个眼睛区域。[0088]d.确定凝视方向[0089]除了检测眨眼姿势以外，系统还可确定凝视方向，这表示在眨眼期间（以及在眨眼之前/之后）眼睛所朝向的方向。具体地，方法400可包括基于眨眼姿势来确定凝视方向。系统可基于在检测到的眨眼姿势之前、期间和/或之后的检测到的光的特性来确定凝视方向。[0090]如图2、图5和图6所描绘的情形中所示，检测到的光的特性可基于在眨眼之前和/或之后眼睛所看着的方向而变化。例如，系统200检测到的光可由于眼睛向上看（像图5中那样）或向下看（像图6中那样）而增加。因此，如果系统200被配置为在来自源202A的信号和来自源202B的信号之间进行区分，则来自每个源的光强度的增大可与相应的眼睛运动相关联。[0091]为了促进光强度数据与眼睛运动信息的关联，系统可以为已知的眼睛运动收集并存储代表性光强度数据。例如，系统可被编程有与特定凝视方向相对应的特性光强度水平。或者，可以收集用户特定数据。例如，可以指示穿戴者遵循校准过程来存储与特定穿戴者的脸部特性相关联的特定强度数据。具体地，系统可利用例如音频或文本命令或者通过在穿戴者应当看向的方向上显示指示物来提示穿戴者向不同方向看，并且随后系统可存储在穿戴者向不同方向看的同时从穿戴者的眼睛区域检测到的光的强度。[0092]另外，系统可调整代表性光强度水平以更好地匹配关联的凝视方向。具体地，如果系统确定代表性水平没有正确地代表当眼睛朝向关联的凝视方向时可检测到的光，则系统可以作为响应将该代表性水平调整到代表当眼睛朝向该凝视方向时可检测到的光的水平。例如，如果系统检测到最常检测到的光强度水平（很有可能与穿戴者向正前方看相关联）远低于所记录的与向正前方的凝视方向相关联的强度水平，则系统可作为响应降低代表性水平来匹配先前的读数。[0093]此外，系统可以为使用方法的特定情境校准所存储的光强度水平的列表。例如，被多个用户使用的系统可为每个用户存储代表性光强度水平。当用户变化时，系统可作为响应改变其使用的水平的列表。[0094]系统随后可将眨眼姿势之前和/或之后的光强度水平与特性读数或记录的读数相比较。通过将检测到的（一个或多个）强度水平匹配到代表性水平，系统可确定眨眼时的可能凝视方向。[0095]此外，系统可存储在眼睛处于闭合状态中时（例如，在眼睛眨动时）与凝视方向相关的特性或用户特定光强度数据。然后，可将在眨眼期间检测到的强度水平与存储的眼睛闭合强度水平相比较。这样，除了在眨眼之前和之后接收的光数据之外，还可由在眨眼期间接收的光数据来确定凝视方向。[0096]在一些实现方式中，系统可在不参考代表性数据的列表的情况下确定凝视方向。例如，如果眨眼姿势发生在眼睛向前看时，则眨眼姿势之前的光强度水平与眨眼姿势期间的光强度水平之间的差异可远大于穿戴者向上或向下看时的差异。因此，系统可确定与眼睛打开状态相关联的第一光强度水平和与眼睛闭合状态相关联的第二光强度水平。另外，系统可确定光强度的差异大于非零阈值差异，并且基于此确定，确定凝视方向是中间垂直方向（在向上和向下方向之间）。类似地，响应于确定光强度的差异不大于非零阈值，系统可确定凝视方向是向上和向下方向之一。可使用类似的过程来将眨眼期间的强度与眨眼之后的强度相比较。[0097]e.选择要执行的计算动作[0098]在方框408,方法400包括基于眨眼姿势来选择要执行的计算动作。在方框410，方法400可包括HMD的计算系统执行该计算动作，或者发送命令以使得另一计算系统执行该计算动作。在一些实现方式中，取决于眨眼姿势的某些特性，系统可选择不同的动作来执行。例如，系统可响应于检测到具有某些特性的眨眼而避免选择给定的计算动作，并且响应于检测到具有其他特性的眨眼而选择该计算动作。具体地，系统可基于眨眼姿势选择要执行的一个或多个计算动作，然后执行所选的动作。[0099]作为特定示例，系统可响应于眼睛朝向某个方向的眨眼而选择特定动作。具体地，系统可作出凝视方向是预定的一组方向之一的确定，并且作为响应，基于该确定而确定要执行的动作。例如，系统可存储"在屏幕上"的方向的范围和"在屏幕外"的方向的范围。当穿戴者在眨眼时相对向前看时（例如，朝着中间垂直方向，如图2所示），则系统可将眨眼姿势识别为屏幕上眨眼并且作为响应选择要执行的计算动作。与之不同，当穿戴者在眨眼时向上或向下看时，则系统可将眨眼姿势识别为屏幕外眨眼并且作为响应避免选择该计算动作。[0100]在一些实现方式中，系统可响应于穿戴者看着不同方向的一个或多个眨眼而选择不同的计算动作。例如，系统可响应于屏幕上眨眼而选择一个动作并且响应于屏幕外眨眼而选择另一动作。作为另一示例，系统可设定与各种不同动作相关联的若干个方向范围，并随后响应于穿戴者看向每个相应的方向范围而选择动作。因此，系统可首先响应于检测到的眨眼而确定要执行的动作，然后执行所确定的动作。系统也可以使指定动作的执行以眨眼运动的其他特性或者其他情境为条件。[0101]计算动作可以是眨眼检测系统可执行或者附接的计算系统可执行的任何功能。作为示例，指定的动作可以是与计算机响应于检测到鼠标点击而执行的功能类似的选择功能。作为另一示例，系统可响应于检测到眨眼而执行与在设备上运行的应用相关联的功能。在一些情况下，响应于检测到眨眼可执行多个计算动作。响应于检测到眨眼可选择和/或执行各种其他功能。[0102]4.结论[0103]虽然本文已公开了各种方面和实施例，但本领域技术人员将清楚其他方面和实施例。本文公开的各种方面和实施例是为了例示，而并不打算进行限定，真实的范围和精神由权利要求指示。【权利要求】1.一种方法，包括：从接近传感器的接收器部分接收数据，其中所述接收器部分布置在可头戴设备（HMD)的侧部，并且其中，当穿戴者穿戴着所述HMD时，（i)所述接收器部分被布置为接收从所述穿戴者的眼睛区域反射的光，（ii)所述接近传感器检测所述眼睛区域的运动，并且（iii)所述数据表示所述运动；确定所述数据对应于眨眼姿势；基于所述眨眼姿势选择要执行的计算动作；以及执行所述计算动作。2.如权利要求1所述的方法，还包括基于所述数据确定凝视方向。3.如权利要求2所述的方法，其中，确定凝视方向包括：基于所述数据确定第一强度水平和第二强度水平，其中所述第一强度水平对应于眼睛打开状态，并且其中所述第二强度水平对应于眼睛闭合状态；确定所述第一强度水平与所述第二强度水平之间的差异是否超过阈值；以及基于对于所述差异超过所述阈值的确定，确定所述凝视方向是中间垂直方向。4.如权利要求2所述的方法，其中，确定凝视方向包括：基于所述数据确定第一强度水平和第二强度水平，其中所述第一强度水平对应于眼睛打开状态，并且其中所述第二强度水平对应于眼睛闭合状态；确定所述第一强度水平与所述第二强度水平之间的差异是否不超过阈值；以及基于对于所述差异不超过所述阈值的确定，确定所述凝视方向是向上方向或向下方向。5.如权利要求2所述的方法，还包括：存储关于眼睛打开状态的多个强度水平，其中所述多个强度水平中的每个强度水平与相应的凝视方向相关联；以及针对使用所述方法的情境，执行对所述多个强度水平的校准。6.如权利要求2所述的方法，其中，选择要执行的计算动作还基于所述凝视方向。7.如权利要求2所述的方法，还包括确定所述凝视方向是否对应于预定的一组方向中的至少一个，其中选择要执行的计算动作还基于对于所述凝视方向对应于所述预定的一组方向中的至少一个的确定。8.如权利要求1所述的方法，还包括使得具有预定特性的红外光被提供到所述眼睛区域，其中所述数据指示出所述预定特性。9.一种可头戴设备（HMD)，包括：支撑结构，包括前部和侧部，其中所述侧部适合于接收接近传感器的接收器部分，使得当穿戴者穿戴着所述HMD时，（i)所述接收器部分被布置为接收从所述穿戴者的眼睛区域反射的光，并且（ii)所述接近传感器被配置为检测所述眼睛区域的运动；计算机可读介质；以及存储到所述计算机可读介质并能够被至少一个处理器执行来执行功能的程序指令，所述功能包括：从所述接收器部分接收数据，其中，当所述HMD被穿戴时，所述数据表示所述眼睛区域的运动；确定所述数据对应于眨眼姿势；基于所述眨眼姿势选择要执行的计算动作；以及执行所述计算动作。10.如权利要求9所述的HMD，还包括所述接近传感器。11.如权利要求9所述的HMD，其中，所述侧部还适合于接收所述接近传感器的接收器部分，以使得当所述穿戴者穿戴着所述HMD时，所述接收器部分被对准为相对于所述眼睛区域成一倾斜角度。12.如权利要求9所述的HMD，还包括光源，其中当所述穿戴者穿戴着所述HMD时，所述光源适合于向所述眼睛区域提供光。13.如权利要求12所述的HMD，其中，当所述穿戴者穿戴着所述HMD时，所述光源适合于向所述眼睛区域的上眼睑区域和所述眼睛区域的下眼睑区域中的一者或两者提供光，并且其中，所述数据表示从所述上眼睑区域反射的光和从所述下眼睑区域反射的光中的一者或两者的至少一个特性。14.如权利要求12所述的HMD，其中，所述光是红外光。15.如权利要求9所述的HMD，其中，所述功能还包括基于所述数据确定凝视方向。16.-种非暂态计算机可读介质，其上存储有程序指令，所述程序指令当被至少一个处理器执行时使得所述至少一个处理器执行功能，所述功能包括：从接近传感器的接收器部分接收数据，其中所述接收器部分布置在可头戴设备（HMD)的侧部，并且其中，当穿戴者穿戴着所述HMD时，（i)所述接收器部分被布置为接收从所述穿戴者的眼睛区域反射的光，（ii)所述接近传感器检测所述眼睛区域的运动，并且（iii)所述数据表示所述运动；确定所述数据对应于眨眼姿势；基于所述数据确定凝视方向；基于所述眨眼姿势和所述凝视方向中的一者或两者来选择要执行的计算动作；以及执行所述计算动作。17.如权利要求16所述的非暂态计算机可读介质，其中，确定凝视方向包括：基于所述数据确定第一强度水平和第二强度水平，其中所述第一强度水平对应于眼睛打开状态，并且其中所述第二强度水平对应于眼睛闭合状态；确定所述第一强度水平与所述第二强度水平之间的差异是否超过阈值；以及基于对于所述第一强度水平与所述第二强度水平之间的差异超过所述阈值的确定，确定所述凝视方向是中间垂直方向。18.如权利要求16所述的非暂态计算机可读介质，其中，确定凝视方向包括：基于所述数据确定第一强度水平和第二强度水平，其中所述第一强度水平对应于眼睛打开状态，并且其中所述第二强度水平对应于眼睛闭合状态；确定所述第一强度水平与所述第二强度水平之间的差异是否不超过阈值；以及基于对于所述第一强度水平与所述第二强度水平之间的差异不超过所述阈值的确定，确定所述凝视方向是向上方向或向下方向。19.如权利要求16所述的非暂态计算机可读介质，其中，所述功能还包括确定所述凝视方向是否对应于预定的一组方向中的至少一个，其中选择要执行的计算动作还基于对于所述凝视方向对应于所述预定的一组方向中的至少一个的确定。20.如权利要求16所述的非暂态计算机可读介质，其中，所述功能还包括使得具有预定特性的红外光被提供到所述眼睛区域，其中所述数据指示出所述预定特性。【文档编号】G02B27/02GK104272168SQ201380023767【公开日】2015年1月7日申请日期:2013年4月2日优先权日:2012年4月2日【发明者】H.S.拉弗利,M.P.约翰逊,D.斯帕克斯,B.吴申请人:谷歌公司