利用多个光源和传感器的眼睛注视检测的制作方法

利用多个光源和传感器的眼睛注视检测的制作方法
【专利摘要】本公开涉及基于多个相机和/或光源的眼睛注视检测。相机和/或光源被配置为在不同定向处、在不同倾斜角度处、在不同用户位置处和在不同用户距离处等等为设备显示器提供眼睛注视检测。还描述一种控制器，该控制器选择性地控制光源电源和相机的接通/断开状态，以便为眼睛注视检测提供具有足够质量的眼睛的图像、和/或以便省电。
【专利说明】利用多个光源和传感器的眼睛注视检测
【背景技术】
[0001] 随着包括移动设备、手持设备和诸如显示器之类的相关技术的计算机已经演进， 人类输入机制已经类似地进步。诸如基于语音识别、头部和骨架跟踪以及手势检测之类的 自然用户接口日益普及以补充或在某些情况下取代键盘、定位设备（鼠标或手写笔)和/或 识别符号/手写输入。
[0002] 眼睛注视检测是另一种自然用户接口技术。除了其他理由以外，眼睛注视检测可 期望用于自然多模人机交互。
[0003] 关于计算机显示器，已有的眼睛注视检测努力具有非常有限的工作空间、诸如在 显示器前面的校准位置周围具有小的盒子，其中眼睛注视跟踪器需要被放置在显示器下 面。这种技术因此具有有限的用途，因为在许多情况中、包括在越来越流行的移动计算场景 中，这种技术不是特别可用。

【发明内容】

[0004] 提供
【发明内容】
这一小节是为了以简化的形式介绍代表性构思的选择，这些构思将 在下文的【具体实施方式】中进一步描述。这个
【发明内容】
并非旨在标识出要求保护的主题的关 键特征或必要特征、也并非旨在被用于以任何将会限制要求保护的主题的范围的方式。
[0005] 简言之，本文描述的主题的各种方面涉及眼睛注视检测，包括具有位于显示器附 近的多个相机，多个相机包括在与显示器相邻的第一边上的第一相机和在与显示器相邻的 第二边上的第二相机，其中第二边不与第一边平行。至少一个光源被配置为输出在被眼睛 反射时生成角膜反射数据的光。相机被耦合至图像处理组件以向图像处理组件提供包括捕 获到的角膜反射数据的图像数据、以供在眼睛注视检测中使用。
[0006] 在一个或多个实现方式中，三个或更多个红外光源被配置为输出在被眼睛反射时 生成角膜反射数据的光。多个红外敏感相机被配置为捕获角膜反射数据以供在眼睛注视检 测中使用。相机可以向图像处理组件提供包括捕获到的角膜反射数据的图像数据。
[0007] -个或多个方面涉及接收与至少两个相机捕获的人眼的图像相对应的图像数据。 图像数据可以合并到眼睛特征数据中，该眼睛特征数据被提供给注视检测算法。基于这些 图像中的至少一幅图像，可以降低或关闭光源的电源、和/或可以关闭相机。
[0008] 从下文结合附图的详细描述，其他优点可以变得清楚。
【附图说明】
[0009] 本发明通过示例被图示并且不限于附图，在附图中，类似参考标号指示相似元件， 并且其中：
[0010] 图1是图示根据一个或多个示例实现方式的可以在眼睛注视检测中使用的示例组 件的框图。
[0011] 图2A和图2B是根据一个或多个示例实现方式的在眼睛注视检测中使用的相机和 光源的示例表示，其中相机和光源被定位在(例如，被嵌入到）与以不同定向示出的显示器 相邻的设备边上，
[0012]图3A和图3B是根据一个或多个示例实现方式的用于在眼睛注视检测中使用的、用 于捕获在不同的相对用户位置处的用户的一个或多个眼睛的、具有不同角度的成角度相机 的示例表示。
[0013]图4A和图4B是根据一个或多个示例实现方式的用于在眼睛注视检测中使用的、用 于在不同显示器倾斜位置处捕获用户的一个或多个眼睛的、具有不同角度的成角度相机的 示例表示。
[0014] 图5A和图5B是根据一个或多个示例实现方式的用于在眼睛注视检测中使用的、用 于捕获在不同距离处的用户的一个或多个眼睛的、具有不同焦距的相机的示例表示。
[0015] 图6A和图6B是根据一个或多个示例实现方式的用于在眼睛注视检测中使用的、具 有被定位在相对于显示器的不同位置中的光源的示例设备/显示器的示例表示。
[0016] 图7是根据一个或多个示例实现方式的用于在眼睛注视检测中使用的具有多个光 源的备选布置的示例表示。
[0017] 图8A和图8B是根据一个或多个示例实现方式的用于在眼睛注视检测中使用的、展 示位于显示器附近的一些可能的数目的相机和/或光源的示例设备/显示器的示例表示。
[0018] 图9是根据一个或多个示例实现方式的用于在眼睛注视检测中使用的显示器、相 机和光源的示例表示、包括由光源围绕的相机的放大视图。
[0019] 图10是图示根据一个或多个示例实现方式的可以被采用来选择性地确定关于眼 睛注视检测使用哪些相机和/或光源的示例步骤的流程图。
[0020] 图11是图示根据一个或多个示例实现方式的可以被采用以将来自多个相机的图 像合并以供在眼睛注视检测中使用的示例步骤的流程图。
[0021] 图12是表示在其上可以实现本文描述的各种实施例的一个或多个方面的示例性 的、移动和/或手持计算和/或通信设备的形式的非限制性计算系统或操作环境的框图。
【具体实施方式】
[0022]本文描述的技术的各种方面通常涉及显著增加眼睛注视检测的工作空间，包括通 过在显示器周围放置多个红外（IR)光源(例如，LED)和传感器(IR敏感相机）。还提供了一种 计算方法，该计算方法利用任何可用的检测信息、而不管由相机看到的LED反射的数目和看 到眼睛的相机的数目如何。
[0023] 作为一个好处，即使当设备显示器处于相对于用户的任何定向时，眼睛注视检测 都起作用，这可期望用于平板计算机、移动计算设备和智能电话等。类似地，眼睛注视检测 能够以宽范围的角度起作用。例如，即使当用户以相对于用户的眼睛的各种角度中的任何 角度持握设备、或者膝上型计算机(或甚至固定显示器)可以使得其屏幕在相对于用户的眼 睛的不同角度处时，眼睛注视检测也保持有效。
[0024] 应理解本文的任何示例都是非限制性的。例如，任何数目的相机和光源可以以任 何数目的方式被定位，并且本文仅示例少数可能的方式。此外，用于检测眼睛注视的算法等 仅是示例，并且本文描述的技术独立于并且不限于任何具体技术、并且进一步地能够随着 新算法的开发而被适配。因此，本发明不限于本文描述的任何具体实施例、方面、构思、结 构、功能或示例。相反，本文描述的任何实施例、方面、构思、结构、功能或示例均是非限制性 的，并且本发明总体上可以以在眼睛注视检测中提供益处和优点的各种方式来使用。
[0025]图1是图示可以用于执行眼睛注视检测的示例组件的总框图。图1中，示出计算设 备102和显示器104。显示器104可以是被耦合至计算设备的外部显示器或者是被包括在计 算机设备中、例如在计算机设备外壳中的显示器。
[0026] 如图1中所示，与多个IR光敏感相机108(l)-108(n)-起示出多个IR光源106(1)-l〇6(m)。光源可以是诸如激光发光二极管(LED)和/或LED之类的单独的光源，这些光源投射 通过衍射/反射光线的光学元件，由此提供多个光源。注意，任何或全部IR光敏感相机可以 与可见光相机结合。进一步注意，相机可以附接到设备、例如被嵌入在边中或物理地耦合至 设备，或可以在设备外部，或是两者的组合。
[0027] 控制器110可以用于控制如下文描述的IR光源106(l)-106(m)和/或IR光敏感相机 108(l)-108(n)的操作，尽管在一个或多个实现方式中，光源和相机可以"总是接通"、从而 不需要除了可假定具有接通/断开能力的电源之外的"控制器"。注意，IR光被使用是因为它 对于人类不是引人注意的，然而在某些情形下，可能期望使用可见光，诸如在对象的眼睛佩 戴的、阻挡正在被使用的特定可见光波长的隐形眼镜的情况中。因此，如本文所使用的，"光 源"不限于IR波长。
[0028]通常，相机108(l)_108(n)捕获图像，这些图像要被馈送到包括眼睛注视检测算法 114的图像处理组件112。图像处理组件112提供眼睛注视检测输出116,诸如表示用户当前 注视正在处理的给定帧之类中的何处的注视坐标。这种输出116可以被缓冲、诸如用于与其 他输入(例如，鼠标点击或手势)一起使用，可以由操作系统用掉(例如，用以移动光标），和/ 或可以由应用使用(例如，用以高亮菜单项)等等。
[0029] 关于眼睛注视检测算法114,可以采用任何现有或将被开发的算法，例如包括结合 一个或多个算法的决定。通常，眼睛注视检测算法通过检测IR光源从眼球的何处反射来工 作。
[0030] 通常，远程注视跟踪系统使用红外光源来操作，以便生成角膜反射，也被称为闪烁 (glint)，角膜反射被捕获为对象的眼睛图像的一部分。所捕获的图像被处理以提取对于照 明和视点不变化的信息特征，例如瞳孔中心、角膜反射(例如，指示眼球的位置)和/或角膜 缘轮廓。
[0031] 接下来描述一个适当算法的基本约束。通常，从反射定律推导出针对每个LED的两 个约束。第一约束是：光、光在角膜上的反射点、相机中心和角膜中心是共面的。第二约束 是:在反射点处的入射的角度等于反射的角度。
[0032] 如本文所述，执行一次性个人校准，以便确定每个人在眼睛的光轴与视轴(注视方 向）之间的区别。当相机观察到两个LED时，可以确定光轴，并且因为校准，也可以确定注视 方向。
[0033] 然而，本文描述的技术不限于任何具体注视检测算法;相反，本文描述的是用于任 何数目的相机和从每个相机可见的任何数目的LED的统一架构。因此，可以采用任何各种备 选算法。
[0034]在当前使用的不同类型的算法/方法中，基于插值的方法通过2D回归函数直接将 眼睛特征映射到注视点，而不考虑光学特性、眼睛生理性以及眼睛、屏幕和相机之间的几何 关系。因此，基于插值的方法容易实现，但是对于头部移动、特别地深度变化是敏感的。基于 模型的方法、诸如在上文描述的参考中提及的方法估计3D注视向量、并且通过将3D射线与 2D屏幕平面相交来计算感兴趣的2D点。不同于基于插值的方法，基于模型的方法能够容纳 更大的头部移动、但是需要校准。基于交比（cr 〇SS-rati〇，CR)的方法不需要硬件校准并且 允许自由的头部移动，然而当前，基于CR的方法不是特别精确。本文描述的技术独立于一个 或多个任何具体算法，并且不限于任何当前已有的那些算法。
[0035]图2-图9描绘了包括硬件配置和与其相关的多个方面的多个可能的示例。在任何 这些示例中，应注意的是，所描绘的尺寸(设备、显示器屏幕、相机、LED)、相机视场和其他表 示仅为了示意，并且不旨在于传达任何具体信息，诸如实际尺寸、实际角度、实际距离、实际 位置等。
[0036] 在一个实现方式中，如图2A和图2B总体地表示的，设备218(至少)包括位于显示器 的不同边上的两个相机220、221，这些边彼此不平行；（示出了水平边和垂直边，然而如可以 容易理解的，不需要是正交的边）。可以存在任何数目的光源，并且这些光源不需要物理地 耦合至显示器;为了解释说明，示出了四个光源222-226,但是即使单个光源也可以满足。注 意，为了示例，在图2A和2B中表示出平板型设备218,然而能够被相异地定向的任何设备、诸 如可以被垂直地或水平地安装的智能电话和/或相对固定的监视器均可以类似地受益。 [0037]如可以容易地理解的，因为相机221和222被安装在不同的非平行边上，眼睛注视 检测仍然良好工作，而不管显示器相对于用户的定向如何，也就是说，不论显示器处于横向 模式还是纵向模式，良好的眼睛注视检测都存在。此外，多于一个的相机增加了眼睛注视检 测的精确度。因此，示例的配置可以被用在具有并入的显示器的设备(例如，平板计算机、智 能电话、电视或监视器)上，其中该设备被配置为与该设备的当前定向相结合地改变它显示 的内容中的至少一些内容的呈现定向。
[0038]图3A-图5B涉及与注视检测联用多个相机的其他方面。注意，虽然为了解释说明， 示出了设备330包括膝上型设备或具有相对于键盘等可倾斜的显示器的设备，关于图3A-5B 描述的构思适用于具有可以相对于用户的眼睛(注意，单个眼睛也满足)成角度的屏幕的任 何设备，包括平板计算机、智能电话和通常固定的监视器等等。
[0039]如图3A和图3B中所示，相机不需要以相同的方式成角度，由此提供更大的组合视 场。例如，考虑在图3A中，屏幕相对于用户的位置的倾斜使得用户的眼睛大体在相机332的 视场上面，而在图3B中，倾斜/用户位置使得用户的眼睛大体在相机333的视场下面。然而， 如所示出的，通过使得两个相机332和333相对于彼此相异地成角度，用户的眼睛总是在相 机332、333中的至少一个相机的视场内（至少在用户处于离显示器屏幕的合理距离处时）。 [0040]图4A和图4B示例出与图3A和图3B类似的构思，即相异地成角度的两个相机443和 444(它们可以是如图3A和3B中的相同角度/相机)如何促进在不同的显示器倾斜处的眼睛 注视检测。图4A中，仅一个相机443捕获到用户的眼睛的图像，因为膝上型计算机相对于用 户的位置倾斜。在图4B中，虽然倾斜已经改变，但用户相对于设备330并未移动;然而因为相 机的相对角度，另一个相机444捕获到用户的眼睛的图像。
[0041]在另一方面中，图5A和图5B表示具有拥有不同焦距的相机。通常，如果用户眼睛不 在给定相机的适当焦距处，捕获的图像将不会清晰，由此眼睛特征(例如，闪烁)变得更难以 被精确地检测。
[0042]在图5A中，用户靠近设备，由此一个相机555获得眼睛的足够清晰的图像。在图5B 中，用户进一步远离，由此另一个相机556获得眼睛的足够清晰的图像。此外，因为更长的焦 距被使用(导致更窄的视场），仍然存在覆盖眼睛区域的足够数目的像素。
[0043]如可以容易地理解的，适当使用更多相机，图3A-图5B的构思可以结合起来。因此， 例如，在另一角度处的第三相机可以提供甚至在严重倾斜(例如，图4A)和异常定位的用户 (例如，图3B)的情况下都起作用的图像。相异地成角度的相机可以与具有不同焦距的相机 结合，例如四个相机可以提供高达四个不同角度和四个焦距，或它们的任何组合，例如，[相 机角度A，焦距X]、[相机角度B，焦距X]、[相机角度A，焦距Y]、[相机角度B，焦距Y]。在给定实 现方式中，可以存在任何可行数目的相机。
[0044] 此外，应当注意的是，图3A-图5B示出位于不同边上的相机。然而，这不是必要的； 如果期望的话，每个示例中的两个相机可以在共同边上，如期望的那样远离分隔，例如在边 的角处或尽可能靠近彼此，或其间的任何位置。因此，应理解的是，图3A-5B是仅为了解释说 明的非限制性示例。
[0045] 图6A和图6B示出了其中IR LED灯(至少一个)分别在设备显示器660A和660B的每 一侧上的实现方式；相机662A和662B也在每个图中示出，虽然应理解可以存在多于一个相 机、并且可以使用任何相机位置;一个或多个相机可以与该设备物理地分离。图6A示出在角 处的四个LED 663-666。图6B示出均在侧边的中间处的四个LED 667-670。
[0046] 如可以容易理解的，这些仅是示例，并且可以使用具有四个或更多LED的其他配 置。图7示出了任何数目的四个或更多个LED灯，诸如相对于显示器的每一侧被嵌入在设备 776中以条状布置的LED灯771-774。对称性是不必要的。示出了相机778和779,虽然这也仅 是示例，并且在给定实现方式中可以存在任何数目的附接的或分离的相机。注意，图7中被 表示为"虚线"圆圈的LED灯在给定实现方式中可以存在或可以不存在，并且/或者可以存在 比示出的LED灯更多的LED灯。
[0047]图8A和图8B示出了许多可能的配置中的两个或更多的配置。图8A示出具有拥有单 个LED 881和一个或多个相机882(1 )-882(6)(例如，在该示例中高达六个）的显示器880的 设备。图8B示出具有显示器886的设备，显示器886拥有一个或多个LED 887(1 )-887(8)(例 如，在该示例中高达八个)和一个或多个相机888(1 )-888(8)(例如，在该示例中高达八个）。 如可以容易地理解的，这些示例仅是可以用于本文描述的眼睛注视检测的许多可能的配置 中的两个。
[0048]图9示出可以与图2A-图8B中示例的任何或全部相机/LED-起使用的另一备选。在 图9中，示出了相机992周围的IR LED 990的环(包括在放大视图中）。如图9中所表示的，一 个或多个这些环/相机配件可以被放置在设备上、诸如在设备994上。虽然在环990中图示了 十二个大体对称的LED，但是可以存在任何可行数目的LED，例如两个或更多个LED可以是足 够的，并且不需要对称。注意，在传统意义上被布置为围绕一个光源的多个光源可以不必然 形成"环"，并且因此"围绕"指的是任何这样的配置，不论是否处于环的形式。
[0049] 示例的LED环990可以例如与图像捕获同步地被打开或关闭。注意，当LED的环990 接通照亮对象的眼睛时，瞳孔显得明亮(亮眼效果），通常使得瞳孔检测和瞳孔估计更容易 和更精确。注意，明亮的瞳孔和黑暗的瞳孔技术可以结合。
[0050]转到与控制相关的方面，相机可以选择性地被打开或关闭、和/或IR LED可以被打 开或关闭或变化强度，以便诸如节省能量、和/或以便在当前条件下获得更高质量的图像。 例如，可以使用头部跟踪、位置感测、实际图像处理等等，以便节省能量和/或获得更高质量 的图像。可以使用初始和偶然采样测量来确定要使用的设置，例如在可能的时候该设置使 用小于全功率来提供足够质量的图像。
[0051]例如，当在横向视图模式中时，仅在显示器下面(或上面)的相机可以被打开，同时 其他相机被关闭。此外，如果多个相机存在于相同边上，则可能需要该边上的小于全部的相 机。例如，考虑到两个相机在显示器下面，并且人的头部位于右侧。左边的相机可以被关闭， 因为左边的相机将不太可能看到人的头部，至少不像右边的相机一样好。
[0052]在相异地成角度的相机的示例中，仅正在获得眼睛图像的相机可以被打开。头部 跟踪可以用于确定哪一个或多个相机将捕获眼睛，尽管图像处理可以类似地用于确定眼睛 是否存在于图像中。对于不同焦距的相机，仅足够清晰的相机可以被打开。例如，初始地可 以使用全部相机，但是图像中相对于眼睛的清晰度检测可以确定使用哪个相机。
[0053] 此外，当存在多幅图像时，可以合并来自多个相机的图像数据，例如取平均或经由 加权平均技术。例如，在上文的清晰度检测场景中，考虑两个相机都检测到眼睛。经由在一 幅图像中检测到的闪烁计算出的眼睛位置可以与经由在另一幅图像中检测到的闪烁计算 出的眼睛位置进行平均;例如，两幅图像中更清晰的图像可以被给予与清晰度相称的更多 权重。
[0054] 可以调整每个LED灯的强度。例如，在具有更强的环境IR光的环境中，可以增大LED 灯的强度。其他环境光感测器以及实际图像处理可以被用于调整LED强度。可以使用不同的 IR波长。IR光可以成脉冲式以便节省能量，例如与相机捕获合作。IR光可以使用签名而成脉 冲式，和/或IR光可以与减法(subtraction)-起使用以在更明亮的环境光中获得可用的图 像。
[0055] LED还可以在需要时被打开或关闭。例如，LED可以生成眼镜上的额外反射。导致眼 镜上的反射进入到相机中的这样的LED可以被关闭。
[0056]图10给出某些控制逻辑的示例，其开始于步骤1002,其中图像被捕获和处理，例如 初始地可以使用相机和LED的完整集合。图像处理可以例如执行头部跟踪、一般眼睛定位、 和/或可以基于眼睛特征的质量。
[0057] 经由步骤1004、1006、1008、1010和1012,在多个相机场景中关于注视检测没有提 供有用图像的任何相机(假设其也未被用于另外的目的）可以被关闭。例如，在本文的示例 中，看不到对象的眼睛的相机、诸如图3A的相机332没有提供有用图像。类似地，不使用没有 足够清晰到能用于检测闪烁的图像(尽管在提供某种检测的情况下它可能在某种程度上是 有用的、并且被用于例如加权平均）。
[0058] 步骤1014、1016、1018、1020和1022提供针对LED的类似操作，虽然这些步骤针对任 何LED，可以降低LED强度、而不是完全关闭LED。因此，如果LED并未提供闪烁，则该LED可以 被关闭。如果LED提供不期望的反射，则该LED可以被关闭。
[0059] 注意，改变LED状态可以改变捕获的图像如何出现，并且因此可以执行LED状态改 变与使用哪个或哪些相机之间的某种反复(back-and-forth)，以便针对当前条件调节给定 系统。因此，图10中的一些或全部可以被多次执行，例如周期性地被执行或在某种事件(例 如，环境光改变、显著头部或设备移动)之类的时候被执行。
[0060] 图11 一般性地涉及图像数据的示例合并，其开始于步骤1102,其中选择关于捕获 眼睛(例如，所期望的特征)而言最清晰的那些图像;该选择可以诸如基于清晰度，将每幅图 像与权重相关联。
[0061] 步骤1104将这些图像合并到注视数据中，诸如对于有用的图像取平均(使用与清 晰度相对应的加权平均）。步骤1106将这个注视数据提供给注视检测算法。
[0062] 如所看出的，对于任何数目的相机和从每个相机可见的任何数目的LED提供统一 架构。该架构允许相机和LED被定位和/或被控制用于鲁棒的数据收集，而不管在给定场景 中存在的许多变量、诸如显示器倾斜角度、显示器定向、到眼睛的距离、环境光条件等等。 [0063] 在一个或多个实现方式中，多个相机位于显示器附近，多个相机包括在与显示器 相邻的第一边上的第一相机和在与显示器相邻的第二边上的第二相机，其中第二边不与第 一边平行。至少一个光源被配置为输出在被眼睛反射时生成角膜反射数据的光，并且相机 被耦合至图像处理组件以向图像处理组件提供包括捕获到的角膜反射数据的图像数据、以 供在眼睛注视检测中使用。显示器包括在设备中，该设备被配置为与该设备的当前定向相 结合地改变至少一些显示输出的内容的呈现定向。
[0064]第一相机可以被嵌入到第一边中，并且第二相机被嵌入到第二边中。一个或多个 光源被嵌入到与该显示器相邻的边中。多个红外光源可以围绕第一相机。
[0065] 在一个或多个方面中，相机可以相对于显示器成角度、并且相对于彼此相异地成 角度。相机可以具有彼此不同的焦距。
[0066] 在一个或多个方面中，控制器可以被配置为选择性地关闭第一相机或第二相机。 该控制器可以选择性地关闭这些红外光源中的至少一个红外光源或者降低这些红外光源 中的至少一个红外光源的强度。
[0067] 在一个或多个实现方式中，三个或更多个红外光源被配置为输出在被眼睛反射时 生成角膜反射数据的光。多个红外敏感相机被配置为捕获角膜反射数据以供在眼睛注视检 测中使用。相机可以向图像处理组件提供包括捕获到的角膜反射数据的图像数据。
[0068] -个或多个方面涉及接收与至少两个相机捕获的人眼的图像相对应的图像数据。 图像数据可以合并到眼睛特征数据中，眼睛特征数据被提供给注视检测算法。基于这些图 像中的至少一幅图像，可以降低或关到光源的电源，和/或可以关闭相机。
[0069] 示例操作环境
[0070] 图12图示在其上可以实现本文描述的主题的多个方面的适当移动设备1200的示 例。移动设备1200仅是设备的一个示例、并且不旨在于提供关于本文描述的主题的使用范 围或多个方面的功能的限制。移动设备1200也不应被解释为具有与在示例移动设备1200中 图示的组件中的任何一个或任何组合有关的任何依赖或需要。移动设备可以包括手持设 备，诸如智能电话、平板计算机、膝上型计算机等等。
[0071] 参考图12,用于实现本文描述的主题的多个方面的示例设备包括移动设备1200。 在一些实施例中，移动设备1200包括蜂窝电话、允许与他人语音通信的手持设备、或某种其 他语音通信设备等。在这些实施例中，移动设备1200可以配备有用于拍摄图片的相机，虽然 这在其他实施例中是不需要的。在其他实施例中，移动设备1200可以包括个人数字助理 (PDA)、手持游戏设备、笔记本计算机、打印机、包括机顶盒、媒体中心或其他电器之类的电 器、其他移动设备等等。在其他实施例中，移动设备1200可以包括通常被认为非移动的设 备，例如个人计算机、服务器等。
[0072] 移动设备1200的组件可以包括但不限于处理单元1205、系统存储器1210和总线 1215,总线1215将包括系统存储器1210之类的各种系统组件耦合至处理单元1205。总线 1205可以包括若干种类型的总线结构中的任何一种，包括存储器总线、存储器控制器、外围 总线和使用各种总线架构的本地总线等。总线1215允许数据在移动设备1200的各种组件之 间被传输。
[0073]移动设备1200可以包括各种计算机可读/机器可读介质。这种介质可以是能够由 移动设备1200访问的任何可用介质并且包括易失性和非易失性介质两者、以及可移除和非 可移除介质两者。通过示例，而非限制，计算机可读介质可以包括计算机存储介质和通信介 质。计算机存储介质包括以任何方法或技术实现以用于存储信息的易失性和非易失性介 质、可移除和非可移除介质，这样的信息诸如计算机可读指令、数据结构、程序模块或其他 数据。计算机存储介质包括但不限于RAM、ROM、EEPR0M、闪存或其他存储器技术、CD-ROM、数 字通用盘(DVD)或其他光盘存储、磁带盒、磁带、磁盘存储器或其他磁存储设备、或可以用于 存储期望的信息并且可以由移动设备1200访问的任何其他介质。
[0074]通信介质通常实现计算机可读指令、数据结构、程序模块或在例如载波或其他传 输机制的调制数据信号中的其他数据，并且包括任何信息传递介质。术语"调制数据信号" 意指如下的信号，该信号具有它的特征中的一个或多个特征以在该信号中编码信息的方式 被设置或改变。通过示例而非限制，通信介质包括有线介质和无线介质，有线介质诸如是有 线网络或直接有线连接，无线介质诸如是声音、RF、蓝牙?、无线USB、红外、Wi-Fi、WiMAX 和其他无线介质。上述的任何的组合也应被包括在计算机可读介质的范围内。
[0075]系统存储器1210包括以易失性和/或非易失性存储器的形式的计算机存储介质， 并且可以包括只读存储器(ROM)和随机访问存储器(RAM)。在例如蜂窝电话的移动设备中， 操作系统代码1220有时被包括在ROM中，虽然在其他实施例中这不是需要的。类似地，应用 程序1225通常被放置在RAM中，虽然在其他实施例中应用程序可以被放置在ROM中或在其他 计算机可读介质中。堆(heap)1230提供用于与操作系统1220和应用程序1225相关联的状态 的存储。例如，操作系统1220和应用程序1225可以在它们的操作期间在堆1230中存储变量 和数据结构。
[0076] 移动设备1200还可以包括其他可移除/非可移除、易失性/非易失性存储器。通过 示例。图12图示了闪存卡1235、硬盘1236和记忆棒1237。例如，硬盘1236可以被小型化以适 合于存储器槽。移动设备1200可以经由可移除存储器接口 1231与这些类型的非易失性可移 除存储器对接，或可以经由通用串行总线(USB)、IEEE 12394、（多个)有线端口 1240中的一 个或多个、或者（多个)天线1265而被连接。在这些实施例中，可移除存储器设备1235-437可 以经由（多个)通信模块1232与移动设备交互。在一些实施例中，并非全部这些类型的存储 器都可以被包括在单个移动设备上。在其他实施例中，这些和其他类型的可移除存储器中 的一个或多个可以被包括在单个移动设备上。
[0077]在一些实施例中，硬盘1236可以以更永久地被附接到移动设备1200的方式被连 接。例如，硬盘1236可以连接到接口、诸如并行高级技术附接（parallel advanced technology attachment，PATA)、串行高级技术附接（serial advanced technology attachment，SATA)或其他接口，该接口可以连接到总线1215。在这种实施例中，移除硬盘可 以涉及移除移动设备1200的覆盖物和移除将硬盘1236连接到移动设备1200内的支持结构 的螺丝或其他紧固件。
[0078]上文讨论和在图12中图示的可移除存储器设备1235-437及它们相关联的计算机 存储介质为移动设备1200提供计算机可读指令、程序模块、数据结构和其他数据的存储。例 如，一个或多个可移除存储器设备1235-437可以存储由移动设备1200拍摄的图像、语音记 录、联系信息、程序、用于程序的数据等等。
[0079]用户可以通过诸如小键盘1241和麦克风1242之类的输入设备将命令和信息输入 到移动设备1200中。在一些实施例中，显示器1243可以是触敏屏幕并且可以允许用户在其 上输入命令和信息。小键盘1241和显示器1243可以通过耦合至总线1215的用户输入接口 1250而连接到处理单元1205,但是还可以由其他接口和总线结构连接、诸如（多个)通信模 块1232和(多个)有线端口 1240。运动检测1252可以用于确定使用设备1200进行的手势。
[0080] 例如，用户可以经由向麦克风1242说话和经由输入在小键盘1241或触敏显示器 1243上的文本消息来与其他用户通信。音频单元1255可以提供电信号以驱动扬声器1244以 及接收和数字化从麦克风1242接收的音频信号。
[0081] 移动设备1200可以包括提供信号用以驱动相机1261的视频单元1260。视频单元 1260还可以接收由相机1261获得的图像并且向被包括在移动设备1200上的处理单元1205 和/或存储器提供这些图像。由相机1261获得的图像可以包括视频、不形成视频的一幅或多 幅图像、或其某种组合。
[0082](多个)通信模块1232可以向（多个)天线1265提供信号并且从（多个)天线1265接 收信号。（多个)天线1265中的一个天线可以传输和接收针对蜂窝电话网络的消息。另一个 天线可以传输和接收蓝牙?消息。再一个天线(或共享的天线)可以经由无线以太网网络 标准传输和接收网络消息。
[0083]再进一步地，天线提供基于位置的信息，例如向GPS接口和机制1272提供GPS信号。 反过来，GPS机制1272使得对应的GPS数据(例如，时间和坐标)可用于处理。
[0084]在一些实施例中，单个天线可以用于传输和/或接收针对多于一个类型的网络的 消息。例如，单个天线可以传输和接收语音和分组消息。
[0085]当在网络环境中操作时，移动设备1200可以连接到一个或多个远程设备。远程设 备可以包括个人计算机、服务器、路由器、网络PC、蜂窝电话、媒体播放设备、对等设备或其 他常见网络节点，并且通常包括上文关于移动设备1200描述的元件中的许多或全部。
[0086] 本文描述的主题的多个方面可以与许多其他通用或专用计算系统环境或配置一 起操作。可以适用于与本文描述的主题的多个方面一起使用的公知的计算系统、环境和/或 配置的示例包括但不限于个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、 基于微控制器的系统、机顶盒、可编程消费电子设备、网络PC、微计算机、大型机计算机、包 括上文的系统或设备中的任何一个的分布式计算环境等等。
[0087] 本文描述的主题的多个方面可以在由移动设备执行的诸如程序模块之类的计算 机可执行指令的一般上下文中进行描述。通常，程序模块包括执行具体任务或实现具体抽 象数据类型的例程、程序、对象、组件、数据结构等等。本文描述的主题的多个方面还可以在 分布式计算环境中实现，在该分布式计算环境中由通过通信网络链接的远程处理设备执行 任务。在分布式计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机 存储介质两者中。
[0088] 此外，虽然本文可以使用术语服务器，将认识到该术语还可以包括客户端、分布在 一个或多个计算机上的一个或多个过程的集合、一个或多个独立存储设备、一个或多个其 他设备的集合、以上设备中的一个或多个的组合等等。
[0089]
[0090] 虽然本发明容许各种修改和备选构造，它的某些示意实施例被示出在附图中并且 在上文中被详细描述。然而，应当理解的是，并不旨在于将本发明限制到所公开的具体形 式，相反，旨在于要覆盖落入在本发明的精神和范围内的全部修改、备选构造和等同。
[0091] 除了本文描述的各种实施例之外，应当理解的是，可以使用其他类似实施例或者 可以对所描述的（多个)实施例做出修改和添加，以用于执行对应的（多个)实施例的相同或 等同功能，而不偏离本发明。再进一步地，多个处理芯片或多个设备可以共享本文描述的一 个或多个功能的性能，并且类似地，存储可以在多个设备上实现。相应地，本发明不限于任 何单个实施例，而是以根据所附权利要求的宽度、精神和范围来理解。
【主权项】
1. 一种设备，包括:位于显示器附近的多个相机，所述多个相机包括在与所述显示器相 邻的第一边上的第一相机和在与所述显示器相邻的第二边上的第二相机;至少一个光源， 被配置为输出在被眼睛反射时生成角膜反射数据的光，并且所述相机耦合至图像处理组件 以向所述图像处理组件提供包括捕获到的角膜反射数据的图像数据以供在眼睛注视检测 中使用。2. 根据权利要求1所述的设备，其中所述显示器包括在移动或手持设备中，所述移动或 手持设备被配置为与所述移动或手持设备的当前定向相结合地改变至少一些显示输出的 内容呈现定向。3. 根据权利要求1所述的设备，其中所述相机中的至少两个相机:a)相对于所述显示器 成角度、并且其中至少两个相机相对于彼此相异地成角度，或b)具有彼此不同的焦距，或c) 是a)和b)两者。4. 根据权利要求1所述的设备，其中所述至少一个光源包括多个红外光源，并且所述设 备进一步包括控制器，所述控制器被配置为选择性地关闭所述红外光源中的至少一个红外 光源或者降低所述红外光源中的至少一个红外光源的强度。5. 根据权利要求1所述的设备，其中所述至少一个光源包括围绕所述第一相机的多个 红外光源。6. -种系统，包括:三个或更多个红外光源，所述三个或更多个红外光源被配置为输出 在被眼睛反射时生成角膜反射数据的光；以及多个红外敏感相机，所述红外敏感相机被配 置为捕获所述角膜反射数据以供在眼睛注视检测中使用。7. 根据权利要求6所述的系统，其中所述多个红外敏感相机中的至少两个红外敏感相 机:a)相对于彼此相异地成角度，或b)具有彼此不同的焦距，或c)是a)和b)两者。8. 根据权利要求6所述的系统，进一步包括控制器，所述控制器被配置为关闭所述光源 中的至少一个光源或者降低所述光源中的至少一个光源的强度。9. 一种方法，包括:接收与至少两个相机捕获的人眼的图像相对应的图像数据，将所述 图像数据合并到眼睛特征数据中，以及向注视检测算法提供所述眼睛特征数据。10. 根据权利要求9所述的方法，进一步包括:a)基于所述图像中的至少一幅图像来关 闭或降低光源的电源，或b)基于所述图像中的至少一幅图像来关闭相机，或c)a)和b)两者。
【文档编号】G06F3/01GK105917292SQ201580004505
【公开日】2016年8月31日
【申请日】2015年1月14日
【发明人】张正友, A·古普塔, 蔡琴
【申请人】微软技术许可有限责任公司