专利名称：透视显示器亮度控制的制作方法
技术领域：
本发明涉及透视显示器，尤其涉及透视显示器亮度控制。
背景技术：
增强或混合现实是ー种允许将虚拟图像与用户对现实世界的实际视野混合的技木。透视、近眼显示器可被用户佩戴以查看虚拟和现实物体的混合图像。显示器在用户的视野中显示虚拟图像。然而，需要保护佩戴者的眼睛免予来自显示器的太多的光。显示器的亮度是有多少外部光通过显示器与有多少光被用于显示图像的组合。从而，如果太多的外部光通过显示器照射，用户可能经受眼睛损伤或不适。同样，如果太多的光被用于显示图像，用户可能遭受眼睛不适或损伤。此外，需要保护用户的眼睛，同时仍然允许用户适当地看到虚拟和现实物体。
发明内容
该技术提供了用于基于用户正注视之物的光強度来控制透视、近眼混合显示设备的亮度的各种实施例。该显示器的不透明度可被改变，使得如果佩戴者正在看明亮物体，夕卜部光被減少。佩戴者的瞳孔大小可被确定并用于调整用于显示图像的亮度(“图像亮度”)以及显示器的不透明度。可实现不透明度和图像亮度之间的合适的平衡，以允许清晰地看到现实物体和虚拟物体，同时不会对佩戴者的眼睛造成损害或不适。一个实施例包括使用眼睛跟踪相机估计透视显示器的佩戴者正注视于的区域，确定用户正注视于的区域的光強度，以及基于该区域的光強度来调整透视显示器的亮度。一个实施例包括ー种显示系统，该显示系统包括透视、近眼的显示设备，该透视近眼显示设备包括被定位成由相应的眼睛透视的用于每个眼睛的相应显示光学系统。该系统还包括附连于透视显示设备的用于每只眼睛的图像生成単元，用于生成至少ー个虚拟图像供在显示光学系统中显示。此外，该系统具有定位在显示设备上的注视检测元件的相应安排。该系统还包括耦合于注视检测元件的逻辑。该逻辑为透视显示设备的佩戴者确定注视估计。该逻辑访问系统的视野的亮度数据。该逻辑确定正被注视的区域的光強度。该逻辑基于该区域的光强度调整透视显示设备的亮度。—个实施例包括包含以下内容的方法。使用第一相机跟踪透视显示器的佩戴者的视野。使用第二相机确定佩戴者的至少ー个眼睛的注视向量。基于所述跟踪和所述注视向量确定视野中佩戴者正注视于的区域的亮度。确定佩戴者的瞳孔大小。基于该区域的光强度以及瞳孔大小来调整透视显示器的亮度。提供本发明内容以便以简化形式介绍将在以下具体实施方式
中进ー步描述的ー些概念。本发明内容并非g在标识所要求保护的主题的关键特征或必要特征，也不g在用于帮助确定所要求保护的主题的范围。
图1A是描绘具有亮度控制的透视、混合现实显示设备的一个实施例的示例组件的框图。图1B是描绘具有亮度控制的透视、混合现实显示设备的另一实施例的示例组件的框图。图1C示出定位成在配备在一副眼镜中的混合现实显示设备上面对各相应眼睛的、用于每个眼睛的注视检测系统中的相应注视检测元件的集合的位置的示例性安排。图1D示出定位成在配备在一副眼镜中的混合现实显示设备上面对各相应眼睛的、用于每个眼睛的注视检测系统中的相应注视检测元件的集合的位置的另一示例性安排。图1E示出由该副眼镜定位成面对各相应眼睛的、用于每个眼睛的注视检测系统中的相应注视检测元件的集合的位置的又一示例性安排。图1F是用于基于注视估计和瞳孔大小来调整亮度的系统的一个实施例的框图。图1G是基于注视估计以及可选地基于瞳孔大小来调整亮度的过程的一个实施例的流程图。图2是提供对硬件和软件组件的支持的混合现实显示设备的实施例中的镜腿的侧视图。图3A是包括注视检测系统中注视检测元件的安排的透视、近眼、混合现实设备的显示光学系统的实施例的俯视图。图3B是包括注视检测系统中注视检测元件的安排的透视、近眼、混合现实设备的显示光学系统的另一实施例的俯视图。图3C是包括注视检测系统中注视检测元件的安排的透视、近眼、混合现实设备的显示光学系统的第三实施例的俯视图。图3D是包括注视检测系统中注视检测元件的安排的透视、近眼、混合现实设备的显示光学系统的第四实施例的俯视图。图4A是可用于图2的实施例的透视、近眼、混合现实显示单元的硬件和软件组件的一个实施例的框图。图4B是与透视、近眼、混合现实显示单元相关联的处理单元的硬件和软件组件的一个实施例的框图。图5A是确定透视显示器的佩戴者正在注视的区域的亮度的一个实施例的流程图。图5B是示出在用户的眼睛所聚焦的注视点处相交的注视向量的示例的俯视图。图5C是确定瞳孔大小的一个实施例的流程图。图不出用于角膜和瞳孔图像的模型的一个实施例。图5E示出用于角膜的模型的一个实施例，带有具有中心Ei的相关联的瞳孔图像。图5F是确定用于眼睛跟踪的用户特定参数的一个实施例的流程图。图5G是确定基线用户特定参数的过程的一个实施例的流程图。图5H是基于用户基线值来逐渐改变显示器亮度的一个实施例的流程图。图51是基于用户的眼睛与透视显示器的距离来改变显示器亮度的一个实施例的流程图。图5J是基于图像上下文调整显示器亮度的一个实施例的流程图。图6A是用于确定三维用户视野的方法实施例的流程图。图6B是用于在用户视野中标识ー个或多个现实物体的方法实施例的流程图。图6C是用于生成用户空间的三维模型的方法实施例的流程图。图6D是用于在用户视野中标识ー个或多个现实物体的方法实施例的流程图。图6E是用于在用户视野中标识ー个或多个现实物体的方法实施例的流程图。图6F是用于确定物体在透视、近眼显示设备的用户视野内的位置的系统实施例的框图。图7是用于确定透视、近眼、混合现实显示系统中的注视的方法实施例的流程图。图8是用于标识图像数据中的闪光的方法实施例的流程图。图9是可被用于确定注视检测坐标系的边界的方法实施例的流程图。图10是示出用于使用透视、近眼、混合现实显示器的光学注视检测元件来确定角膜中心在坐标系中的位置的方法实施例的流程图。图11提供使用光学元件的安排所提供的几何形状来定义平面以形成可由图10的实施例用来寻找角膜中心的注视检测坐标系的说明性示例。图12是示出用于从传感器生成的图像数据来确定瞳孔中心的方法实施例的流程图。图13是示出用于基于所确定的瞳孔中心、角膜中心、以及眼球的旋转中心来确定注视向量的方法实施例的流程图。图14是示出用于基于闪光数据来确定注视的方法实施例的流程图。图15A是示出用于生成用于对注视的基于比较的确定的一组训练数据集的方法实施例的流程图。图15B是示出用于基于训练数据集来确定注视的方法实施例的流程图。图15C是可以与图14的比较步骤一起使用的内插方法实施例的流程图。图16是示出用于检查是否要完成对训练注视数据集的重新校准的方法实施例的流程图。图17是可以在本技术的各实施例中操作的示例性移动设备的框图。图18是可用于实现中枢计算系统的计算系统的一个实施例的框图。
具体实施例方式本文所描述的技术提供了用于调整透视、近眼显示器的亮度的各种实施例。ー个可能的调整是改变用于显示图像的亮度(“图像亮度”)。另ー可能的调整是改变显示器的不透明度，使得更多或更少的外部光将通过进入佩戴者的眼睛。这些调整可针对彼此来平衡，使得可适当地观看到现实和虚拟物体。在一个实施例中，佩戴者的眼睛被跟踪以确定用户正注视哪里。然后确定用户正在看的现实世界物体的光强度。光强度可被用于调整不透明度和/或图像亮度。在ー个实施例中，佩戴者的瞳孔大小被跟踪。瞳孔大小可被用于确定如何调整不透明度和/或图像亮度。注意，来自物体的光强度和瞳孔大小都可在所述确定中被计算在内。
在某些实施例中，注视估计被用于确定如何调整显示器亮度。注视有时被称为眼睛的视线或视轴。该视轴从视网膜的小凹(有时被称为小凹中央)延伸通过瞳孔中心。将视轴从小凹延伸通过瞳孔以及每个眼睛的透视镜片，可在可包括虚拟物体的图像以及现实世界的实际直接视图的用户视野中确定注视点。在一个实施例中，确定用户正注视于的区域的光强度。用于确定注视的一种技术可基于闪光数据或闪光与图像数据的组合。在某些实施例中，基于对显示设备上至少一个光传感器以及各照明器的预定定位的注视确定坐标系提供了显示设备与每个相应的眼睛之间的三维(3D)空间关系。每个眼睛的注视向量可基于该3D空间关系来确定。基于双眼的注视向量或基于来自至少一个眼睛的注视向量以及环境的估计的图，可确定注视点，该注视点指示出用户正注视的、或更通常地表述为用户正在看的现实或虚拟的一个或多个物体。其他实施例使用眼睛的图像数据以及在各照明器和至少一个图像传感器的几何形状的上下文中表示闪光的数据两者，来确定眼睛的各部分的位置与注视检测元件的相应系统之间的三维(3D)空间关系的边界。眼睛的这些部分的示例是基于闪光数据所确定的角膜的中心、从眼睛的图像数据确定的瞳孔的中心、以及眼睛的旋转中心，眼睛的旋转中心的位置是基于角膜中心的位置来估计的。出于注视确定目的中的准确性考虑因素，在一个实施例中，眼球的旋转中心可被认为是固定的。然而，在一个实施例中，眼球的旋转中心不被认为是固定的。注意，在一个实施例中，如果HMD被重新定位在脸上，眼球的旋转中心不被认为是固定的。相应眼睛的注视向量是基于形成相应眼睛的光轴的角膜中心、瞳孔中心、以及旋转中心来确定的。角偏移量可被应用于该光轴，以便获取可被选作注视向量的该眼睛的视轴。不同的注视检测技术可被用在相同的系统内。例如，由于眼睛的障碍物或更新处理时间，计算强度较小的技术(像某种版本的基于将闪光强度值与瞳孔位置相关的方法)可被更频繁地与之间带有较长时间间隔的计算强度较大的技术(像某种版本的基于角膜中心、瞳孔中心、旋转中心与光学兀件的注视检测系统之间的3D空间关系来确定注视向量)结合使用。例如，在使用训练注视数据集的各实施例中，包括眼睛与注视检测元件之间的深度改变等空间关系中的改变也可被确定为触发对系统的重新校准的指示。在某些实施例中，透视显示设备在一副眼镜中，但也可使用其他头戴式显示器(HMD)格式以及适于消费者每天使用的近眼显示器支架。图1A是描绘基于注视确定和/或瞳孔大小来控制显示器亮度的混合现实显示系统的一个实施例的示例组件的框图。例如，可调整不透明度和/或图像亮度。系统10包括作为通过线6与处理单元4进行通信的近眼、头戴式显示设备2的透视显示设备。在其他实施例中，头戴式显示设备2通过无线通信来与处理单元4进行通信。处理单元4可以采取各种实施例。在一些实施例中，处理单元4是可以佩戴在用户的身体(例如，在所示示例中的腕)上或置于口袋中的分开的单元，并且包括用于操作近眼显示设备2的计算能力中的大部分能力。处理单元4可以与一个或多个中枢计算系统12无线地(例如，WiF1、蓝牙、红外、或其他无线通信手段)通信。在其他实施例中，处理单元4的功能可被集成在显示设备2的软件和硬件组件中。头戴式显示设备2 (在一个实施例中它是带镜架115的眼镜的形状)被佩戴在用户的头上，使得用户可以透视显示器(在该示例中该显示器被实现为用于每ー只眼睛的显示光学系统14)，并且从而具有对该用户前方的空间的实际直接视图。镜架115提供用于将该系统的各元件保持在原位的支承体以及用于电连接的管道。在该实施例中，镜架115提供了便利的眼镜架作为对下面进ー步讨论的系统的各元件的支承体。在其他实施例中，可以使用其他支承结构。这样的结构的示例是帽舌或护目镜。镜架115包括用于搁在用户的每ー只耳朵上的镜腿或侧臂。镜腿102是右镜腿的实施例的表示。镜架的鼻梁104包括用于记录声音井向处理单元4传送音频数据的话筒110。在某些实施例中，透视显示器的不透明度是可调整的以控制允许通向用户的眼睛的外部光量。控制不透明度可能有助于帮助显示器上的图像看上去更逼真。例如，可帮助使得虚拟物体看上去更为逼真地与现实物体结合。控制不透明度也可保护用户的眼睛免予损伤或不适。中枢计算系统12可以是计算机、游戏系统或控制台等等。根据ー示例实施例，中枢计算系统12可以包括硬件组件和/或软件组件，使得中枢计算系统12可以用于执行诸如游戏应用、非游戏应用等等之类的应用。在一个实施例中，中枢计算系统12可以包括诸如标准化处理器、专用处理器、微处理器等等之类的处理器，这些处理器可以执行存储在处理器可读存储设备上的指令以用于执行在此所述的过程。中枢计算系统12还包括ー个或多个捕捉设备，如捕捉设备20A和20B。在其他实施例中，可使用多于或少于两个捕捉设备来捕捉房间或用户的其他物理环境。捕捉设备20A和20B可以是例如相机，相机在视觉上监视ー个或多个用户和周围空间，从而可以捕捉、分析并跟踪该ー个或多个用户所执行的姿势和/或移动以及周围空间的结构，以在应用中执行一个或多个控制或动作和/或使化身或屏上角色动画化。应用可以在中枢计算系统12上、显示设备2上、如下所述地在移动设备5上、或在这些设备的组合上执行。中枢计算环境12可以连接到诸如电视机、监视器、高清电视机(HDTV)等可提供游戏或应用视觉的视听设备16。在一些情况下，视听设备16可以是三维显示设备。例如，中枢计算系统12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从中枢计算系统12接收视听信号，并且然后可以输出与视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例，视听设备16可经由例如S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆、分量视频电缆、RCA电缆等连接至中枢计算系统12。在一个示例中，视听设备16包括内置扬声器。在其他实施例中，视听设备16、単独的立体声系统或中枢计算系统12连接到外部扬声器22。图1B是描绘基于注视确定和/或瞳孔大小来调整显示器亮度的混合现实显示系统的另一实施例的示例组件的框图。在该实施例中，近眼显示设备2与作为处理単元4的示例实施例的移动计算设备5进行通信。在所示示例中，移动设备5经由线6进行通信，但在其他示例中通信也可以是无线的。此外，如在中枢计算系统12中一祥，游戏和非游戏应用可以在移动设备5的处理器上执行，其中用户动作控制或用户动作动画化可被显示在设备5的显示器7上的化身。移动设备5还提供用于通过因特网或另一通信网络经有线或无线通信介质使用有线或无线通信协议来与像中枢计算系统12的其他计算设备进行通信的网络接ロ。像中枢计算系统12的远程网络可访问的计算系统可被像移动设备5的处理单元4充分利用来提供处理能力和远程数据访问。移动设备5的硬件和软件组件(例如可被实现在智能电话或平板计算设备中)的示例在图17中描述，并且这些组件可以包括处理单元4的硬件和软件组件，如在图4A的实施例中讨论的那些组件。移动设备5的一些其他示例是膝上型计算机或笔记本计算机以及上网本计算机。如上所述，在一些实施例中，对用户的眼睛中的每ー个的注视检测基于与诸如角膜中心、眼球旋转中心、以及瞳孔中心等一个或多个人眼元素有关的、像眼镜2等近眼、混合现实显示设备上的注视检测元件的三维坐标系。可作为该坐标系的一部分的注视检测元件的示例包括生成闪光的照明器和用于捕捉表示所生成的闪光的数据的至少ー个传感器。如在图7的实施例中讨论的，角膜中心可以基于两个闪光使用平面几何来确定。角膜中心链接瞳孔中心和眼球的旋转中心，这可被当作用于在特定注视或观看角度确定用户的眼睛的光轴的固定位置。图1C示出实现在一副眼镜2中的透视、近眼、混合现实显示系统中的注视检测元件的相应集合的位置的示例性安排。该系统还具有能确定瞳孔大小的ー个或多个相机。此夕卜，该系统能够在3D中跟踪每个眼睛。表现为每个眼睛的镜片的是每个眼睛的显示光学系统14，例如141■和141。显示光学系统包括透视镜片，例如图3A-3D中的118和116，如一副普通眼镜那样，但还包含用于将虚拟内容与透过镜片118、116看到的实际和直接现实世界视图无缝地融合的光学元件(例如，反射镜、滤光器)。显不光学系统14具有一般处于透视镜片118、116的中心的光轴,其中光一般被校准来提供无失真视图。例如，在眼睛护理专业人员使ー副普通眼镜适合于用户的脸部吋，目标是该眼镜在每一瞳孔与相应镜片的中心或光轴相对准的位置处落在用户的鼻子上，从而通常使得校准光到达用户的眼睛以得到清晰或无失真的视图。在图1C的示例中，至少ー个传感器的检测区域139r、1391与其相应显示光学系统14r、141的光轴相对准，使得检测区域139r、1391的中心捕捉沿着光轴的光。如果显示光学系统14与用户的瞳孔对准，则相应传感器134的每ー检测区域139与用户的瞳孔相对准。检测区域139的反射光经由ー个或多个光学元件传送到相机的实际图像传感器134，在该示例中传感器134由处于镜架115内部的虚线示出。 在一个示例中，通常也被称为RGB相机的可见光相机可以是所述传感器，并且光学元件或光引导元件的示例是部分透射且部分反射的可见光反射镜。可见光相机提供用户的眼睛的瞳孔的图像数据，而IR光电探测器152捕捉闪光，闪光是频谱的IR部分中的反射。如果使用可见光相机，则虚拟图像的反射可以出现在该相机所捕捉的眼睛数据中。图像过滤技术可被用来在需要时移除虚拟图像反射。IR相机对眼睛上的虚拟图像反射是不敏感的。在一个实施例中，所述至少一个传感器134是IR辐射可被定向到的IR相机或位置敏感检测器(PSD)。例如，热反射表面可以透射可见光但反射IR辐射。从眼睛反射的IR辐射可以来自照明器153、其他IR照明器(未示出)的入射辐射或者来自从眼睛反射的环境IR辐射。在一些示例中，传感器134可以是RGB和IR相机的组合，并且光学引导元件可包括可见光反射或转向元件和IR辐射反射或转向元件。在一些示例中，相机可以是小型的，例如2毫米(mm)乘2mm或3mm乘3mm。这样的相机传感器的示例是Omnivision 0V7727。在其他示例中，相机可以足够小(例如Omnivision 0V7727),例如使得图像传感器或相机134能以显示光学系统14的光轴或其他位置为中心。例如，相机134可被嵌入在系统14的镜片中。另外，可以应用图像过滤技术来将相机混合到用户视野中以减轻对用户的任何干扰。在图1C的示例中，有四组照明器153，照明器153与光电检测器152配对并由屏障154分开以避免照明器153所生成的入射光与在光电检测器152处接收到的反射光之间的干扰。为了在附图中避免不必要的混乱，就代表性的一对示出了附图标记。每一照明器可以是生成大约预定波长的窄光束的红外(IR)照明器。光电检测器中的每一个可被选择来捕捉大约该预定波长的光。红外还可包括近红外。因为照明器或光电检测器可能存在波长漂移或者波长周围的微小范围是可接受的，所以照明器和光电检测器可以具有与用于生成或检测的波长有关的容限范围。在传感器是IR相机或IR位置敏感检测器(PSD)的实施例中，光电检测器可以是附加数据捕捉设备并且也可被用来监视照明器的操作，例如波长漂移、波束宽度改变等。光电检测器还可提供闪光数据，其中可见光相机作为传感器134。如上所述，在作为确定注视向量的一部分来计算角膜中心的一些实施例中，两个闪光(并且因此两个照明器)将是足够的。然而，在确定瞳孔位置并且因此确定注视向量时，其他实施例可以使用附加闪光。因为表示闪光的眼睛数据是重复地捕捉的，例如以每秒30帧或更大的帧率，所以一个闪光的数据可被眼睑或甚至被睫毛遮挡，但数据可由另一照明器所生成的闪光来收集。图1D示出实现在一副眼镜中的混合现实显示设备中的注视检测元件的相应集合以及用于检测瞳孔大小的一个或多个相机的位置的另一示例性安排。在该实施例中，两组照明器153和光电检测器152对位于显不光学系统14周围的每一镜架部分115的顶部附近，并且另两组照明器和光电检测器对位于每一镜架部分115的底部附近，以示出照明器之间的几何关系并因此示出它们生成的闪光之间的几何关系的另一示例。闪光的这一安排可以提供与垂直方向上的瞳孔位置有关的更多信息。图1E示出注视检测元件的相应集合以及用于检测瞳孔大小的相机系统的位置的又一不例性安排。在该不例中，传感器134r、1341与其相应显不光学系统14r、141的光轴成一直线或对准，但在镜架115上位于系统14下方。另外,在一些实施例中,相机134可以是深度相机或包括深度传感器。深度相机可被用于在3D中跟踪眼睛。在该示例中，有两组照明器153和光电检测器152。图1F是用于基于注视估计和瞳孔大小来调整亮度的系统的一个实施例的框图。该系统包括一个或多个相机系统252。此处所述的相机系统、图像传感器、光电检测器等中的任一个都可被用于相机系统252中，如(但不限于)捕捉设备20A和20B、图像传感器134、检测区域139、照明器153、光电检测器152。相机系统252为亮度控制逻辑258、注视估计逻辑254、以及瞳孔大小确定逻辑256提供数据。亮度控制逻辑258控制透视显示器的亮度。亮度控制逻辑258具有用于控制透视显示器的不透明度的不透明度控制逻辑260，以及用于控制呈现在透视显示器上的图像的亮度的图像亮度控制逻辑262。在一个实施例中，亮度控制逻辑258输出用于控制不透明度和图像亮度的控制信号。在一个实施例中，注视估计逻辑254确定注视向量。瞳孔大小确定逻辑256确定瞳孔大小。注视向量和瞳孔大小被提供给亮度控制258。
在一个实施例中，亮度控制258输入用户基线值，用户基线值是与特定用户的眼睛有关的參数。这些用户基线值可被用于确定如何控制显示器亮度。以下描述进ー步的细节。该系统可由硬件和/或软件的任何组合来实现。在一个实施例中，亮度控制258、注视估计逻辑254以及瞳孔大小确定逻辑256由处理器来实现。作为示例，设备4、5可具有处理器。注意，该系统可具有其他元件，但是它们未被显示出以便不使图示模糊。图1G是基于注视估计以及可选地基于瞳孔大小来调整透视显示器亮度的过程的一个实施例的流程图。该过程可被用于调整透视显示器的不透明度和/或图像亮度。控制不透明度控制多少外部光通过透视显示器。控制图像亮度控制透视显示器多亮地呈现图像。注意，控制图像亮度可帮助节省功率以及延长透视显示器的使用寿命。控制不透明度和图像亮度具有许多优点。它尤其可允许虚拟物体与现实物体更逼真地结合、保护用户的眼睛免予损伤和不适、节省功率、以及延长显示器的使用寿命。在步骤402，做出对透视、近眼显示器的佩戴者正注视于的区域的估计。在ー个实施例中，该估计是使用眼睛跟踪相机系统做出的。在一个实施例中，对每个眼睛确定注视向量。这些注视向量可在用户周围的3D坐标系中建立。图1C-1G示出可被用于跟踪眼睛注视的若干实施例。眼睛跟踪来估计注视的进ー步细节和实施例在下文中被讨论。在可选的步骤404中，确定佩戴者的瞳孔大小。可使用图1C-1G中的示例透视显示器。确定瞳孔大小的进ー步细节和实施例在下文中被讨论。在步骤406，确定佩戴者正注视于的区域(在HMD之外)的光强度。在一个实施例中，相机系统被用于确定佩戴者的环境的光強度。该相机系统可以位于透视显示器上或其他地方。相机图像可与眼睛注视位置相关以确定佩戴者正注视于的区域(如现实世界物体)的光强度。在一个实施例中，在步骤406中做出环境的3D图。注视向量可被用于确定该3D图中的点或区域。因此，可确定佩戴者正注视于的在HMD之外的光強度。注意，该3D环境可具有有大光强度范围的物体。例如，佩戴者可能正在看同一房间中的黑桌子或明亮的墙。注意，房间的平均光強度并不传达光强度中的这些巨大差异。在一个实施例中，基于正被注视于的区域的光強度来调整透视显示器的亮度(步骤408)。在一个实施例中，基于该区域的光强度以及瞳孔大小来调整透视显示器的亮度(步骤 410)。如所述，调整亮度可包括调整不透明度和图像亮度。例如，如果用户从看明亮的墙到看黑桌子，不透明度可被调整以允许虚拟图像被逼真地显示。如果当用户的注视偏移时用户的瞳孔大小改变，显示器的图像亮度可被相应地调整。然而，当改变图像亮度时，可对不透明度做出适当的改变以維持虚拟图像的逼真呈现。从而，在图像亮度和不透明度之间可存在相互影响。图2是被实现为提供对硬件和软件组件的支持的眼镜的透视、混合现实显示设备的实施例中的镜架115的镜腿102的侧视图。在镜架115的前方是可捕捉视频和静止图像的面向物理环境的视频相机113。视频相机113可被用于确定透视、混合现实显示设备的视野的光強度。在其中显示设备2没有结合像中枢系统12的捕捉设备20a和20b等深度相机来操作的某些实施例中，面向物理环境的相机113可以是深度相机以及对可见光敏感的相机。例如，该深度相机可包括IR照明器发射器和像处于可见图像传感器前方的热镜等热反射表面，该热反射表面使得可见光透过并将处于照明器所发射的波长范围内或预定波长周围的所反射的IR辐射定向到CCD或其他类型的深度传感器。来自传感器的数据可被发送到控制电路13的处理器210，或处理单元4、5，或者这两者，它们可以处理该数据，但在某些实施例中単元4、5也可将数据发送到像图1A之类的中枢计算系统12或通过网络发送到一个或多个计算机系统(例如，像中枢计算系统12)以供处理。该处理标识并映射用户的现实世界视野。另外，面向物理环境的相机113还可包括用于测量环境光的曝光计。在以下进ー步讨论的某些实施例中，特定量的改变可触发关于训练注视数据集的重新校准的消息。然而，注意到基于用户正注视于什么的光強度来控制显示器的亮度的实施例可使用与曝光计所收集的不同的其他亮度数据来确定光强度。控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电路136的更多细节在下文參考图4A提供。耳机130、惯性传感器132、GPS收发机144、以及温度传感器138处于镜腿102内部或安装在镜腿102上。在一个实施例中，惯性传感器132包括三轴磁力计132A、三轴陀螺仪132B、以及三轴加速度计132C (參见图4A)。惯性传感器用于感测头戴式显示设备2的位置、定向、以及突然加速。从这些移动中，也可以确定头部位置。显示设备2提供可创建包括一个或多个虚拟物体的一个或多个图像的图像生成単元。在一些实施例中，微显示器可被用作图像生成単元。微显示器部件173包括光处理元件和可变焦调整器135。光处理元件的示例是微显示器単元120。其他示例包括一个或多个光学元件,如透镜系统122的ー个或多个透镜以及诸如图3A和3B中的124a和124b或图3C和3D中的124等ー个或多个反射元件。透镜系统122可包括单个透镜或多个透镜。微显示器単元120安装在镜腿102上或处于镜腿102内部，它包括图像源并生成虚拟物体的图像。微显示器単元120在光学上与透镜系统122和反射面124或以下附图中示出的反射面124a和124b对准。光学对准可以沿着光轴133或包括一个或多个光轴的光路133。微显示器単元120透过透镜系统122来对虚拟物体的图像进行投影，这可将图像光引导到反射元件124上，反射元件124将该光引导到图3C和3D中的光导光学元件112中或引导到反射面124a (例如，镜面或其他表面)上，反射面124a将虚拟图像的光引导到部分反射元件124b，部分反射元件124b将沿着路径133的虚拟图像视图与图3A-3D中的沿着光轴142的自然或实际直接视图进行组合。各视图的组合被引导到用户的眼睛。可变焦调整器135改变微显示器部件的光路中的一个或多个光处理元件之间的位移或微显示器部件中的元件的光功率(optical power)。透镜的光功率被定义成其焦距的倒数，例如I/焦距，因而ー个中的改变影响另ー个。焦距的改变造成视野的区域的改变，例如特定距离处的区域，该区域对于由微显示器部件173生成的图像而言是焦点对准的。在微显示器部件173作出位移改变的一个示例中，在电枢137内对位移改变进行引导，电枢137支承诸如该示例中的透镜系统122和微显示器120之类的至少ー个光处理元件。电枢137帮助在各元件的物理移动期间稳定沿光路133的对准，以达到所选位移或光功率。在一些不例中，调整器135可以移动一个或多个光学兀件,如电枢137内的透镜系统122中的透镜。在其他示例中，电枢可在光处理元件周围的区域中具有槽或空间，使得它在不移动光处理元件的情况下在该元件(例如微显示器120)上滑动。电枢中的另一元件(如透镜系统122)被附连，使得系统122或其内的透镜与移动的电枢137 —起滑动或移动。位移范围通常是几毫米(mm)的量级。在其他示例中，电枢137可以向透镜系统122提供对涉及除位移之外的其他物理参数的调整的焦点调整技术的支持。这样的参数的示例是偏振。在一个示例中，调整器135可以是诸如压电马达之类的执行器。也可使用用于执行器的其他技术，并且这样的技术的一些示例是由线圈和永久磁铁、磁致伸缩元件、以及电致伸缩元件形成的音圈。存在着可用于实现微显示器120的不同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学活性材料来调制，用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。取决于该技术，照明是由白光源或RGB源来向前点亮的。数字光处理(DLP)、硅上液晶(LC0S)、以及来自Qualcomm有限公司的.Mirasol 显示技术都是高效的反射技术的示例，因为大多数能量从已调制结构反射并且可用于本文描述的系统中。附加地，微显示器120可以使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision有限公司的PicoPTM引擎使用微型镜面舵来将激光信号发射到担当透射元件的小型屏幕上或直接将光束(例如，激光)发射到眼睛。如上所述，微显示器部件173的光处理元件的配置创建焦距或虚拟物体出现在图像中的聚焦区。改变该配置会改变虚拟物体图像的聚焦区。由光处理元件确定的聚焦区可以基于等式l/Sl+l/S2=l/f来确定和改变。符号f表示透镜的焦距，如微显示器部件173中的透镜系统122。透镜系统122具有前节点和后节点。如果光线以相对于光轴的给定角度被向前引导到两个节点中的任一个，则光线将以相对于光轴的相等角度从另一节点出射。在一个示例中，透镜系统122的后节点将处于它自己与微显示器120之间。从后节点到微显示器120的距离可被表示成S2。前节点通常处于透镜系统122的几毫米内。目标位置是要由微显示器120生成的虚拟图像在三维物理空间中的位置。从前节点到虚拟图像的目标位置的距离可被表示成SI。因为图像是与微显示器120出现在透镜的相同侧的虚拟图像，所以符号规约示出SI具有负值。如果透镜的焦距是固定的，则改变SI和S2来将虚拟物体聚焦在不同的深度处。例如，初始位置可使SI设置成无限远处，并且使S2等于透镜系统122的焦距。假定透镜系统122具有IOmm的焦距，考虑虚拟物体要被置于用户视野中大约I英尺(S卩，300mm)的示例。SI现在大约是-300mm，f是IOmm并且S2当前被设置在焦距的初始位置10mm，从而意味着透镜系统122的后节点与微显示器122相距10mm。基于I/(-300)+1/S2=1/10 (所有项的单位均为毫米)来确定透镜122与微显示器120之间的新距离或新位移。其结果是S2大约为 9.67mm。在一个示例中，一个或多个处理器(如在控制电路中，处理单元4、5，或这两者)可以计算SI和S2的位移值，而使焦距f固定并使得控制电路136造成可变调整器驱动器237(参见图4A)发送驱动信号以使可变虚拟焦点调整器135例如沿光路133移动透镜系统
122。在其他实施例中，作为移动透镜系统122的替换或补充，可以移动微显示器单元120。在其他实施例中，作为沿光路133的位移改变的替换或补充，也可以改变透镜系统122中的至少一个透镜的焦距。图3A是包括注视检测系统中注视检测元件的安排的透视、近眼、混合现实设备的显示光学系统14的实施例的俯视图。如所示，近眼显示设备2的镜架115的一部分将在包括提供对ー个或多个镜片的支持的显示光学系统周围。为了示出显示系统14(在该情况下是右眼系统14r)的各个组件，在显示光学系统周围的镜架115的顶部部分未被描绘。在该实施例中，显示光学系统14具有光轴142并包括允许用户对现实世界的实际直接查看的透视镜片118。在该示例中，透视镜片118是眼镜中使用的标准镜片，并且可根据任何处方(包括不根据处方)来制作。在另ー实施例中，用可变处方镜片来替换透视镜片118。在一些实施例中，透视、近眼显示设备2将包括附加镜片。显示光学系统14还包括反射面124a和124b。在该实施例中，来自微显示器120的光经由反射元件124a沿光路133引导到嵌入在镜片118中的部分反射元件124b，部分反射元件124b将沿光路133行进的虚拟物体图像视图与沿光轴142的自然或实际直接视图进行组合，使得经组合的视图在光轴的具有用于最清晰视图的最准直光的位置处被引导到用户的眼睛(在该示例中是右眼)。光传感器的检测区域1391■也是显示光学系统14r的一部分。光学元件125通过捕捉来自用户的眼睛的沿光轴142接收到的反射光来实现检测区域139r，并将捕捉到的光引导到传感器134r,在该示例中传感器134r位于鼻梁104中。如图所示,这一安排允许传感器134r的检测区域139使其中心与显示光学系统14的中心对准。例如，如果传感器134r是图像传感器，则传感器1341■捕捉检测区域139，使得在图像传感器处捕捉到的图像以光轴为中心，因为检测区域139的中心是光轴。在一个示例中，传感器134r是可见光相机或RGB/IR相机的组合，并且光学元件125包括对反射自用户的眼睛的可见光进行反射的光学元件，例如部分反射镜面。在其他实施例中，传感器134r是诸如IR相机等IR敏感设备，并且元件125包括令可见光穿过它并将IR辐射反射到传感器`134r的热反射表面。IR相机不仅可以捕捉闪光，还可以捕捉用户的眼睛(包括瞳孔)的红外或近红外图像。在其他实施例中，IR传感器设备134r是位置敏感设备(PSD)，有时被称为光学位置传感器。检测到的光在传感器的表面上的位置被标识。可以选择对闪光的IR照明器的波长范围或大约预定波长敏感的PSD。当在该设备的传感器或光敏部件上检测到处于该位置敏感设备的波长范围内或大约是其预定波长的光时，生成标识检测器的表面上的位置的电子信号。在一些实施例中，PSD的表面被分成可从中确定光的位置的各分立传感器(像像素一祥)。在其他示例中，可以使用PSD各向同性传感器，其中表面上的局部阻抗的变化可被用来标识光点在PSD上的位置。也可使用PSD的其他实施例。通过以预定顺序来操作照明器153，可以标识在PSD上的闪光反射位置并且因此将该闪光反射位置与角膜表面上的位置进行相关。在图3A-3D中描绘的光检测元件(在这种情况下是反射元件)125、124、124a、以及124b是它们的功能的表示。这些元件可以采取任何数量的形式，并且可以用ー个或多个光学组件按用于将光引导到其预期目的地(如相机传感器或用户的眼睛)的一个或多个安排来实现。在这ー实施例中，显示光学系统14包括其他注视检测元件。在这ー实施例中，至少两个(2)但可以是更多个红外(IR)照明设备153被附连到镜架115且在镜片118的侧面，它们将处于特定波长范围内或大约是预定波长的窄红外光束引导到用户的眼睛以各自在相应角膜的表面上生成相应闪光。在其他实施例中，照明器和任何光电ニ极管可以处于镜片上，例如在角上或在边上。在这一实施例中，除至少2个红外(IR)照明设备153之外，还有IR光电检测器152。每一光电检测器152对它对应的IR照明器153的通过镜片118的特定波长范围内的IR辐射敏感，并且被定位来检测相应闪光。如在图1C-1E中所示，照明器和光电检测器由屏障154分开，使得来自照明器153的入射IR光不干扰在光电检测器152处接收到的反射IR光。在其中传感器134是IR传感器的情况下，光电检测器152可能不需要或可以是附加闪光数据捕捉源。使用可见光相机，光电检测器152捕捉来自闪光的光，并且生成闪光强度值。图3B是包括注视检测系统中注视检测元件的安排的透视、近眼、混合现实设备的显示光学系统14的另一实施例的俯视图。在这一实施例中，除至少2个红外(IR)照明设备153之外,还有IR光电检测器152。在这一实施例中，热反射表面125已经被移除，以不出不带有位置敏感检测器的操作。在图3B的实施例中，光检测器134r可被实现成可见光相机(有时称为RGB相机)，或它可被实现成IR相机或能够处理可见光和IR范围内的光的相机，如深度相机。在这一示例中，图像传感器134r是检测区域139r，并且相机的图像传感器134垂直地位于显示光学系统的光轴142上。在一些示例中，相机可以在镜架115上位于透视镜片118上方或下方，或嵌入在镜片118中。在一些实施例中，照明器153向相机提供光，而在其他实施例中，相机使用环境光或来自它自己的光源的光来捕捉图像。在一个实施例中，闪光反射可基于为闪光所检测的若干强度值的数据点来估计注视，而不是处理大多得多的眼睛图像数据集。近眼显示设备的镜架115或其他支撑结构上的照明器153的位置可以是固定的，使得由一个或多个传感器所检测的闪光位置在传感器检测区域中是固定的。角膜且因此虹膜和瞳孔随眼球绕中心旋转(该中心可被作为固定的来对待，但这并非是必须的)。在用户的注视改变时，虹膜、瞳孔以及巩膜(有时被称为眼白部分)在闪光下面移动。因此，在相同的传感器位置处检测到的闪光可由于与不同眼睛部位相关联的不同反射率而导致不同的强度值。由于瞳孔是带有吸收最多入射光的组织的孔，因此它的强度值会非常低或接近零，而虹膜的强度值由于其较高的反射率而会是较高强度值。由于巩膜具有最高反射率，因此巩膜的强度值可为最高。在某些示例中，照明器可如图3A至图3D中位于显示光学系统14的任一侧，并且由此位于用户眼睛的瞳孔的任一侧。在其他实施例中，附加照明器可位于在镜架115或镜片118上，例如，可放置四个照明器以在眼球上生成闪光的包围几何形状(例如框)，当用户看向正前方时该形状会大致以瞳孔为中心。微显示器部件173可向用户显示虚拟图像或发送消息，例如视觉虚拟图像或音频指令，使得该用户看向正前方以在瞳孔上或在瞳孔附近初始化闪光。在其他实施例中，基于闪光的注视检测是基于在闪光独立于以瞳孔为中心来定位的情况下从照明器所生成的强度值的。图3C是包括注视检测系统中注视检测元件的安排的透视、近眼、混合现实设备的显示光学系统14的第三实施例的俯视图。该显示器包括附加透视镜片116与透视镜片118之间的光导光学元件112。光导光学元件112将人造光引导至眼睛。光导光学元件112将来自微显示器120的光传送到佩戴头戴式显示设备2的用户的眼睛。光导光学元件112还允许来自头戴式显示设备2的前方的光透过光导光学元件112传送到用户的眼睛，从而除接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。因此，光导光学元件112的壁是透视的。光导光学元件112包括第一反射面124 (例如，镜面或其他表面)。来自微显示器120的光穿过透镜122并入射在反射面124上。反射面124反射来自微显示器120的入射光，使得光通过内反射而被捕获在包括光导光学元件112的平面衬底内。在衬底的表面上进行若干反射之后，所捕获的光波到达选择性反射面126的阵列。注意，五个表面中只有一个表面被标记为126以防止附图太过拥挤。反射面126将从衬底出射并入射在这些反射面上的光波耦合到用户的眼睛。光导光学元件的更多细节可以在于2008年11月20日公布的美国专利申请公开号2008/0285140、序列号12/214，366 “Substrate-Guided Optical Devices (衬底导向的光学设备)”中找到，其整体通过引用结合于此。在这一实施例中，如图1E中以及图3B的各示例中的一个，显示光学系统14被类似地安排，IR照明器153和光电检测器152、以及可见光或IR相机134r位于光轴142 (通常位于支持光导光学元件112的镜片116和118的中心)以下或以上的镜架115或镜片118上。图3D是包括注视检测系统中注视检测元件的安排的透视、近眼、混合现实设备的显示光学系统14的第四实施例的俯视图。该实施例类似于图3C的实施例，包括光导光学元件112。然而，光检测器仅有IR光电检测器152，因此这一实施例仅依赖于闪光检测来用作注视检测，如在以下示例中讨论的。在图3A-3D的实施例中，例如检测区域139和照明器153和光电检测器152等注视检测元件的位置相对于彼此是固定的。在这些示例中，它们相对于显示光学系统14的光轴也是固定的。在以上实施例中，所示出的具体数量的透镜只是示例。可以使用其他数目和配置的根据相同原理操作的透镜。另外，在以上示例中，只示出了透视、近眼显示器2的右侦彳。作为示例，全近眼、混合现实显示设备将包括另一组镜片116和/或118、用于图3C和3D的实施例的另一光导光学元件112、另一微显示器120、另一透镜系统122、可能包括另一面向环境的相机113、用于图3A到3C的实施例的另一眼睛跟踪相机134、耳机130、以及温度传感器 138。图4A是可以用于本公开所述的各实施例的透视、近眼、混合现实显示单元的硬件和软件组件的一个实施例的框图。图4B是描述处理单元4的各组件的框图。在这一实施例中，近眼显示设备2接收来自处理单元4的关于虚拟图像的指令并向处理单元4提供传感器信息。其组件在图4B中被描绘的处理单元4将从显示设备2接收传感器信息并且还可从中枢计算设备12 (参见图1A)接收传感器信息。基于这一信息，处理单元4将确定在何处以及在何时向用户提供虚拟图像并相应地将指令发送给显示设备2的控制电路136。注意，图4A的各组件中的一些(例如，面向物理环境的相机113、眼睛相机134、可变虚拟焦距调整器135、光电检测器接口 139、微显示器120、照明设备153 (即照明器)、耳机130、温度传感器138)以阴影示出，以指示这些设备中的每一个至少有两个——头戴式显示设备2的左侧至少一个以及右侧至少一个。图4A示出控制电路200与电源管理电路202进行通信。控制电路200包括处理器210、与存储器214 (例如D-RAM)进行通信的存储器控制器212、相机接口 216、相机缓冲区218、显示驱动器220、显示格式化器222、定时生成器226、显示输出接ロ 228、以及显示输入接ロ 230。在一个实施例中，控制电路220的所有组件经由ー个或多个总线的专用线路彼此进行通信。在另ー实施例中，控制电路200的每个组件都与处理器210通信。相机接ロ 216提供到两个面向物理环境的相机113和每一眼睛相机134的接ロ，并且将从相机113、134接收到的相应图像存储在相机缓冲区218中。显示驱动器220将驱动微显示器120。显示格式化器222可以向执行该增现实系统的处理的一个或多个计算机系统(例如4、12、210)的一个或多个处理器提供与被显示在微显示器120上的虚拟图像有关的信息。定时生成器226被用于向该系统提供定时数据。显示输出228是用于将来自面向物理环境的相机113和眼睛相机134的图像提供给处理単元4的缓冲区。显示输入230是用于接收诸如要在微显示器120上显示的虚拟图像之类的图像的缓冲区。显示输出228和显示输入230与作为到处理单元4的接ロ的带接ロ 232进行通信。电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、可变调整器驱动器237、光电检测器接ロ 239、音频DAC以及放大器238、话筒预放大器和音频ADC 240、温度传感器接ロ 242、以及时钟生成器244。电压调节器234通过带接ロ 232从处理单元4接收电能，并将该电能提供给头戴式显示设备2的其他组件。照明驱动器236例如经由驱动电流或电压来控制照明设备153以大约预定波长或在某一波长范围内操作。音频DAC和放大器238从耳机130接收音频信息。话筒预放大器和音频ADC 240提供话筒110的接ロ。温度传感器接ロ 242是用于温度传感器138的接ロ。电源管理単元202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。电源管理单元202还向GPS收发机144提供电能并从中接收数据和向其发送数据。可变调整器驱动器237向调整器135提供例如驱动电流或驱动电压等控制信号以移动微显示器部件173的一个或多个元件来达到通过在控制电路13或处理单元4、5或中枢计算机12或这两者的处理器210中执行的软件计算得到的聚焦区域的位移。在扫过ー定范围的位移并且因此扫过一定范围的聚焦区域的实施例中，可变调整器驱动器237从定时生成器226、或者可替代地从时钟生成器244接收定时信号，以便以所编程的速率或频率来操作。光电检测器接ロ 239执行来自每一光电检测器的电压或电流读数所需的任何模数转换，经由存储器控制器212以处理器可读的格式来将该读数存储在存储器中，并且监视光电检测器152的操作參数，如温度和波长准确度。图4B是与透视、近眼显示单元相关联的处理单元4、5的硬件和软件组件的ー个实施例的框图。移动设备5可包括硬件和软件组件的这ー实施例以及执行类似功能的类似组件。图4B示出控制电路304与电源管理电路306进行通信。控制电路304包括中央处理单元(CPU) 320，图形处理单元(GPU) 322，高速缓存324，RAM 326，与存储器330 (例如，D-RAM)进行通信的存储器控制器328，与闪存334 (或其他类型的非易失性存储)进行通信的闪存控制器332，经由带接ロ 302和带接ロ 232与透视、近眼显示设备2进行通信的显示输出缓冲区336，经由带接ロ 302和带接ロ 232与近眼显示设备2进行通信的显示输入缓冲区338，与用于连接到话筒的外部话筒连接器342进行通信的话筒接ロ 340，用于连接到无线通信设备346的PCI express接ロ，以及USB端ロ 348。在一个实施例中，无线通信组件346可包括启用W1-Fi的通信设备、蓝牙通信设备、红外通信设备等。USB端ロ可被用来将处理単元4、5对接到中枢计算设备12，以将数据或软件加载到处理单元4、5上以及对处理单元4、5充电。在一个实施例中，CPU 320和GPU322是用于确定在何处、何时以及如何向用户的视野内插入虚拟图像的主负荷设备。电源管理电路306包括时钟生成器360，模数转换器362，电池充电器364，电压调节器366，透视、近眼显示器电源376，以及与温度传感器374进行通信的温度传感器接ロ372 (位于处理单元4的腕带上)。交流电到直流电转换器362被连接到充电插座370来接收AC电源并为该系统产生DC电源。电压调节器366与用于向该系统提供电能的电池368进行通信。电池充电器364被用来在从充电插座370接收到电能后对电池368进行充电(经由电压调节器366)。设备电源接ロ 376向显示设备2提供电能。图5A是确定透视显示器的佩戴者正在注视的区域的亮度的一个实施例的流程图。该过程是来自图1F的步骤402和406的一个实施例。在步骤420，跟踪佩戴者的视野。在一个实施例中，步骤420包括生成用户的环境的3D图。在一个实施例中，确定物体的3D位置。图6A描述了对此的ー个实施例。然而，注意，并不要求标识物体。在某些实施例中，跟踪视野仅确定亮度图。一个实施例的亮度图是亮度值的2D图。在步骤422，对佩戴者的至少ー个眼睛确定注视向量。注视向量可用诸如图1C-1E中描述的相机系统来确定。在一个实施例中，确定两个注视向量。可基于注视向量的相交来确定3D空间中的点。在某些情况中，注视向量可能不相交(或可能在无限远处相交)。下面描述确定注视向量的进ー步细节。在步骤424中，基于来自步骤420的跟踪信息以及ー个或多个注视向量确定视野中佩戴者正注视于的的区域的亮度。在一个实施例中，做出关于佩戴者正注视于哪个物体的确定。然后，该物体的亮度可被用作結果。然而，某些物体可能不具有均匀的亮度(或接近均匀的亮度)。因此，步骤424可确定物体上的某一区域或点。然而，注意并不要求确定佩戴者正注视于什么物体。在一个实施例中，ー个或多个注视向量被用于确定亮度图(如2D亮度图)的点或区域。从而，可确定佩戴者正注视于之物的亮度。图5B是示出在用户的眼睛所聚焦的注视点处相交的注视向量的示例的俯视图。基于Gullstrand示意性眼睛模型示出了每个眼睛的眼睛模型1601、160r。对于每只眼睛，眼球160被建模成具有旋转中心166的球，并且包括也被建模成球且具有中心164的角膜168。角膜随眼球转动。在一个实施例中，眼球的旋转中心166可被当作固定点。然而，眼球的旋转中心166不必被当作固定点。角膜覆盖虹膜170，瞳孔162处于虹膜170的中心。在该示例中，在相应角膜的表面172上是闪光174和176。从旋转中心166穿过角膜中心164到瞳孔162而形成的轴178是眼睛的光轴。注视向量180有时被称为从小凹穿过瞳孔中心162延伸的视线或视轴。小凹是位于视网膜中的大约1.2度的小型区域。在图9的实施例中计算得到的光轴与视轴之间的角度偏移具有水平和垂直分量。水平分量距光轴上达5度，并且垂直分量在2和3度之间。在许多实施例中，光轴被确定，并且通过用户校准确定的小型校正被应用以获得被选作注视向量的所述视轴。对于每ー用户，小的虚拟物体可由显示设备在不同的水平和垂直位置处的多个预先确定的位置中的每一位置处来显示。在物体在每一位置处的显示过程中，可以计算每ー眼睛的光轴，并且光线被建模成从该位置延伸到用户眼睛中。具有水平和垂直分量的偏移角度可以基于必须如何移动光轴以与所建模的光线相对准来确定。从不同的位置处，具有水平和垂直分量的平均偏移角度可被选作要被应用于每一计算得到的光轴的小型校正。在一些实施例中，只有水平分量被用作偏移角度校正。在图5B的所不实施例中，传感器检测区域139与镜架115内的每一显不光学系统14的光轴相对准。在该示例中，相应的图像传感器是能够捕捉表示分别由镜架115左侧的照明器153a和153b生成的闪光1741和1761的图像数据和表示分别由照明器153c和153d生成的闪光174r和176r的数据的相机。透过显示光学系统(镜架115中的141和14r)，用户的视野包括现实物体190、192和194以及虚拟物体182、184和186。在该示例中，左眼的角膜1681旋转到右侧或朝向用户的鼻子，并且右眼的角膜1681■旋转到左侧或朝向用户的鼻子。两个瞳孔都注视虚拟物体186。来自每个眼睛中心的注视向量1801和180r进入虚拟物体186所处的Panum汇合区域195。Panum汇合区域是像人类视觉那样的双眼观察系统中的单视觉的区域。注视向量1801和180r的相交指示用户正在看虚拟物体186。对于透视、混合现实显示设备，注视向量被确定以标识三维用户视野中的注视点，该用户视野包括通常不在计算机控制下的现实物体以及由某一应用所生成的虚拟物体。注视向量可在10英尺远的物体处、或实际上无限远的距离处、或任何其他距离处相交。以下附图简要地讨论用于确定3D用户视野的各实施例。对面向前方的图像数据的引用是指来自一个或多个面向前方的相机(如图1A和IB中的相机113)的图像数据。在这些实施例中，在相机位于与每个显示光学系统14的光轴142的相对小的偏移量处时，面向前方的相机113的视野近似用户的视野。在图像数据中可以考虑该偏移量。图5C是确定瞳孔大 小的一个实施例的流程图。该过程是来自图1F的步骤404的一个实施例。在步骤430，跟踪佩戴者的至少一个眼睛。在一个实施例中，步骤430包括在3D中跟踪眼睛。可使用图1C-1E的示例设备的相机系统来在3D中跟踪眼睛。在步骤432，构造眼睛的3D模型。在一个实施例中，诸如图5B中所描绘的之类的模型被构造。图和5E示出其他模型。然而，可以使用又一些其他模型。在步骤434，确定瞳孔图像。图示出用于角膜172和瞳孔图像462的模型的一个实施例。瞳孔图像462是在相机系统的成像平面163中形成的。在该示例中角膜被建模为具有中心C和半径Re的球。瞳孔162可被建模为具有中心E和半径r (图中未示出)的圆，但从某一角度看可能看上去是椭圆。角膜中心与瞳孔中心之间的距离是h。在一个实施例中，角膜半径、瞳孔半径以及h都是对象特定的，并且是对透视显示器的佩戴者确定的。当瞳孔穿过角膜表面时，瞳孔可能被折射。这在图中由折射的瞳孔467描绘。瞳孔图像462是相机中的图像，并可以是折射的瞳孔467的投影。从而，瞳孔图像462在相机成像平面463中可以是椭圆。注意，在3D中，瞳孔图像462的中心不必是瞳孔中心E的投影的中心。如果希望，可做出补偿来对此调整。在图的实施例中，做出瞳孔图像462的中心是起始于瞳孔中心E的光纤的折射的假设。然而，注意，非平面表面(如角膜)上的折射是非线性的。因此，在一个实施例中，估计的瞳孔中心E’被确定来补偿该非线性折射。图5E示出用于角膜172的模型的另一个实施例，带有具有中心Ei的相关联的瞳孔图像462。瞳孔162具有估计的中心E’。该估计的中心E’可基于角膜中心C的已知3D位置、角膜半径Re以及h通过从瞳孔图像的中心Ei反向跟踪来确定。注意，瞳孔的估计的中心E’不必与真正瞳孔中心E相同，因为非线性折射。在步骤436，基于瞳孔图像462确定瞳孔大小。注意，通过在3D中跟踪眼睛以及角膜172内的3D瞳孔162，各实施例能够在眼睛相对于透视显示器移动时考虑透视成像效果。从而，瞳孔轮廓可被准确地确定。在一个实施例中，在3D中执行的瞳孔测量对于眼睛移动来说是不变的。如上所述，眼睛模型的某些參数可以是用户特定的。图5F是确定用于眼睛跟踪的用户特定參数的一个实施例的流程图。在确定瞳孔大小时可使用这些參数。在确定眼睛注视向量时也可使用它们。可被确定的示例參数包括但不限于角膜半径r。、角膜中心到瞳孔中心的距离、视轴与光轴之间的角度、以及瞳孔半径rp的历史数据(从中可得出统计值，如最小值、最大值以及均值)。在步骤452，指示佩戴者看投影在他们前方的一系列点，一次ー个。系统知道这些点的3D位置。这些可基于生成用户的环境的3D模型来确定。其一个实施例被描述在图6C中。系统然后在步骤454中使用一组ー个或多个用户特定參数的当前值来确定对应于每个点的注视向量。初始值可以是基于用户的预期平均值的默认值。在步骤456，系统将注视向量与预期注视向量比较。如果已经达到所希望的准确性(步骤457)，则该过程结束。如果否，则过程继续至步骤458。在步骤458，系统调整用户特定參数。可被确定的示例參数包括但不限于角膜半径r。、角膜中心到瞳孔中心的距离(如图和5E中的“ h”)、以及视轴和光轴之间的角度。然后，该过程再次在步骤454中确定注视向量。过程继续，直到实现所希望的准确性。在一个实施例，对佩戴者确定基线瞳孔放大响应。在确定如何调整透视显示器时可使用该基线。例如，某些用户可具有响应于光強度的改变而快速改变大小的瞳孔，而其他人更慢。因此，屏幕的亮度改变的速率可以是用户特定的。图5G是确定基线用户特定參数的过程的一个实施例的流程图。在步骤462，透视显示器的图像亮度被改变。在一个实施例中，图像亮度对于某ー时间段来说保持在ー个强度，然后改变到另一水平达某ー时间段等等。在步骤462中可使用除了透视显示器之外的光源。在一个实施例中，步骤462确定或估计用户的眼睛处的总光量。可考虑周围环境。在步骤464，按照光强度的函数来确定瞳孔大小。步骤464可包括对来自步骤462的每个光强度确定最终瞳孔大小。在步骤466，确定瞳孔大小的改变速率。在步骤466，可随时间从光强度被改变的时间点开始跟踪用户的瞳孔的大小。这可对光強度中的ー个或多个改变来执行。可确定表示该用户的瞳孔有多快地对光强度的改变作出反应的值。在一个实施例中，逐渐地执行透视显示器的不透明度和/或图像亮度的改变，以允许用户的眼睛调整到新的水平。这可基于用户特定基线值，如图5G的过程中确定的那些。图5H是基于用户基线值来逐渐改变显示器亮度的一个实施例的流程图。在步骤472，访问用户特定基线值。在步骤474，做出是否应改变显示器亮度的确定。在步骤476，基于用户特定基线确定显示器亮度的改变速率。在一个实施例中，步骤476基于用户的通用参数。在一个实施例中，佩戴者的眼睛与透视显示器之间的距离被用于确定如何对透视显示器的不透明度和/或图像亮度做出调整。图51是基于用户的眼睛与透视显示器的距离来改变显示器亮度的一个实施例的流程图。在步骤482，确定用户的眼睛与透视显示器之间的距离。在一个实施例中，这是基于用于跟踪眼睛以及确定瞳孔大小的3D图像数据的。在步骤484，确定该距离将对眼睛处的光强度的影响。换言之，可预期光强度将按照离显示器的距离的函数而衰落。注意，光强度可能有两个分量。一个分量是图像亮度。另一个是有多少外部光通过透视显示器。由于用户的眼睛与透视显示器之间的距离，这两个分量可能不会被影响到相同的程度。在步骤486，基于用户的眼睛到透视显示器的距离调整显示器亮度。在一个实施例中，显示器亮度基于所显示的东西的上下文。在一个实施例中，某些项目应被明亮地显示，如警告、优先级等。诸如图片或视频之类的项目可以不同于诸如文本之类的项目的强度来显示。图5J是基于图像上下文调整显示器亮度的一个实施例的流程图。在步骤492，确定上下文。在一个实施例中，上下文与要被呈现在透视显示器上的内容的类型或格式相关联。在一个实施例中，通过分析图像数据的格式以确定其是图片、视频还是文本来确定该上下文。在一个实施例中，与该图像相关联的元数据被分析来确定该图像是否与警告相关联，或者该图像是否具有与之相关联的优先级。例如，该图像可与诸如电子邮件、文本消息等之类的某种电子通信相关联。在一个实施例中，该上下文与用户的环境相关联。例如，如果潜在的危险或重要的物体在附近，则用户需要能够看到。例如，如果用户正在步行，则用户需要看到他们正去往明哩。如果汽车交通在附近，则用户需要知晓这个情况。在一个实施例中，在步骤492中使用对3D图像(和/或其他数据)的分析来确定上下文。在步骤494，基于该上下文确定合适的显示器亮度。注意，这可包括调整图像亮度和/或不透明度。在步骤496，基于步骤494调整显示器亮度。在一个实施例中，确定物体的3D位置。图6A描述了对此的一个实施例。然而，注意，并不要求标识物体。在某些实施例中，跟踪视野仅确定亮度图。一个实施例的亮度图是亮度值的2D图。图6A是用于确定三维用户视野的一个实施例的流程图。该过程可被用于跟踪用户的视野的一个实施例中(图5A的步骤420)。在步骤510，控制电路136、处理单元4、5、中枢计算系统12或这些的组合的一个或多个处理器从一个或多个面向前方的相机接收图像数据，并且在步骤512标识面向前方的图像数据中的一个或多个现实物体。来自定向传感器132 (例如，三轴加速度计132C和三轴磁力计132A)的数据也可与面向前方的相机113图像数据一起使用来对用户周围的事物、用户的脸部和头部的位置进行映射，以确定他或她可能在当时聚焦于哪些物体(现实或虚拟)。基于正在执行的应用，在步骤514，一个或多个处理器标识虚拟物体在用户视野中的位置，其中用户视野可被确定是在面向前方的图像数据中捕捉的视野。在步骤516，确定每一物体在用户视野中的三维位置。换言之，每一物体相对于显示设备2位于何处，例如，相对于每一显示光学系统14的光轴142位于何处。图6B是用于在用户视野中标识一个或多个现实物体的方法实施例的流程图。这一实施例可被用于实现步骤512。图6B、6D和6E中各实现示例可分开地使用，或与另一个结合使用，以标识用户视野中物体的位置。在步骤520，佩戴显示设备2的用户的位置被标识。例如，经由移动设备5中的GPS单元965或显示设备2上的GPS收发机144的GPS数据可标识用户的位置。在步骤522，一个或多个处理器从数据库(例如470)检索该位置的一个或多个图像，并且在步骤524使用模式识别来选择与来自所述一个或多个面向前方的相机的图像数据匹配的一个或多个图像。在某些实施例，步骤522和524可由更强大的计算机(例如可访问图像数据库的中枢12)来远程地执行。在步骤526，基于GPS数据，一个或多个处理器确定面向前方图像数据中一个或多个物体相对于该位置中一个或多个GPS跟踪的物体528的相对位置，并且在步骤529基于所述一个或多个相对位置来确定用户距所述一个或多个现实物体的位置。在诸如图1A之类的某些实施例中，佩戴透视、近眼显示器的用户可处于其中计算机系统或一个或多个计算机提供各物体在空间内(例如商店)的三维映射的位置处。图6C是用于生成用户空间的三维模型的方法实施例的流程图。在步骤530，像中枢系统12之类的、带有捕捉设备20A和20B的可访问深度相机的计算机系统基于深度图像创建空间的三维模型。深度图像可来自多个视角并且可基于公共坐标空间(例如，商店空间)来组合，并且创建该空间的体积或三维描述。在步骤532，在该空间中检测物体。例如，可对深度图像执行边缘检测，以对物体(包括人)进行彼此区分。在步骤534，计算机系统12标识一个或多个检测到的物体，包括它们在该空间中的位置。物体还可基于形状的比较以及模式识别技术来标识，模式识别技术包括使用来自图像数据库的物和人的参考图像的面部识别技术。图6D是用于基于传输给透视、混合现实显示设备2的深度数据来标识用户视野中的一个或多个物体的方法实施例的流程图。在步骤540，处理单元4、5将面向前方图像数据发送给三维建模系统，诸如可通过在像通信上耦合到深度相机20A和20B的中枢计算系统12之类的计算机系统上执行的深度图像处理应用来实现。来自定向传感器132的数据可也被发送，用于标识面部或头部位置。例如，当用户进入商店，该商店处的计算机系统提供该商店的3D映射以及什么和谁在该商店里。在步骤542，显示设备2接收标识用户视野中的一个或多个物体的数据，以及他们在空间的3D模型中的位置。来自一个或多个面向前方的相机113的图像数据近似用户视野，使得中枢系统12例如通过图像识别或模式识别软件来标识面向前方图像数据中的该物体。定向数据也可与面向前方图像数据一起使用，以细化用户视野，并标识由计算机系统12跟踪的、落入用户视野内的物体。(中枢系统12还在面向前方图像数据从两个或更多相机113被接收时调整(align)该面向前方图像数据，以标识用户视野。)在步骤544中，处理单元4、5接收空间的3D模型中的用户的位置，并且在步骤546中，处理单元4、5或控制电路136的处理器210或这两者基于空间的3D模型中用户和一个或多个物体的位置来确定该一个或多个物体在用户视野中的位置。在另一示例中，处理单元4、5接收如由计算机系统12确定的用户和一个或多个物体的位置。图6E是用于当面向前方的相机113是提供深度图像数据的深度相机或具有用于提供深度数据(可与图像数据结合以提供深度图像数据)的深度传感器时，标识用户视野中的一个或多个物体的方法实施例的流程图。在步骤550，显示设备2的一个或多个处理器(例如，控制电路的处理器210、或处理单元4、5、或两者)基于来自一个或多个面向前方的相机的深度图像数据来标识用户视野中一个或多个现实物体，包括它们的三维位置。除图像数据之外，该ー个或多个处理器还可基于来自定向传感器132的定向数据来映射用户视野。该ー个或多个处理器执行基于正在执行的应用来标识用户视野中的虚拟物体位置的步骤514，以及确定用户视野中每ー物体的三维位置的步骤516。另外地，远程计算机系统12也可向用于执行图6E的步骤的其他处理器提供额外的处理能力。在用户环境内的用户和物体移来移去时，图6A至6E的方法实施例中的每ー个通常被重复地执行。图6F是用于确定物体在透视、近眼显示设备的用户视野内的位置的系统实施例的框图。这ー实施例示出各设备如何充分利用联网计算机来映射用户视野的三维模型以及该模型内的现实和虚拟物体。在通信地耦合到显示设备2的处理单元4、5中执行的应用456可以通过ー个或多个通信网络50与用于处理图像数据来确定并跟踪三维用户视野的计算系统12进行通信。计算系统12可为处理単元4、5远程地执行应用452以提供ー个或多个虚拟物体的图像。一起工作的应用456和452中的任一个或两者可以映射用户周围的空间的3D模型。深度图像处理应用450在模型中检测物体、标识物体以及它们的位置。应用450可以基于来自像20A和20B等深度相机的深度图像数据、来自ー个或多个面向前方的相机113的ニ维或深度图像数据、以及与从GPS图像跟踪应用454获得的图像数据中的物体相关联的GPS元数据来执行其处理。GPS图像跟踪应用454基于从处理单元4、5或被标识为处于用户附近的其他GPS単元或两者接收到的GPS数据来标识ー个或多个图像数据库470中的用户的位置的图像。另外，图像数据库可以提供带有像GPS数据等元数据和标识由希望共享他们的图像的用户上传的数据的可访问位置图像。GPS图像跟踪应用基于GPS数据来向深度图像处理应用450提供图像中的物体之间的距离。另外，应用程序456可以在本地执行用于在3D用户空间中映射和定位物体的处理，并可与GPS图像跟踪应用程序进行交互来接收物体之间的距离。通过充分利用网络连接性，在应用之间共享处理的许多组合是可能的。图7是用于确定透视、近眼、混合现实显示系统中的注视的方法实施例的流程图。该过程是图5A的步骤422的一个实施例。在步骤602，诸如处理单元4、移动设备5、控制电路136、或中枢计算系统12等中的一个或多个处理器単独或结合地确定注视检测坐标系的边界。在步骤604，基于所反射的包括闪光的眼睛数据来确定每一只眼睛的注视向量，并且在步骤606，确定两只眼睛的在三维(3D)用户视野中的例如用户正在观看的事物等注视点。因为例如通过像图6A-6F中的实施例等实施例对用户视野中的物体的位置和身份进行了跟踪，所以在步骤608，标识在3D用户视野中的注视点处的任何物体。在许多实施例中，三维用户视野包括所显示的虚拟物体和现实物体的实际直接视图。术语物体包括人。图7中的方法实施例和下文讨论的将闪光数据用于检测注视的其他方式的其他方法实施例可以从眼睛的图像数据中标识这样的闪光。在使用IR照明器时，通常也使用IR图像传感器。以下方法也与分立表面位置敏感检测器(PSD)(例如具有像素的PSD)—起工作。图8是用于标识图像数据中的闪光的方法实施例的流程图。如上所述，闪光是非常小的，并且常常是来自光源的光在诸如眼睛角膜等镜面反射表面上的非常明亮的反射。在以下方法实施例中，各步骤中的每ー个步骤是针对数据样本集合来执行的。在一些示例中，这可包括来自ー个图像或图像帧的数据，并且在其他示例中，数据样本集合可以是多个图像或图像帧。在步骤605，处理器标识具有其自己的处于预定强度范围内的强度值的像素的每一连通集，例如强度值范围可在220开始并且在最亮像素值255处结束。在步骤607，通过将满足闪光几何准则的每一像素连通集标识为候选闪光来修剪候选闪光。闪光几何准则的示例是大小和形状。一些可能过大、过小、或具有过度不规则的形状。此外，对照明器进行定位以使所得到的闪光彼此具有空间或几何关系。例如，对照明器153进行安排以使闪光形成矩形。在图9中讨论的瞳孔中心也是根据图像数据来确定的实施例中，到瞳孔的空间关系也可以是准则，例如距瞳孔的距离过远可指示连接集合不是候选闪光。在步骤609，一个或多个处理器确定候选闪光是否比预定数量更少。例如，对于四个照明器而言，预期有四个闪光，但预定数量可能是二。在矩形作为几何关系的示例中，形成预定长度的水平线或对角线的两个闪光可被选作候选。对于其他闪光，可能有眼睑或睫毛遮挡。如果存在少于预定数量的闪光，则丢弃该数据样本集合以用于进一步处理，并且处理在步骤611返回到步骤605以处理下一数据样本集合。如果候选不少于预定数量，则步骤613确定候选闪光是否比预定数量更多。如果有更多候选，则在步骤615，一个或多个处理器选择最紧密地适合闪光之间的预定几何关系的预定数量的候选作为闪光。例如，对于矩形，最紧密的形成该预定大小和形状的矩形的那些候选。如果没有多于该数量的候选，则候选的数量与闪光的预定数量匹配，并且在步骤617这些候选被选作闪光。由于以上讨论用于生成闪光的照明器的放置的几何形状，闪光出现在相同的位置，除非镜架115相对于眼睛移动。此外，由于照明器相对于彼此在镜架115或镜片118的支撑结构上的定位是固定的，所以在图像中闪光彼此之间空间关系也是固定的。至于大小，由于闪光非常小，所以组成传感器上的以及所传感的图像中的闪光区域的像素数量将相应地小。例如，如果相机的图像传感器具有1000像素，则每一闪光可占据小于十个像素。可以监视以例如每秒30或60帧的速率拍摄的每一图像帧中的闪光，并且一区域可被标识为来自一定数量的帧样本的闪光。可能不是在每一帧中都存在闪光数据。诸如由于像覆盖闪光和/或瞳孔的眼睑或睫毛之类的因素，采样在不同的图像帧中适应或平滑掉闪光和瞳孔数据的障碍物。图像帧是图像格式的示例。图9是可被用于实现确定注视检测坐标系的边界的步骤602的方法实施例的流程图。在步骤612，一个或多个处理器基于闪光确定每一眼睛的角膜中心164相对于照明器153和至少一个光传感器(例如134或152)的位置。基于至少一个传感器所提供的图像数据，在步骤614，一个或多个处理器确定每一只眼睛的瞳孔中心。在步骤616，相对于角膜和瞳孔中心来确定眼球旋转中心的位置。例如，基于瞳孔中心，光线可以通过所确定的角膜中心164延伸回到眼球旋转中心166。另外，距离或长度近似被用于对瞳孔与角膜之间的光轴上的长度(例如大约3mm)以及角膜的曲率中心与眼球旋转中心之间的光轴上的长度(大约6mm)进行近似。根据对人眼参数的人口研究，如Gullstrand所搜集的,这些值已被确定。(参见 Hennessey,第 88 页)。可选地，在步骤618，一个或多个处理器确定眼球旋转中心相对于照明器和用于相应眼睛的至少一个传感器的位置。在一个实施例中，在步骤618确定的这一位置提供固定点(或可被近似为固定以精确考虑注视检测的点)与显示光学系统之间的深度距离。然而，眼球旋转中心166不必是固定的。实际上，为注视检测坐标系定义了深度轴。沿深度轴所检测到的变化可被用来指示近眼显示系统已经移动，并再次触发对坐标系边界的确定或对训练注视数据集的重新校准，如以下讨论的。
图10示出用于使用透视、近眼、混合现实显示器的光学元件来确定角膜中心在坐标系中的位置的方法实施例。在步骤622，一个或多个处理器生成包括各点的第一平面，这些点包括用于生成第一闪光的第一照明器的位置、例如相机入口瞳孔中心等至少ー个图像传感器的瞳孔中心的位置、以及第一闪光的位置。如在图3A的实施例中一祥，相机的瞳孔中心可以相对于检测区域139来定位，检测区域139担当图像平面并且将它接收到的光引导到另一位置中的图像传感器。在其他示例中，像在图3B和3C中一祥，检测区域139本身可以是图像传感器，它是图像平面。该第一平面也将包括角膜中心的位置。类似地，在步骤624，一个或多个处理器生成包括各点的第二平面，这些点包括用于生成第二闪光的第二照明器的位置、至少ー个传感器的同一瞳孔中心的位置、以及第二闪光的位置。这两个平面共享同一相机瞳孔中心作为原点，并且到每ー照明器的距离向量相对于相机瞳孔中心而言是固定的，因为图像传感器和照明器被定位在近眼显示设备上的预定位置处。这些预定位置允许平面中的各点在第三坐标系中彼此相关，该第三坐标系包括这两个照明器、相机瞳孔中心的位置、以及角膜曲率中心。在步骤626，处理器基于第一和第二平面的相交来确定角膜曲率中心的位置。图11提供可由图10的实施例用来发现角膜中心的注视检测坐标系500的几何的说明性示例。在该实施例中，至少ー个传感器是被建模成针孔相机的相机。所描绘的几何是Hennessey^人的“A bingle しamera Eye-Gaze I'rackmgbystem with Free Head Motion(在自由头部运动情况下的単相机眼睛注视跟踪系统)” (ETRA 2006，圣地亚哥，加利福尼亚州,ACM,第88页,第87-94页(下文中称为Hennessey),其通过引用被结合于此)的第89页上的图3的稍微修改的版本。以下提供变量的列表:%是照明器，的位置，该照明器的光产生闪光&(例如174)，&是照明器i (153)在角膜表面上产生的闪光，6是针孔相机模型的相机瞳孔中心，
`
是闪光I,在图像平面上的图像，该图像平面是相机传感器的检测区域139，Iength1是从点J到4,.的标量距离或长度，f,是从相机瞳孔中心^到闪光Ii在图像传感器上的图像丨,的向量，4是从相机瞳孔中心6到照明器i的位置J的向量，在该示例中，氣轴沿な定义，并且坐标系的之轴使得连接图像平面139 (检测区域)上的闪光良的图像!,的位于由X,和念,轴形成的平面中。/ 是在交之平面中表示从照明器(153)位置み,到角膜表面上的闪光§,( 174)的入射光线的线502之间形成的角度。&是在之平面中在表示从闪光if到相机的相机瞳孔中心S的反射光线的线504之间形成的角度，相机瞳孔中心也是该坐标系的原点。&是角膜中心的位置，它也位于交,之平面中。因为角膜被建模成球形，r是角膜球的半径，并且每ー闪光良是该球的第一或外表面上的点，所以每ー闪光与角膜中心相隔半径r。在以上示例中，闪光§,被建模成角膜的外表面或第一表面上的点。在这样的模型中，照明器的光在相同折射率的相同介质(空气)中反射离开角膜，作为闪光的定向回相机传感器的反射光。如图11所示，与角膜的表面上的闪光fc垂直的线或光线506可以在角膜的方向上从闪光来延伸，并且还被延伸以与该坐标系的兔為平面的文,轴相交。还如图11所示，入射光线502和反射光线504与照明器q日I位置和相机瞳孔中心^之间的线^engthjl构成.- ..4
直角三角形。因此，角度A和角度D各自由
权利要求
1.一种方法，包括: 使用眼睛跟踪相机估计透视显示器的佩戴者正注视于的区域(402); 确定用户正注视于的所述区域的光強度(406);以及 基于所述区域的光强度调整所述透视显示器的亮度(408)。
2.按权利要求1所述的方法，其特征在于，基于所述区域的光强度调整所述透视显示器的亮度包括: 调整所述透视显示器的不透明度。
3.按权利要求1或2所述的方法，其特征在于，基于所述区域的光强度调整所述透视显示器的亮度包括: 调整所述透视显示器投射的光的強度。
4.按权利要求1至3中任一项所述的方法，其特征在于，还包括: 确定所述佩戴者的瞳孔大小，所述基于所述区域的光强度调整所述透视显示器的亮度进ー步基于所述佩戴者的所述瞳孔大小。
5.按权利要求1至4中任一项所述的方法，其特征在于，还包括: 基于3D成像确定所述佩戴者的眼睛与所述透视显示器之间的距离，调整所述透视显示器的亮度进一歩基于所述距离。
6.按权利要求1至5中任一项所述的方法，其特征在于，调整所述透视显示器的亮度进ー步基于上下文，所述上下文包括以下各方面中的ー个或多个方面:所述佩戴者的环境、正被呈现在所述透视显示器上的内容的类型、或正被呈现在所述透视显示器上的内容的格式。
7.按权利要求1至6中任一项所述的方法，其特征在于，还包括: 确定所述佩戴者的基线放大响应，所述调整所述透视显示器的亮度进一歩基于所述佩戴者的所述基线放大响应。
8.一种显不系统,包括: 透视、近眼显示设备(14)，所述透视、近眼显示设备包括被定位成由相应的眼睛透视的用于每个眼睛的相应显示光学系统； 附连于所述透视显示设备的用于每只眼睛的图像生成単元(173)，用于生成至少ー个虚拟图像供在所述显示光学系统中显示； 定位在所述显示设备上的注视检测元件(152，153)的相应安排； 耦合于所述注视检测元件的逻辑(4，5)，所述逻辑确定所述透视显示设备的佩戴者的注视估计，所述逻辑访问所述系统的视野的亮度数据，所述逻辑确定所述视野中正被注视的区域的光強度，所述逻辑基于所述区域的光强度调整所述透视显示设备的亮度。
9.按权利要求8所述的显示系统，其特征在干，所述逻辑基于所述区域的光强度调整所述透视显示器的不透明度和/或所述透视显示器投射的光的亮度。
10.按权利要求8或9所述的显示系统，其特征在于，所述逻辑确定所述佩戴者的瞳孔大小，所述逻辑基于所述佩戴者的所述瞳孔大小调整所述透视显示器的亮度和/或所述透视显示器的不透明度。
全文摘要
本发明提供了透视显示器亮度控制。该技术提供了用于基于用户正注视之物的光强度来控制透视、近眼混合显示设备的亮度的各种实施例。该显示器的不透明度可被改变，使得如果佩戴者正在看明亮物体，外部光被减少。佩戴者的瞳孔大小可被确定并用于调整用于显示图像的亮度以及显示器的不透明度。可确定用于显示图像的不透明度和亮度之间的合适的平衡，以允许清晰地看到现实物体和虚拟物体，同时不会对佩戴者的眼睛造成损害或不适。
文档编号G02B27/01GK103091843SQ20121043531
公开日2013年5月8日 申请日期2012年11月2日 优先权日2011年11月4日
发明者A·O·巴兰, R·L·哈斯汀斯, S·G·拉塔, M·J·斯卡韦泽, D·J·麦卡洛克, D·L·尼, B·J·芒特, K·A·盖斯那, R·L·克罗科 申请人:微软公司