背景
本公开总体上涉及眼睛跟踪系统,并且具体涉及包括场内(in-field)微器件(例如,源和/或传感器)的照明组件。
眼睛跟踪系统跟踪从眼睛的不同区域反射的成像光,从而跟踪观众的关注点。例如,从角膜反射的光用于跟踪眼睛的位置,从虹膜反射的光用于跟踪瞳孔的位置。然而,准确跟踪用户的关注点是一项挑战。作为一个示例,一些用户具有小的眼睛区域,这限制了可以成像的角膜和/或虹膜区域。作为另一个示例,在具有宽视场的系统中,很难准确地估计凝视方向,因为使用几个闪烁源(glintsource)来生成在宽角度范围内跟踪眼睛位置所必需的光。
生成用于跟踪眼睛位置的光的闪烁源通常放置在成像显示器视场外部的观看光学器件的周边。然而,这限制了眼睛跟踪系统的性能和精度,特别是对于用户眼睛的视野受到限制或者在宽角度范围内跟踪眼睛的情况。
概述
本文描述了衬底,该衬底与光场内微器件(例如,微型发光二极管和/或光电二极管)集成以形成用于跟踪目标区域内的移动的组件(例如,照明组件)。目标区域包括用户的一只或两只眼睛,并且还可以包括用户面部的一只或两只眼睛周围的部分(例如,眉毛、脸颊等)。在微器件是源的实施例中,光源发射的光被目标区域反射。反射光被检测并用于跟踪一只或两只眼睛的移动,并且在一些实施例中,可以用于跟踪用户面部的一只或两只眼睛周围的部分的移动。
组件是经由一个或更多个源发光的光学元件。在一些实施例中,组件具有表面轮廓,使得其提供光焦度(opticalpower)(正或负)。在其他实施例中,组件具有不提供光焦度的表面轮廓。一种组件包括透明衬底和多个微器件。多个微器件包括多个源。在一些实施例中,多个微器件还可以包括一个或更多个传感器(例如,光电二极管)。在一些实施例中,多个微器件包括:诸如电容器或电阻器之类的无源电子部件,诸如晶体管、二极管和集成电路之类的有源部件,或者它们的某种组合。
透明衬底包括第一表面和与第一表面相对的第二表面。第一表面包括观看区域(viewingregion),光在到达视窗(eyebox)之前穿过该观看区域。多个微器件耦合到相应导电路径,并附着到第一表面。并且多个微器件包括位于观看区域内的至少一个微器件。导电路径可以以不同的方式排列。在一些实施例中,导电路径以伪随机方式排列。在一些实施例中,观看区域由被外部区域包围(circumscribe)的无电路区域(circuitryfreeregion)组成,并且附着到外部区域中的第一表面的多个微器件耦合到相应导电路径。
在涉及组件和近眼显示器(ned)的所附权利要求中具体公开了根据本发明的实施例,其中,在一个权利要求类别(例如组件)中提到的任何特征也可以在另一权利要求类别(例如ned、系统、方法、存储介质和计算机程序产品)中被要求保护。所附权利要求中的从属关系或往回引用仅出于形式原因而选择。然而,也可以要求保护由对任何前面权利要求的有意往回引用(特别是多项引用)而产生的任何主题,使得权利要求及其特征的任何组合被公开并可被要求保护,而不考虑在所附权利要求中选择的从属性。可以被要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合,而且还包括在权利要求中的特征的任何其他组合,其中,在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外,本文描述或描绘的实施例和特征中的任一个可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例或特征的任何组合或以与所附权利要求的任何特征的任何组合被要求保护。
在实施例中,一种组件可以包括:
透明衬底,该透明衬底包括第一表面和与该第一表面相对的第二表面,该第一表面包括观看区域,光在到达视窗之前穿过该观看区域;以及
多个微器件,附着到第一表面的该多个微器件耦合到以伪随机方式排列的相应导电路径,该多个微器件包括位于观看区域内的至少一个微器件。
多个微器件可以至少包括多个源。
观看区域可以由被外部区域包围的无电路区域组成,并且多个源和导电路径可以位于外部区域中。
该组件可以是头戴式显示器(hmd)的一部分,并且无电路区域可以与hmd的视场的中心区域相关联。
无电路区域可以具有至多12mm的直径。
伪随机方式可以使得在耦合到多个源中不同源的相邻导电路径之间存在至少1mm。
多个源中的至少一个源可以位于观看区域外部。
多个源中的至少一个可以是垂直腔发射激光器(vcsel)。
多个源可以被配置成发射波长在近红外范围中的光。
伪随机方式可以由一个或更多个参数控制,该一个或更多个参数可以包括:导电路径的周期(period)、导电路径的振幅、导电路径的曲率变化、相邻导电路径之间的最小距离、以及导电路径的随机性度量。
至少一条导电路径在可见光频带中可以是透明的,并且与观看区域重叠。
至少一条导电路径在可见光频带中可以是不透明的,并且在观看区域外部。
在实施例中,一种组件可以包括在可见光频带中透明的涂层,该涂层至少部分地包围多个微器件的至少一些和透明衬底。
在实施例中,一种组件,特别是根据本发明或任一上述实施例的组件,可以包括:
透明衬底,该透明衬底包括第一表面和与该第一表面相对的第二表面,该第一表面包括观看区域,光在到达视窗之前穿过该观看区域,其中该观看区域由被外部区域包围的无电路区域组成;以及
多个源,附着到外部区域中的第一表面的该多个源耦合到相应导电路径。
无电路区域可以与头戴式显示器的视场的中心区域相关联。
无电路区域可以具有至多12mm的直径。
导电路径可以是直的。
导电路径可以是弯曲的。
导电路径可以以伪随机方式排列。
在实施例中,一种近眼显示器(ned)可以包括:
组件,特别是根据本发明或任一上述实施例的组件,该组件包括:
透明衬底,该透明衬底包括第一表面和与该第一表面相对的第二表面,该第一表面包括观看区域,光在到达视窗之前穿过该观看区域,
多个源,附着到该第一表面的该多个源耦合到以伪随机方式排列的相应导电路径,该多个源包括位于观看区域内的至少一个源;以及
眼睛跟踪系统,该眼睛跟踪系统包括:
照相机组件,该照相机组件被配置成记录由多个源发射并由位于视窗处的眼睛反射的光。
在本发明的另一实施例中,一个或更多个计算机可读的非暂时性存储介质体现软件,该软件在被执行时可操作以在根据本发明或任一上述实施例的组件或ned中执行。
在本发明的另一实施例中,一种计算机实现的方法使用根据本发明或任一上述实施例的组件或ned。
在本发明的另一实施例中,优选地包括计算机可读非暂时性存储介质的计算机程序产品在根据本发明或任一上述实施例的组件或ned中使用。
附图简述
图1a是根据一个或更多个实施例的近眼显示器(ned)的图示。
图1b是根据一个或更多个实施例的图1a所示的ned的横截面。
图2是根据一个或更多个实施例的显示组件的一部分。
图3a是根据一个或更多个实施例的示例照明组件的平面视图,该示例照明组件具有成角度排列的导电路径。
图3b是根据一个或更多个实施例的示例照明组件的平面视图,该示例照明组件具有径向排列的导电路径。
图3c是根据一个或更多个实施例的示例照明组件的平面视图,该示例照明组件具有弯曲排列的导电路径。
图3d是根据一个或更多个实施例的示例照明组件的平面视图,该示例照明组件具有伪随机排列的导电路径。
图4是根据一个或更多个实施例的电路的正视图,该电路包括经由导电路径耦合的一些微器件。
图5a是根据一个或更多个实施例的一段时间内凝视位置在衬底的观看区域上的分布的曲线图。
图5b是根据一个或更多个实施例的包括来自图5a的多个区的衬底设计的平面视图。
图6是根据一个或更多个实施例的示例人工现实系统的框图。
附图仅出于说明的目的描绘了本发明的各种实施例。本领域中的技术人员从下面的讨论中将容易认识到,本文所示的结构和方法的替代实施例可以被采用而不偏离本文所述的本发明的原理。
详细描述
照明组件是头戴式装置(headset)(例如,ned或头戴式显示器)的一部分,用于照亮包括一只或两只眼睛的用户面部部分(以及在一些情况下,一只或两只眼睛周围的面部部分)。照明组件位于头戴式装置中,使得照明组件的至少一部分在佩戴头戴式装置的用户的眼睛的视场内。照明组件包括观看区域。观看区域是照明组件的一个区域,光(例如,来自显示器和/或局部区域的光)在到达头戴式装置的视窗之前穿过该区域。观看区域通常对应于照明组件的在佩戴头戴式装置的用户的眼睛的视场内的一部分。
照明组件包括衬底和耦合到该衬底的多个微器件。衬底的在观看区域内的至少一部分对于第一光学频带中的光(例如,可见光)是透明的。多个微器件可以是源(例如,微型发光二极管(led))、传感器(例如,光电探测器)、无源电子部件(例如,电容器或电阻器)、有源部件(例如,晶体管、二极管和集成电路)或它们的某种组合。存在这样一些情况,其中场内器件相对较大,但保持透明将是有益的。例如电容器,设计满足电容要求的微型电容器可能是不可能的,但是制造也可以在场内的大(1mm直径)透明电容器是可行的。例如,如果光电二极管附近有放大电路,这将是有益的。
源发射第二光学频带中的光(例如,红外光和/或近红外光)。在一些实施例中,传感器检测第二光学频带中的光。
使用多条导电路径来控制多个微器件(并对其供电)。导电路径包括耦合到衬底表面的一根或更多根导电迹线。在一些实施例中,微器件可以耦合到包括两根导电迹线(例如,信号/电源引线和接地引线)的导电路径。在一些实施例中,每个微器件的导电路径都包括单根导电迹线,但是都传导到透明导电层(例如,充当接地平面)。在一些实施例中,导电路径和至少一个微器件形成多层电路。在多层电路中,两条不同导电路径的至少一部分可以重叠。在重叠点处,微器件可以放置在重叠位置,或者两条不同的导电路径可以彼此电绝缘。在一些实施例中,多层电路可以包括与一个或更多个大透明导体(例如,大接地平面)重叠的导电路径和微器件的多层图案。
多条导电路径至少在观看区域上是透明的。多条导电路径在衬底上具有排列。该排列可以是例如成角度的、径向的、伪随机的等。
注意,虽然多条导电路径在观看区域上是透明的,但是在一些照明条件下,它们对于用户来说可能变得部分可见。人眼通常对直线和某些重复图案比对随机(或伪随机)图案更敏感。导电路径的伪随机排列有助于减轻导电路径变得对用户可见。相应地,以伪随机方式排列导电路径使用眼睛的固有操作来帮助减轻导电路径的可见性。类似地,以模拟人眼脉管系统的方式排列导电路径也有助于减轻导电路径的可见性。请注意,有一些重复图案(例如,添加了正弦图案的圆或线)可能难以被人眼看到,并且导电路径也可以以这些图案排列。
此外,用户在佩戴头戴式装置时,大部分的时间大致直视前方。在一些实施例中,观看区域由被外部区域包围的无电路区域组成。无电路区域是照明组件的不包括任何微器件及其相应导电路径的区域。无电路区域被放置成使得佩戴头戴式装置、基本上直视前方的用户通过无电路区域进行观看。多个微器件及其相应的导电路径被放置在外部区域中。注意,在该实施例中,视网膜中央凹(fovea)(高细节)的视场没有微器件和导电路径,而非视网膜中央凹区域(低得多的分辨率)是在其视场中具有微器件和导电路径的区域。相应地,无电路区域极大地减轻了用户对导电路径(和微器件)的察觉。
各种实施例可以包括人工现实系统,或结合人工现实系统来实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式,其可以包括例如虚拟现实(vr)、增强现实(ar)、混合现实(mr,mixedreality)、混杂现实(hybridreality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如,现实世界)内容组合的所生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合,且其中任何一个都可以在单个通道中或在多个通道中被呈现(例如向观众产生三维效果的立体视频)。此外,在一些实施例中,人工现实还可以与应用、产品、附件、服务或其某种组合相关联,这些应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或在人工现实中以其他方式被使用(例如在人工现实中执行活动)。可以在各种平台(包括连接到主计算机系统的头戴式显示器(hmd)、独立的hmd、移动设备或计算系统、或者能够向一个或更多个观众提供人工现实内容的任何其他硬件平台)上实现提供人工现实内容的人工现实系统。
图1a是根据一个或更多个实施例的近眼显示器(ned)100的图示。ned100向用户呈现媒体。由ned100呈现的媒体的示例包括一个或更多个图像、视频、音频、或它们的某种组合。在一些实施例中,音频经由外部设备(例如,扬声器和/或头戴式耳机)呈现,该外部设备从ned100、控制台(未示出)或两者接收音频信息,并基于音频信息来呈现音频数据。ned100被配置为作为人工现实ned进行操作。例如,ned100可以作为vrned、arned、mrned、或它们的某种组合来进行操作。
图1a中所示的ned100包括框架105、显示组件110,并且可选地包括一个或更多个深度照相机组件(dca)115。框架105耦合到共同向用户显示媒体的一个或更多个光学元件。在一些实施例中,框架105可以表示眼镜的框架。显示组件110被配置成让用户看到由ned100呈现的内容。dca115确定ned100周围的局部区域中的对象的深度信息。dca115将在下面参照图6被详细讨论。注意,虽然dca115被示出在ned100上的特定位置,但是在其他实施例中,dca115可以位于ned100上的其他位置和/或可以包括附加的照相机。
图1b是根据一个或更多个实施例的图1a所示的ned100的横截面120。显示组件110向眼睛130呈现内容。视窗135是当用户佩戴ned100时,眼睛130所处的位置。出于说明的目的,图1b示出了与单只眼睛130和显示组件110相关联的横截面115,但是在未示出的替代实施例中,与图1b所示的显示组件110分离的另一个显示组件向位于用户另一只眼睛的出射光瞳(exitpupil)处的视窗提供图像光。
显示组件110包括显示器、光学块和眼睛跟踪系统。虽然未示出,但是在一些实施例中,显示器、光学块、眼睛跟踪系统或其某种组合的部分可以位于显示组件110的外部。例如,眼睛跟踪系统的控制器可以嵌入框架105中。
显示器发射经由光学块提供给用户的内容。光学块将内容从显示器引导到视窗135。光学块使用照明组件来引导内容。在一些实施例中,光学块还包括一个或更多个光学元件(例如,透镜)。
照明组件由衬底组成,该衬底透射由显示器发射的第一光学频带中的光(例如,可见光)。多个微器件耦合到衬底。多个微器件包括多个源(例如,微型led)。在一些实施例中,多个微器件还可以包括一个或更多个传感器(例如,光电探测器)。并且使用一条或更多条导电路径给多个微器件供电和/或控制该多个微器件。如下面参照图2所讨论的,眼睛跟踪系统使得多个源发射不同于第一光学频带的第二光学频带中的光(例如,红外光和/或近红外光)。多个源照射目标区域。目标区域包括用户的一只或两只眼睛,并且在一些实施例中可以包括用户的一只或两只眼睛周围的面部部分(例如,眉毛、脸颊等)。眼睛跟踪系统捕获照明区域的图像,并使用捕获的图像来确定跟踪信息。下面参照图2详细描述显示器、光学块和眼睛跟踪系统。
图2是根据一个或更多个实施例的显示组件200的一部分。显示组件200可以是显示组件110、作为头戴式显示器(hmd)的一部分的显示组件、某种其他ned中的显示组件等。显示组件200包括显示器205、光学块210和眼睛跟踪系统215。显示组件200的一些实施例具有不同于这里所描绘部件的部件。类似地,功能可以以与这里描述的方式不同的方式在部件之间分配。
显示器205向用户显示由hmd100或另一设备生成的图像和/或视频。在各种实施例中,显示器205可以包括单个显示器或多个显示器(例如,用户的每只眼睛对应一个显示器)。显示器205中可能的元件的示例包括:液晶显示器(lcd)、有机发光二极管(oled)显示器、有源矩阵有机发光二极管显示器(amoled)、量子有机发光二极管(qoled)显示器、量子发光二极管(qled)显示器、透明有机发光二极管(toled)显示器、某种其它电子显示器、波导、扫描组件(例如,扫描反射镜)、或它们的某种组合。在一些实施例中,显示器205是波导显示器。
光学块210将第一光学频带中的光引导至视窗135。光在第一光学频带中,并且包括由显示器205发射的光。在一些实施例中(例如,ar和/或mrned),部分或全部显示器205是透明的,并且来自ned100周围的局部区域的光通过显示器205和光学块210透射到视窗135。在这些实施例中,一个或更多个光学元件可以放置在显示器和局部区域之间,以抵消由光学块210向来自局部区域的光添加的光焦度。另外,在一些实施例中,一个或多更个光学元件中的至少一个可以动态调整其光焦度(例如,液体透镜)。
光学块210至少包括照明组件220,并且可以包括一个或更多个附加光学元件和/或不同光学元件的组合。例如,光学元件是光圈、菲涅耳透镜、凸透镜、凹透镜、液晶透镜、液体透镜、滤光器或影响从电子显示器205发射的图像光的任何其他合适的光学元件。在一些实施例中,光学块210中的一个或更多个光学元件可以具有一个或更多个涂层,例如抗反射涂层。在一些实施例中,光学块210放大从显示器205接收到的图像光,校正与图像光相关联的光学误差,并将校正后的图像光呈现到视窗135。视窗135是空间中的一个位置,该位置将被ned100的用户的眼睛130占据。
照明组件220用于根据来自眼睛跟踪系统215的指令照射目标区域。目标区域是包括一只或两只眼睛的用户面部部分(以及在某些情况下,一只或两只眼睛周围的面部部分)。照明组件220定位在ned中,使得照明组件220的至少一部分在眼睛130的视场内。照明组件220包括观看区域225。观看区域225是照明组件220的一个区域,光(例如,来自显示器205和/或局部区域的光)在到达视窗135之前穿过该区域。观看区域225通常对应于照明组件225的在眼睛130的视场内的部分。
在该实施例中,照明组件220包括衬底230和耦合到衬底230的多个微器件。多个微器件可以是源、传感器、诸如电容器或电阻器之类的无源电子部件、诸如晶体管,二极管和集成电路之类的有源部件、或它们的某种组合。如上所述,存在这样一些情况,其中微器件不是传统意义上的微型,而是相对大且透明的(例如,大的(直径为1mm的)透明电容器)。在图示的实施例中,多个微器件包括多个源,并且可以包括一个或更多个传感器。为了便于说明,在图2中标记了多个源中的单个源235。
衬底230是观看区域225上在第一光学频带(例如可见光)中至少基本透明的材料。衬底230可以由例如玻璃、塑料、对第一光学频带中的光透明的某种其他材料或者它们的某种组合组成。注意,在一些实施例中,衬底230在第二光学频带中也可以是透明的。衬底230在观看区域225外部的区域中对于第一光学频带可以是不透明的。
衬底230具有第一表面240和第二表面245。第一表面240和第二表面245具有相应的表面轮廓。表面轮廓可以是例如球形、非球形、平面、自由形状、凸形、凹形、某种其他形状或它们的某种组合。第一表面240和第二表面245可以具有不同或相同的表面轮廓。注意,虽然图示的实施例示出了具有弯曲表面轮廓的第一表面240和第二表面245,但是在其他实施例中,表面轮廓中的一个或两个可以不同。例如,第一表面240和第二表面245可以都具有平坦的表面轮廓,使得没有光焦度被赋予给系统。此外,在图2中未示出的实施例中,照明组件220的功能和显示器205的功能被组合到单个部件中。例如,衬底230可以充当波导显示器的输出波导。一些示例波导显示器和输出波导在例如美国申请第15/704,190号中进一步讨论,该申请通过引用以其整体并入。
在图示的实施例中,多个微器件耦合到第一表面245。如上所述,在该实施例中,多个微器件包括多个源,并且还可以包括一个或更多个传感器。多个源将光发射到目标区域中。源发射第二光学频带中的光。源可以是,例如,微型led、垂直腔面发射激光器(vcsel)、激光二极管、超辐射led、oled、微型led或其组合。多个源包括至少10个源,并且通常包括多于10个(例如,20个、30个等)。传感器可以是,例如,基于硅、砷化镓(gaas)、铟镓砷(ingaas)、磷化铝铟镓(alingap)、其他无机或有机半导体或其组合的光电探测器、对第二光学频带中的光敏感的传感器、对第一光学频带中的光敏感的传感器、或它们的某种组合。传感器可以用于,例如,监视来自显示器205的、来自局部区域的(例如,在ar和/或mr实施例中)第一光学频带中的光的亮度、确定从用户眼睛的角膜反射的光的角度等。
微器件的长度和宽度在1μm至1000μm的范围内。在一些实施例中,微器件的长度和/或宽度在1μm和250μm之间。在一些实施例中,微器件的长度和/或宽度在1μm和100μm之间。总的来说,每个微器件非常小,以减轻微器件对ned100的用户的可见性。在其他实施例中,多个微器件耦合到第一表面240和第二表面245中的一个或两个。多个微器件被耦合到衬底230的表面,使得来自多个源的光朝向视窗135被发射。多个微器件分布在衬底230的表面上,使得它们中的一些或全部在场内。场内微器件位于观看区域225内。注意,在一些实施例中,至少一个微器件(例如,源或传感器)被定位在观看区域225外部。
多个源分布在第一表面240和/或第二表面245上,使得由多个源发射的光在目标区域上形成图案。在源耦合到第一表面240的实施例中,从源发射的光到达视窗135,而不穿过透明衬底230。在一些实施例中,多个源中的一些或全部是底部发射倒装芯片(flipchip)vcsel,在vcsel、电路和第一表面240之上具有均匀的封装层。封装将产生更靠近眼睛130的另一个均匀表面。光学器件嵌入该封装层内或蚀刻到封装层的表面中,用于瞄准并成形vcsel,以确保视窗的均匀和完全照明。在其他实施例中,光学器件被直接安装到vcsel的顶部,并且光学器件瞄准并成形vcsel的输出。在一些实施例中,通过在将vcsel键合到第一表面240的材料中形成楔形,或者通过在第一表面240中形成沟槽,来以一定角度安装一些或全部vcsel。
多个源的示例分布在下面的图3a-图3d中示出。在一些实施例中,多个源中的一些或全部具有唯一的(或至少部分唯一的)空间配置。空间配置描述了源相对于相邻源如何定位。请注意,一些人工现实设备没有非常刚性的框架,因此可能需要在线(或主动)校准眼睛跟踪系统。在一些实施例中,对于这些非刚性人工设备,多个源可以被定位成使得从多个源中的一些源输出的一部分光直接转到眼睛跟踪系统215的照相机。这种捕获的光可能有助于解释由于非刚性框架引起的运动。在一些实施例中,多个源的空间配置可以包括一个或更多个图案,该一个或更多个图案在导电路径内或照明组件220的未连接到导电路径的表面内对眼睛跟踪系统215是有意可见的。
多个源可以被划分成源的子集,其中源的每个子集相对于源的其他子集具有唯一的空间配置。例如,源的一个子集可以排列成三角形,不同的子集可以排列成线等。此外,如以下所讨论的,在一些实施例中,没有微器件(以及相应的导电路径)被放置在观看区域225的无电路区域250内。
在一些实施例中,一些或全部衬底220涂覆有涂层。涂层在第一光学频带中是透明的,并且至少部分地包围多个器件的至少一些和透明衬底。在一些实施例中,多个源中的一个或更多个源被红外光(ir)吸收器部分地包围。ir光吸收器阻挡来自源的光泄漏。也就是说,ir光吸收器防止从源发射的光沿着预定方向传播(例如,朝向显示器205)。
多个源发射第二光学频带中的光(例如,红外光)。在一些实施例中,第二光学频带是波长在780nm(纳米)和1100nm之间的范围中的近红外光。在一些实施例中,第二光学频带是800nm和1000nm之间的范围中的波长。并且在一些实施例中,多个源中的一些和/或全部与该多个源中的其他源相比,发射第二光学频带的不同部分中的光。另外,在一些实施例中,多个源中的一个或更多个可以根据来自眼睛跟踪系统215的指令发射编码光(codedlight)。编码光是允许特定源的唯一或部分唯一标识的光。多个源可以通过例如发射不同波长的光、发射不同偏振的光、发射不同调制(例如振幅、脉冲等)的光、作为不同空间配置(例如,源相对于相邻源被放置的位置)的一部分、允许源的唯一或部分唯一标识的某种其他光发射、或它们的某种组合来发射编码光。
使用多条导电路径(未示出)来控制多个微器件(并对其供电)。由于多个微器件中的至少一些在场内,至少一些导电路径与观看区域225重叠。导电路径包括耦合到衬底表面的一根或更多根导电迹线。导电路径可以耦合到一个或更多个微器件。在一些实施例中,一个或更多个微器件(例如,源)可以耦合到包括两根导电迹线(例如,信号/电源引线和接地引线)的导电路径。在一些实施例中,微器件可以经由一条或更多条导电路径被独立地控制。在一些实施例中,微器件的导电路径包括单根导电迹线,并且微器件还耦合到(至少在第一光学频带中)透明的导电层(例如,充当接地平面)。例如,多个微器件中的一些或全部可以具有相应的单根导电迹线,并且还可以耦合到多个微器件中的一些或全部所共有的透明导电层。在一些实施例中,导电路径和多个微器件形成多层电路。例如,导电路径可以排列在多个层(其对于第一光学频带中的光基本上是透明的)中,并且在一些实施例中,这些层中的一个层可以耦合到一些或全部微器件所共有的透明导电层。
多条导电路径被设计成以功能上对ned100的用户不可见为目标。导电路径可以在第一光学频带中是透明的,在第一光学频带中是不透明的,和/或在第一光学频带中是部分透明的。使用例如观看区域225内的(至少在第一光学频带上)透明或基本上透明的导电路径、窄导电路径、导电路径的排列或它们的某种组合来减轻导电路径的可见性。例如,多条导电路径由至少在观看区域225上在第一光学频带上透明的导电材料组成,这减轻了在ned100操作期间导电路径的可见性。不透明导电路径可以定位在观看区域225的外部。导电材料可以是例如氧化铟锡(ito)、透明导电氧化物(tco)、掺氟氧化锡(fto)、导电且对第一光学频带透明的某种其他材料或它们的某种组合。另外,导电路径的宽度通常非常小(例如,宽度小于50μm),这也有助于在ned100的操作期间减轻导电路径的可见性。
多条导电路径在衬底230上具有排列。该排列可以是例如成角度的、径向的、弯曲的、伪随机的、某种其他排列(例如,模拟人眼的脉管系统)或它们的某种组合。导电路径的一些示例排列在下面参照图3a-图3d进行说明。
注意,虽然多条导电路径在观看区域225上是透明的,但是在某些照明条件下,它们会稍微降低呈现给用户的内容的质量,并且在一些情况下变得部分可见。导电路径的伪随机排列有助于减轻导电路径变得对用户可见。眼睛130通常对直线和重复图案比对随机(或伪随机)图案更敏感。相应地,以伪随机方式排列导电路径使用眼睛130的固有操作来帮助减轻导电路径的可见性。
请注意,将局部取向/相位变化添加到导电路径的排列可以导致光谱功率在更大带宽上的分布,这可以减少相关的神经触发(firing),使得导电路径对眼睛不太可见。这是为什么例如伪随机排列相对于直线或纯曲线的排列对眼睛不太可见的一个原因。例如,相对于圆的快速傅立叶变换(fft)分析,对波状圆(wavycircle)(例如,沿圆的路径以加权动量引入随机抖动的圆)的fft分析导致光谱功率重新分布到更大的带宽,特别是在较低的空间频率中。相应地,与以圆形排列的导电路径相比,以波状圆排列的导电路径对眼睛来说不太可见。
此外,当用户佩戴头戴式装置(例如,hmd或ned)时,用户大部分时间大致直视前方。观看轴线232对应于在佩戴ned100时基本上直视前方的用户大致沿着其进行观看的轴线。在一些实施例中,观看轴线232对应于显示组件200的光轴(opticalaxis)。在图示的实施例中,观看区域225由被外部区域包围的无电路区域250组成。外部区域(虽然在图中没有标记)仅仅是衬底的区域,它不是无电路区域250的一部分。无电路区域250是照明组件220的不包括任何微器件及其相应导电路径的区域,并且沿着观看轴线232居中。无电路区域250可以是任何形状(例如,圆形、矩形等)。无电路区域250被放置成使得佩戴ned100的、基本上直视前方的用户通过无电路区域250进行观看。
多个微器件及其相应的导电路径被放置在外部区域中。注意,在该实施例中,眼睛130的视网膜中央凹(高细节)的视场没有微器件和导电路径,而眼睛130的非视网膜中央凹区域(低得多的分辨率)的视场将具有微器件和导电路径。如上所述,ned100的用户通常直视前方,或者更准确地说,在正前方视野的阈值距离内。相应地,通过仅从衬底220的最常被眼睛130的视网膜中央凹观看的区域移除微器件及其导电路径,无电路区域极大地减轻了用户对导电路径(和微器件)的察觉。
眼睛跟踪系统215跟踪眼睛135的位置。眼睛跟踪系统215包括照相机组件255和控制器260。尽管图2仅示出了用户的一只眼睛130。在一些实施例中,可以为用户的每只眼睛实现独立的眼睛跟踪系统。
照相机组件255捕获从目标区域反射的光图案的图像。光图案由从多个源中的至少一些源发射的第二光学频带中的光形成。反射光包括,例如,来自目标区域中的眼睛130的部分(例如,角膜、虹膜和/或巩膜)的光图案的反射,并且可以包括眼睛130周围的面部部分(例如,眉毛、鼻子、脸颊等)。照相机组件255包括对至少第二光学频带中的光敏感的一个或更多个照相机。在一些实施例中,一个或更多个照相机还可以包括捕获第一光学频带中的图像的至少一个照相机(并且在一些情况下,它还可以捕获第二光学频带中的光)。照相机可以是,例如,光电二极管阵列(1d或2d)、电荷耦合显示器(ccd)阵列、互补金属氧化物半导体(cmos)阵列、能够捕获目标区域上的在至少第一光学频带中的反射光的某种其他设备或它们的某种组合。在一些实施例中,照相机组件255包括能够捕获偏振信息的一个或更多个偏振敏感照相机。偏振信息描述了捕获的光的偏振。例如,偏振敏感照相机包括偏振敏感像素的阵列(例如,0°、45°、90°和135°)。照相机组件255根据由控制器260生成的指令捕获图像。
注意,虽然照相机组件255在图2中被示为对目标区域直接成像,但是在其他实施例中,照相机可以通过光学块210的一个或更多个光学元件来对目标区域成像。例如,光学块210可以包括照明组件220和显示器205之间的热镜(hotmirror)(即,在第二光学频带中是反射性的,并且在第一光学频带中是透明的)。在该实施例中,第二光学频带中的光从目标区域反射回照明组件220。反射光将被照明组件220透射,然后经由热镜被导向照相机组件255。
控制器260控制眼睛跟踪系统215的部件和照明组件220的多个微器件。控制器260为照明组件220的多个微器件(即,多个源,以及在一些实施例中,一个或更多个传感器)和照相机组件255生成指令。控制器260可以生成指令,使得多个源在部分或全部目标区域上发射图案。该图案可以是例如结构化光图案。控制器260可以生成指令,使得由多个源中的一些或全部源发射的光被编码。控制器260指示照相机组件255捕获目标区域的图像。
控制器260接收由照相机组件255捕获的用户眼睛130的一个或更多个图像。控制器260使用来自照相机组件255的一个或更多个照相机的一个或更多个捕获图像来确定跟踪信息。跟踪信息至少描述了ned100的用户的一只或两只眼睛的位置(包括取向)。跟踪信息可以包括,例如眼睛的位置、凝视角度、瞳孔间距离、围绕一只或两只眼睛的一个或更多个面部特征(例如,眉毛、脸颊等)的位置或它们的某种组合。例如,在一些实施例中,控制器260识别来自多个源中的至少一些源的光在目标区域的某个部分的图像中的反射位置。该图像包括眼睛130,并且还可以包括眼睛130周围的面部特征的各部分。控制器260基于所识别反射的形状和/或位置来确定眼睛130的位置(包括取向)。控制器260还可以被配置成基于所识别反射的形状和/或位置来确定面部特征的位置。在用结构化光图案照射目标区域的情况下,控制器260可以检测投射到目标区域上的结构化光图案的失真,并且可以基于检测到的失真来估计眼睛130的位置和取向。在一些实施例中,控制器260还可以估计眼睛130周围的面部特征的位置。控制器260还可以基于由照相机组件255捕获的照明图案的图像来估计瞳孔轴、凝视角度(例如,对应于视网膜中央凹轴)、眼睛的平移、眼睛的扭转和眼睛130的当前形状。控制器260可以向例如显示器205(例如,用于注视点渲染(foveatedrendering))和/或变焦模块提供一些或全部跟踪信息。
变焦模块(未示出)通过调整图像地点(imageplace)的位置来减轻辐辏调节冲突(vergence-accommodationconflict)。变焦模块控制一个或更多个变焦元件。变焦元件是可以被调整以改变像平面(imageplane)的位置(即,虚拟内容出现在ned100的佩戴者面前的位置)的光学元件。调整可以是例如通过调整光学元件的光焦度和/或调整光学元件相对于显示元件110的位置。在一些情况下,照明组件220、光学块210中的光学元件、显示器205、某个其他光学元件(例如,抵消由光学块210提供的光焦度的光学元件)或它们的某种组合是变焦元件。例如,照明组件220和/或显示器205可以是变焦模块的一部分,该变焦模块调整照明组件220和显示器205之间的相对距离。变焦元件可以耦合到眼睛跟踪系统215,以获得由眼睛跟踪系统215确定的跟踪信息。变焦元件通过调整照明组件220和显示器205之间的相对距离来调整像平面的位置。像平面的调整使得辐辏位置和调节位置在像平面上起到减轻辐辏调节冲突的作用。
注意,传统的眼睛跟踪系统可能具有有限的眼睛跟踪能力,因为眼睛跟踪系统的照明源的位置在整个显示器的用户视场外部。将照明源定位在用户视场(即,观看区域225)外部导致眼睛的非常倾斜的照明。并且用户眼睛的非常倾斜的照明可能导致例如眼睛的照明不足。另外,用户眼睛的非常倾斜的照明可能会限制照明光的图案和结构,从而降低眼睛跟踪系统设计的灵活性,眼睛跟踪系统设计部分地依赖于提取的光的结构来检测关于用户眼睛的信息。相反,照明组件220使用在低得多的角度范围内照射目标区域的场内源。此外,由于源被放置在场内,因此相对于传统系统中的源密度(沿着观看区域225外部的周边),它可以允许潜在更高的源密度(在观看区域225上)。
图3a是根据一个或更多个实施例的示例照明组件300的平面视图,该示例照明组件300具有成角度排列的导电路径。照明组件300包括衬底305和耦合到透镜衬底305的多个微器件。衬底305是衬底230的实施例。多个微器件被图示为黑点,并且与上面参照图2讨论的那些微器件基本上相同。例如,多个微器件可以包括发射第二光学频带中的光的多个源、多个传感器(例如,检测第二光学频带中的光)或它们的某种组合。另外,在一些实施例中,多个源中的一些或全部可以用检测光的传感器来代替。在其他实施例中,照明组件300可以包括某个其他数量(例如,更多或更少)的微器件。
照明组件300可以包括无电路区域322。无电路区域322不包括任何微器件及其相应的导电路径。无电路区域322沿着观看轴线325居中。观看轴线325对应于基本上直视前方的用户观看时所沿的轴线。在一些实施例中,观看轴线325对应于照明组件300的光轴。另外,多个微器件中的一些或全部可以位于照明组件300的不同部分上。例如,在替代实施例中,照明组件300(以及本文讨论的其他照明组件)可以不包括无电路区域322。
使用具有成角度排列的多条导电路径来控制多个微器件(并向其供电)。导电路径与上面参照图2描述的基本上相同,除了它们是在成角度排列的示例中。成角度的排列描述了导电路径,它们是直线,并且在对应的重定向点(redirectionpoint)处可以具有一个或更多个突然的方向变化。例如,在图3a中,包括源315的导电路径310在重定向点320处具有方向变化。全部的重定向点导致在重定向点任一侧上的导电路径的相邻部分(也称为“段(segment)”)之间形成角度。在图3a的实施例中,该角度是直角,但是在其他实施例中,该角度可以是不同于直角的角度。此外,在一些实施例中,不同的重定向点可以形成不同的角度。不同的定向点可以在相同或不同的导电路径上。
多个微器件是场内的(即,在观看区域内),并且分布在衬底305上。在多个微器件是源的实施例中,多个源因此可以在比例如定位在照明组件300周围和外部的源(例如,如传统系统的情况)低得多的角度范围内照射目标区域。此外,由于微器件被放置在场内,因此相对于传统系统中的微器件密度(沿着观看区域225外部的周边),它可以允许潜在更高密度的微器件(在观看区域内)。这可以导致更密集的结构化光图案,更密集的结构化光图案可以提供用于跟踪用户眼睛在目标区域上的凝视角度的增加的角度数据。
图3b是根据一个或更多个实施例的示例照明组件330的平面视图,该示例照明组件330具有径向排列的导电路径。照明组件330与照明组件300基本上相同,除了导电路径具有径向排列而不是成角度的排列。
导电路径的径向排列使得每条导电路径以直线耦合一个或更多个源,每条导电路径被定向成以大致径向的方式远离观看轴线325。例如,微器件335耦合到导电路径340,导电路径340被定向成以径向方式远离观看轴线325。注意,相对于图3a中的成角度排列,径向排列导致导电路径的相对低的空间密度,这可以帮助减小导电路径变得对眼睛可见的机会。相对于线性电路迹线,径向图案在提高电路板的透视(see-through)质量方面具有优势。
图3c是根据一个或更多个实施例的示例照明组件345的平面视图,该示例照明组件345具有弯曲排列的导电路径。照明组件345与照明组件300基本上相同,除了导电路径具有弯曲的排列而不是成角度的排列,并且为了便于说明,没有示出全部的导电路径。
导电路径的弯曲排列使得每条导电路径使用大致包围观看轴线325的一条或更多条曲线来耦合一个或更多个源。描述弯曲排列的附加细节可以在例如美国专利申请第15/927,963号中找到,该专利申请的全部内容通过引用并入本文。例如,微器件350耦合到导电路径355,该导电路径355是弯曲的并且大致包围观看轴线325。相对于图3a中的成角度排列,弯曲排列导致导电路径的相对低的空间密度,这可以帮助减小导电路径变得对眼睛可见的机会。相对于线性电路迹线,圆形图案在提高电路板的透视质量方面具有优势。弧形/曲线的衍射效应对用户来说可能不如线性电路迹线明显。
图3d是根据一个或更多个实施例的示例照明组件360的平面视图,该示例照明组件360具有伪随机排列的导电路径。照明组件360与照明组件300基本上相同,除了导电路径具有伪随机排列而不是成角度的排列,并且为了便于说明,没有示出全部的导电路径。
导电路径的伪随机排列有助于减轻导电路径变得对用户可见。人眼通常对直线和重复图案比对随机(或伪随机)图案更敏感。相应地,以伪随机方式排列导电路径使用眼睛的固有操作来帮助减轻导电路径的可见性。
可以基于一个或更多个随机化参数和随机化模块来生成导电路径的伪随机排列。随机化模块作为照明组件制造系统的一部分进行操作。随机化模块使用一个或更多个随机化参数来生成以伪随机方式排列的导电路径的设计布局。随机化参数包括,例如多个源的位置、导电路径的周期、导电路径的振幅、导电路径的曲率变化、相邻导电路径之间的最小距离、导电路径的随机性度量、随机化模块用来生成以伪随机方式排列的导电路径的设计布局的某个其他参数、或者它们的某种组合。在一些实施例中,针对一些或全部导电路径,随机化模块根据一个或更多个随机化参数来使例如振幅变化、周期变化、曲率变化和相邻导电路径之间的距离变化的实例随机化,所有这些距离变化都是按照沿着导电路径的某个可变距离,并且该可变距离也可以被随机化。然后,可以使用制造系统来制造所得到的设计,以产生包括以伪随机方式排列的导电路径的照明组件(例如,照明组件360)。例如,导电路径可以使得耦合到不同器件(例如,源)的相邻导电路径之间存在至少1mm。
照明组件360包括以伪随机方式排列的导电路径。例如,微器件360使用伪随机的导电路径耦合到导电路径370。注意,导电路径365在其到微器件365的路径上具有周期、振幅和曲率的变化。另外,在该实施例中,导电路径370与任何其他导电路径的形状不同。如上所述,导电路径的伪随机排列极大地减小了导电路径变得对用户可见的机会。在示出的示例中,照明组件360包括以观看轴线325为中心的无电路区域322。在替代实施例中,照明组件360可以不包括无电路区域322。在一些实施例中,伪随机图案可以与线性和/或弯曲电路图案结合使用。例如,透镜可以具有朝向透镜边缘的线性和/或弯曲形状的迹线,以及朝向透镜中心的伪随机图案。
在一些实施例中,导电路径370的长度的至少50%具有不超过10mm的有效长度,有效曲率半径大于10mm。在一些实施例中,有效长度不超过5mm,并且有效曲率半径小于5mm。功能上,当观察明亮的光源,例如荧光灯具、mr16灯泡或太阳时,导电路径370应该具有这样的结构,使得用户比使用更长有效长度或曲率或两者的电路图案更不容易观察到它。
图4是根据一个或更多个实施例的电路的一部分的正视图400,电路的该部分包括经由导电路径耦合的一些微器件。该部分包括导电路径410、导电路径420以及微器件430a、430b和430c。该部分是照明组件的具有以弯曲方式排列(例如,如以上参照图3c所讨论的)的导电路径的一部分。在该实施例中,导电路径410包括导体410a和导体410b,并且导电路径320包括导体420a和导体420b。
导电路径420可以充当主干线(maintrunk),其电耦合照明组件内弯曲导电路径的各个环。例如,导体420a可以向微器件提供控制(和/或电力),并且导体420b可以充当回路。导电路径410形成连续的环,该环的一部分被示出。沿着环,各种微器件(例如,微器件430a-430c)耦合到导体410a和410b。微器件选自由源和传感器构成的组。相应地,微器件可以是源、传感器或它们的某种组合。
电路450具有降低功耗的优点。因为微器件可以连接到不同的段,所以电路450允许选择性地关闭附着到衬底的一些微器件。
用于向微器件提供电流的电路包括导体,该导体可以由诸如金属(例如,铝、铜、银、镍、金或它们的合金)、透明导电氧化物(例如氧化铟锡、氧化锌)或对可见光透明的其他导体、透明聚合物(例如,聚(3,4-亚乙基二氧噻吩)(pedot))或包括墨水的纳米颗粒金属的各种材料制成。金属导体可以是透明的,并且厚度小于阈值厚度(例如,大约50nm)。导体可以包括由银或其他合适的材料制成的纳米线。
图5a是根据一个或更多个实施例的一段时间内凝视位置在衬底的观看区域上的分布的曲线图500。针对方位角和仰角的凝视方向分布是使用眼睛跟踪系统在对执行各种任务的多个用户的数据进行平均时生成的。从曲线图500明显的是,用户主要在观看轴线510周围的小区域上具有凝视位置。给定凝视方向的分布,可以画出包围观看轴线的一个或更多个区。例如,衬底500可以被划分成内部区520、中间区530和外部区540。内部区520以观看轴线510为中心。中间区530描述了在内部区520周围但不是外部区540的一部分的区域。外部区540描述了既不属于内部区520也不属于中间区530的区域。在替代实施例中,内部区520、中间区530、外部区540或它们的某种组合可以具有不同的直径和/或不同的形状。内部区520可以被选择为使得其将是无电路区域(例如,像无电路区域250)。每个区的尺寸和形状可以部分地基于要落入该区内的凝视位置的期望部分来被确定。例如,内部区520的尺寸和/或形状可以被设置为在一段时间内捕获80%的凝视位置。中间区530的尺寸和/或形状可以被设置为在一段时间内捕获15%的凝视位置,以及外部区540的尺寸和/或形状可以被设置为捕获剩余5%的凝视位置。
图5b是根据一个或更多个实施例的包括来自图5a的多个区的衬底设计500的平面视图。多个区与上面参考图5a描述的区相同。部分地基于这些区,将多个源和导电路径(未示出)添加到衬底设计500。例如,内部区510可以被认为是无电路区域,使得没有微器件和导电路径可以被放置在内部区510内。在一些实施例中,无电路区域的直径是至多12mm。另外,在一些实施例中,微器件和/或导电路径的密度可以随着距观看轴线510的距离而增加。例如,中间区530中微器件和/或导电路径(统称为“特征”)的密度可以高于内部区520中的密度(可以为零)。类似地,外部区540中的特征的密度可以高于中间区530和内部区520中的特征的密度。特征的可变密度可以帮助减小特征在ned的使用期间变得对用户可见的机会。
人工现实系统的示例
图6是根据一个或更多个实施例的人工现实系统600的框图。系统600可以在例如vr系统环境、ar系统环境、mr系统环境或它们的某种组合中操作。图6所示的系统600包括头戴式装置605、控制台610和输入/输出(i/o)接口615。虽然图6示出了包括一个头戴式装置605和一个i/o接口615的示例ned系统600,但是在其他实施例中,任意数量的这些部件可以被包括在系统600中。例如,可以有多个头戴式装置605,每个头戴式装置605具有相关联的i/o接口615,每个头戴式装置605和i/o接口615与控制台610通信。在替代配置中,系统600中可以包括不同的和/或附加的部件。另外,在一些实施例中,结合图6所示的一个或更多个部件描述的功能可以以与结合图6描述的方式不同的方式在部件之间分配。例如,控制台610的一些或全部功能由头戴式装置605提供。
头戴式装置605可以是向用户呈现内容的hmd或ned,所呈现的内容包括具有计算机生成的元素(例如,二维或三维图像、二维或三维视频、声音等)的物理、现实世界环境的虚拟和/或增强视图。在一些实施例中,所呈现的内容包括经由外部设备(例如,扬声器和/或头戴式耳机)呈现的音频,该外部设备从头戴式装置605、控制台610或两者接收音频信息,并基于音频信息来呈现音频数据。头戴式装置605的实施例是上面结合图1a描述的ned100。
头戴式装置605包括显示组件620。头戴式装置还可以包括一个或更多个位置传感器630、惯性测量单元(imu)635、可选深度照相机组件(dca)550和可选变焦模块653。头戴式装置605的一些实施例具有与结合图6描述的部件不同的部件。此外,在其他实施例中,由结合图6描述的各种部件提供的功能可以在头戴式装置605的部件之间不同地分配。
显示组件620向用户呈现内容,并监视用户在目标区域上的移动。显示组件620可以是显示组件200。显示组件605包括显示器、光学块和眼睛跟踪系统,这些在上面参照图2进行了详细讨论。显示器是显示器205,光学块是光学块210,以及眼睛跟踪系统是眼睛跟踪系统215。
光学块包括至少一个照明组件。照明组件是照明组件220的实施例。照明组件用于根据来自眼睛跟踪系统的指令照射目标区域。目标区域是包括一只或两只眼睛的用户面部部分(以及在某些情况下,一只或两只眼睛周围的面部部分)。照明组件包括场内的多个微器件,并且至少一些微器件是照射目标区域的源。使用导电路径控制多个微器件/对多个微器件供电。导电路径以特定方式(例如,伪随机方式)排列在照明组件的衬底上。上面关于图2和图3a-图3d讨论了一些示例排列。另外,在一些实施例中,照明组件可以包括沿着观看轴线的无电路区域。眼睛跟踪系统(例如,眼睛跟踪系统215)捕获目标区域的图像,并基于捕获的图像确定跟踪信息。跟踪信息包括跟踪信息,并且还可以包括跟踪区域内的面部各部分的面部跟踪信息。
imu635是电子器件,其基于从一个或更多个位置传感器630接收的测量信号和从dca650接收的深度信息来生成指示头戴式装置605的位置的数据。位置传感器630响应于头戴式装置605的运动而生成一个或更多个测量信号。位置传感器630的示例包括:一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一种合适类型的传感器、用于imu635的误差校正的一类传感器或者其某种组合。位置传感器630可以位于imu635的外部、imu635的内部或者这两种位置的某种组合。
基于来自一个或更多个位置传感器630的一个或更多个测量信号,imu635生成指示相对于头戴式装置605的初始位置的头戴式装置605的估计的当前位置的数据。例如,位置传感器630包括测量平移运动(向前/向后、向上/向下、向左/向右)的多个加速度计和测量旋转运动(例如,俯仰、偏航、横滚)的多个陀螺仪。在一些实施例中,imu635对测量信号进行快速采样,并根据所采样的数据来计算头戴式装置605的估计的当前位置。例如,imu635对从加速度计接收到的测量信号在时间上求积分以估计速度矢量,并对速度矢量在时间上求积分以确定在头戴式装置605上的参考点的估计的当前位置。替代地,imu635向控制台610提供采样的测量信号,控制台610对数据进行解析以减少误差。参考点是可以用来描述头戴式装置605的位置的点。参考点通常可以被定义为与ned505的取向和位置相关的空间中的点或者位置。
imu635从控制台610接收一个或更多个参数。该一个或更多个参数用于保持对头戴式装置605的跟踪。基于接收到的参数,imu635可以调整一个或更多个imu参数(例如,采样率)。在一些实施例中,某些参数使得imu635更新参考点的初始位置,使得其对应于参考点的下一个位置。将参考点的初始位置更新为参考点的下一个校准后的位置有助于减少与imu635的估计的当前位置相关联的累积误差。累积误差(也称为漂移误差)导致参考点的估计位置随着时间的推移而“漂移”离开参考点的实际位置。在头戴式装置605的一些实施例中,imu635可以是专用硬件部件。在其他实施例中,imu635可以是在一个或更多个处理器中实现的软件部件。
在一些实施例中,头戴式装置605还包括dca650。dca可以是dca115的实施例。dca650捕获描述头戴式装置605周围的局部区域的深度信息的数据。在未示出的实施例中,dca650在头戴式装置605的外部,并且在局部区域内捕获头戴式装置605的图像。dca650使用一种或更多种深度确定技术来确定深度信息。深度确定技术可以包括,例如结构化光、立体视觉、飞行时间、某种其他深度确定技术或它们的某种组合。dca650可以使用数据来计算深度信息,或者dca650可以将该信息发送到另一设备(例如控制台610),该另一设备可以使用来自dca650的数据来确定深度信息。
在一些实施例中,变焦模块653与头戴式装置605,特别是显示组件620集成在一起。变焦模块653可以耦合到显示组件620的眼睛跟踪系统,以获得跟踪信息。变焦模块653可以被配置成通过调整显示组件内的一个或更多个元件(例如,显示器、照明组件、某个其他光学元件)的位置和/或调整显示组件内的一个或更多个元件的光焦度来调整像平面的位置。
变焦模块653还可以被配置成至少部分地基于所确定的跟踪信息,通过指示显示器执行图像光的注视点渲染来调整由显示器发射的图像光的分辨率。变焦模块653指示显示器在用户眼睛凝视的视网膜中央凹区域发射具有最大像素密度的图像,以及在其他区域发射具有较低像素密度的图像。
i/o接口615是允许用户发送动作请求并从控制台610接收响应的设备。动作请求是执行特定动作的请求。例如,动作请求可以是开始或结束图像或视频数据的捕获的指令,或者是在应用内执行特定动作的指令。i/o接口615可以包括一个或更多个输入设备。示例输入设备包括键盘、鼠标、游戏控制器、或者用于接收动作请求并将动作请求传送到控制台610的任何其他合适的设备。由i/o接口615接收的动作请求可以被传送到控制台610,控制台610执行对应于该动作请求的动作。在一些实施例中,i/o接口615包括imu635,该imu635捕获指示相对于i/o接口615的初始位置的i/o接口615的估计位置的校准数据。在一些实施例中,i/o接口615可以根据从控制台610接收的指令来向用户提供触觉反馈。例如,当动作请求被接收到时,或者当控制台610向i/o接口615传送指令时,触觉反馈被提供,该指令使i/o接口615在控制台610执行动作时生成触觉反馈。
控制台610向头戴式装置605提供内容,以用于根据从dca650、头戴式装置605和i/o接口615中的一个或更多个接收的信息来进行处理。在图6所示的示例中,控制台610包括应用储存器655、跟踪模块660和引擎665。控制台610的一些实施例可以具有与结合图6描述的模块或部件不同的模块或部件。类似地,下面进一步描述的功能可以以不同于结合图6描述的方式分布在控制台610的部件中。
应用储存器655存储用于由控制台610执行的一个或更多个应用。应用是一组指令,该组指令当由处理器执行时生成用于呈现给用户的内容。由应用生成的内容可以响应于经由头戴式装置605的移动或i/o接口615而从用户接收的输入。应用的示例包括:游戏应用、会议应用、视频回放应用或其他合适的应用。
跟踪模块660使用一个或更多个校准参数来校准ned系统600,并且可以调整一个或更多个校准参数以减少在头戴式装置605或i/o接口615的位置的确定中的误差。例如,跟踪模块660将校准参数传送到dca650来调整dca650的焦点,以更准确地确定由dca650捕获的结构化光元件的位置。由跟踪模块660执行的校准也可以考虑从头戴式装置605中的imu635和/或被包括在i/o接口615中的imu635接收的信息。另外,如果失去了头戴式装置605的跟踪(例如,dca650失去至少阈值数量的结构化光元件的视线),则跟踪模块660可以重新校准ned系统600的一些或全部。
跟踪模块660使用来自dca650、一个或更多个位置传感器630、imu635或其某种组合的信息来跟踪头戴式装置605或i/o接口615的移动。例如,跟踪模块660基于来自头戴式装置605的信息来确定头戴式装置605的参考点在局部区域的映射中的位置。跟踪模块660也可以分别地使用来自imu635的指示头戴式装置605位置的数据或者使用来自包括在i/o接口615中的imu635的指示i/o接口615位置的数据,来确定头戴式装置605的参考点或者i/o接口615的参考点的位置。另外,在一些实施例中,跟踪模块660可以使用来自imu635的指示头戴式装置605的位置的数据部分以及来自dca650的局部区域的表示来预测头戴式装置605的未来定位。跟踪模块660向引擎665提供头戴式装置605和/或i/o接口615的估计的或预测的未来位置。
在一些实施例中,引擎665基于从头戴式装置605接收的信息生成头戴式装置605周围区域(即,“局部区域”)的三维映射。在一些实施例中,引擎665基于从dca650接收的与在计算深度时使用的技术相关的信息来确定用于局部区域的三维映射的深度信息。引擎665可以在计算深度方面使用一种或更多种技术(例如基于立体的技术、结构光照明技术和飞行时间技术)根据由dca650检测到的反射光部分来计算深度信息。在各种实施例中,引擎665使用深度信息来例如更新局部区域的模型,并部分地基于已更新的模型来生成内容。
引擎665还执行在ned系统600内的应用,并从跟踪模块660接收头戴式装置605的位置信息、加速度信息、速度信息、所预测的未来位置或它们的某种组合。基于接收到的信息,引擎665确定要提供给头戴式装置605用于呈现给用户的内容。例如,如果接收到的信息指示用户已经向左看,则引擎665为头戴式装置605生成反映(mirror)用户在虚拟环境中或在用附加内容增强局部区域的环境中的移动的内容。另外,引擎665响应于从i/o接口615接收的动作请求来执行在控制台610上执行的应用内的动作,并且向用户提供动作被执行的反馈。所提供的反馈可以是经由头戴式装置605的视觉或听觉反馈,或者经由i/o接口615的触觉反馈。
在一些实施例中,引擎665可以被配置成与控制台610和头戴式装置605相关联地将从眼睛跟踪系统获得的跟踪信息用于各种显示和交互应用。各种应用包括,但不限于,提供用户接口(例如,基于凝视的选择)、注意力估计(例如,为了用户的安全)、凝视相关的显示模式(例如,注视点渲染、变焦光学、自适应光学失真校正、合成景深渲染)、深度的度量缩放和视差校正(例如,ipd和视窗调整)等。在一些实施例中,基于从眼睛跟踪系统接收的关于用户眼睛的位置和取向的信息,引擎665确定提供给头戴式装置605以由显示组件620的显示器呈现的内容的分辨率。引擎665将在用户凝视的视网膜中央凹区域中的显示器上具有最大像素密度(最大分辨率)的内容提供给头戴式装置605,而引擎665在显示器的其他区域中提供较低的像素分辨率,从而在头戴式装置605处实现较小的功耗并节省控制台610的计算周期,而不损害用户的视觉体验。在一些实施例中,引擎665可以被配置成基于从眼睛跟踪系统获得的跟踪信息来优化头戴式装置605的其他部件的性能。在一个实施例中,引擎665可以指示变焦模块653调整像平面的位置,例如,以防止辐辏调节冲突。
附加配置信息
本公开的实施例的前述描述为了说明的目的被提出;它并不意图为无遗漏的或将本公开限制到所公开的精确形式。相关领域中的技术人员可以认识到,按照上面的公开,许多修改和变化是可能的。
本描述的一些部分从对信息的操作的算法和符号表示方面描述了本公开的实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述,但应理解为将由计算机程序或等效电路、微代码等来实现。此外,将操作的这些排列称为模块有时候也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件、硬件或其任何组合中。
可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现本文描述的任何步骤、操作或过程。在一个实施例中,利用包括包含计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块,该计算机程序代码可以由计算机处理器执行,用于执行所描述的任何或全部步骤、操作或过程。
本公开的实施例也可以涉及用于执行本文的操作的装置。该装置可以被特别构造成用于所需的目的,和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂时性的、有形的计算机可读存储介质中,或者适于存储电子指令的任何类型的介质中,这些介质可以耦合到计算机系统总线。此外,说明书中提到的任何计算系统可以包括单个处理器,或者可以是采用多处理器设计来提高计算能力的架构。
本公开的实施例也可以涉及由本文所述的计算过程产生的产品。这样的产品可以包括由计算过程产生的信息,其中信息被存储在非暂时性的、有形计算机可读存储介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何实施例。
最后,在说明书中使用的语言主要为了可读性和指导目的而被选择,并且它可以不被选择来描绘或限制创造性主题。因此,意图是本公开的范围不由该详细描述限制,而是由在基于其的申请上发布的任何权利要求限制。因此,实施例的公开旨在对本公开的范围是说明性的,而不是限制性的,在所附权利要求中阐述了本公开的范围。