经由眼睛跟踪扩大有效眼动范围的近眼显示器的制作方法

本公开一般地涉及近眼显示器，并且更具体地，涉及近眼显示器中有效眼动范围(eyebox)大小的改善。

背景技术：

头戴式显示器(hmd)和其他近眼显示系统可以利用近眼光场显示器或其他计算显示器来提供三维(3d)图形的有效显示。通常，近眼光场显示器采用一个或多个显示面板以及覆盖在一个或多个显示面板上的小透镜、针孔或其他光学功能部件的阵列。渲染系统渲染元素图像的阵列，每个元素图像代表从相应的视角或虚拟相机位置的对象或场景的图像或视图。这样的近眼光场显示器通常在眼动范围大小和视场(fov)之间呈现出折衷，因为眼动范围大小与出瞳距离(eyerelief)和小透镜焦距的比率成比例。因此，为了提供令人满意的fov，采用近眼光场显示器的常规近眼显示系统通常具有相对有限的眼动范围，鉴于下述情况，这通常是有问题：潜在用户群体中的瞳孔间距(ipd)的可变性和相对于显示器的用户眼睛的准确定位的可变性，这两者都可能导致用户的瞳孔落在眼动范围的边界之外，从而导致遮挡了旨在显示给用户眼睛的图像的至少一部分。

附图说明

通过参考附图，可以更好地理解本公开，以及其许多特征和优点对于本领域技术人员变得显而易见。在不同的图中使用相同的参考符号表示相似或相同的项目。

图1是示出根据一些实施例的采用眼睛跟踪和相应的元素图像移位以提供动态的眼动范围调整的近眼显示系统的图。

图2是示出根据一些实施例的图1的近眼显示系统中的动态眼动范围调整的方法的流程图。

图3是示出根据一些实施例的基于眼睛姿态的动态眼动范围调整的示例的图。

图4是示出根据一些实施例的基于眼睛姿态的动态眼动范围调整的另外的示例的图。

图5是示出用于近眼显示系统中的眼睛跟踪的常规斜角配置的图。

图6是示出根据一些实施例的近眼显示系统中的示例性眼睛跟踪组件的图。

图7是示出根据一些实施例的近眼显示系统中的另一示例性眼睛跟踪组件的图。

图8是示出根据一些实施例的图7的眼睛跟踪组件的配置的变型的图。

图9是示出根据一些实施例的用于补偿由于眼睛跟踪组件的组件而导致的近眼光场显示中的被遮挡的元素图像的方法的图。

具体实施方式

图1-9示出了用于基于近眼显示系统中的用户眼睛姿态的动态眼动范围调整的示例性方法和系统。在至少一个实施例中，近眼显示系统采用计算显示器来向用户显示成像的近眼光场帧，以便为用户提供沉浸式虚拟现实(vr)或增强现实(ar)体验。每个近眼光场帧都由元素图像的阵列组成，每个元素图像代表来自不同的相应视点的对象或场景的视图。小透镜的阵列覆盖显示面板，并且操作以将元素图像的阵列作为单个自由立体图像呈现给用户。

由于用于计算显示器的眼动范围尺寸或“大小”与出瞳距离和小透镜焦距的比率成比例，因此尝试增加眼动范围大小通常会导致视场(fov)减小，反之亦然。为了在不相应地减小fov的情况下提供改进的眼动范围大小，在至少一个实施例中，本文所述的近眼显示系统利用动态眼动范围技术，其中，利用眼睛跟踪组件来确定用户眼睛的姿态(位置和/或旋转)，并且基于该姿态，确定位移矢量，通过其元素图像的阵列将相对于在其中合并了它们的近眼光场帧被移位(即相对于显示面板的显示表面)，使得有效地移位计算显示器的眼动范围，以便适应用户眼睛的姿态。例如，可以为用户眼睛的默认假定姿态指定显示面板上的元素图像的阵列的默认位置。但是，如果用户眼睛偏离该默认姿态，则近眼显示系统通过引入以下中的一项或两项来补偿偏离的姿态：(1)元素图像的阵列的位置从默认位置起的相应位移，以适应平行于显示面板的平面(即xy平面)中的用户眼睛的姿态的位移，或(2)阵列的元素图像的大小的相应缩放，以适应用户眼睛的姿态沿垂直于显示面板的轴(即z轴)的位移。当元素图像的阵列的位置的位移和/或元素图像的缩放经由小透镜阵列，有效地移位元素图像的投影方向时，元素图像的阵列的位置的位移有效地改变眼动范围。因此，响应于用户眼睛姿态的位移而动态地移位/缩放元素图像的阵列有效地提供了“更大”的眼动范围，无需相应地减小近眼显示系统的fov。

图1示出了根据至少一个实施例的结合了动态眼动范围位置调节的近眼显示系统100。在所图示的示例中，近眼显示系统100包括计算显示子系统102、渲染组件104以及一个或多个眼睛跟踪组件，诸如用于跟踪用户的左眼的眼睛跟踪组件106和用于跟踪用户的右眼的跟踪组件108中的一个或两个。计算显示子系统102包括安装在装置114(例如，护目镜、眼镜等)中的左眼显示器110和右眼显示器112，该装置114将显示器110、112分别放置在用户的左、右眼的前方。

如视图116所示，每个显示器110、112包括至少一个显示面板118，以显示一系列或连续的近眼光场帧(在下文中，为便于参考，称为“光场帧”)，每个近眼光场帧都包括元素图像122的阵列120。为了便于参考，元素图像122的阵列120在本文中也可以被称为光场帧120。显示器110、112中的每一个进一步包括覆盖显示面板118的小透镜126的阵列124(也通称为微透镜)。通常，小透镜阵列124中的小透镜126的数量等于阵列120中的元素图像122的数量，但是在其他实施方式中，小透镜126的数量可以少于或大于元素图像122的数量。注意，尽管为了便于说明，图1的示例示出了5×4的元素图像122的阵列和相应的5×4的小透镜126的阵列120，在典型的实施方式中，光场帧120中的元素图像122的数量和小透镜阵列124中的小透镜126的数量通常会更高。此外，在一些实施例中，为显示器110、112中的每一个实现单独的显示面板118，而在其他实施例中，左眼显示器110和右眼显示器112共享单个显示面板118，显示面板118的左半部分用于左眼显示器110，而显示面板118的右半部分用于右眼显示器112。

图1的截面图128图示沿覆盖显示面板118的小透镜阵列124的线a-a的截面视图，使得小透镜阵列124覆盖显示面板118的显示表面130，从而被设置在显示表面130和用户的相应的眼睛132之间。在这种配置中，每个小透镜126将显示表面130的相应区域聚焦到眼睛的瞳孔134上，每个这样的区域至少部分地与一个或多个相邻区域重叠。因此，在这样的计算显示配置中，当在显示面板118的显示表面130上显示元素图像122的阵列120，然后由眼睛132通过小透镜阵列124观察时，用户将元素图像122的阵列120感知为场景的单个图像。因此，当对用户的左眼和右眼并行执行该过程并在其间实现适当的视差时，结果是向用户呈现自由立体三维(3d)成像，具有相对宽的fov和通常由这类计算显示器提供的浅形状因子。

同样如图1所示，渲染组件104包括一组一个或多个处理器，诸如所示的中央处理单元(cpu)136和图形处理单元(gpu)138,140，以及一个或多个存储组件，诸如系统存储器142，以存储由处理器136,138,140访问和执行的软件程序或其他可执行指令，以便操纵处理器136,138,140中的一个或多个来执行本文所述的各种任务。这样的软件程序包括例如渲染程序144，其包括如下所述的用于光场帧渲染过程的可执行指令，以及眼睛跟踪程序146，其包括如下文所述的，用于眼睛跟踪过程的可执行指令。

在操作中，渲染组件104从本地或远程内容源160接收渲染信息148，其中，渲染信息148表示图形数据、视频数据或表示作为要在显示子系统102处渲染和显示的成像的主题的对象或场景的其他数据。执行渲染程序144，cpu136使用渲染信息148来将绘图指令发送到gpu138,140，反过来，gpu138,140利用该绘图指令来使用多种公知的vr/ar计算/光场渲染处理中的任何一个，并行地渲染用于在左眼显示器110上显示的一系列光场帧151和用于在右眼显示器112上显示的一系列光场帧153。作为该渲染过程的一部分，cpu136可以从惯性管理单元(imu)154接收姿态信息150，由此姿态信息150代表显示子系统102的姿态，并且控制一对或多对光场帧151,153的渲染来从该姿态反映对象或场景的视点。

如下文详细所述，渲染组件104进一步可以使用来自眼睛跟踪组件106,108中的一个或两个的眼睛姿态信息来实现以下任一个或两个：在要被显示的光场帧内移位元素图像122的阵列120的位置；或缩放要被显示的光场帧的元素图像122的大小，从而有效地移位用于这样显示的光场帧的眼动范围的位置。为此，眼睛跟踪组件106,108可以分别包括一个或多个红外(ir)光源(在本文中称为“ir照明器”)以利用ir光照射相应的眼睛、将从相应眼睛反射回的ir光捕获为相应的眼睛图像(眼睛图像信息156)的一个或多个成像相机、将反射的ir光引导至成像相机的一个或多个反射镜、波导、分束器等，以及执行眼睛跟踪程序146，以便从捕获的眼睛图像确定相应眼睛的当前位置、当前方向或两者(在本文中单独或通称为“姿态”)的一个或多个处理器。可以使用多种公知的眼睛跟踪装置和技术中的任何一种作为眼睛跟踪组件106,108，以跟踪用户的一只或两只眼睛，在下文中，参考图5描述其示例。替选地，在下文中，参考图6至10，描述具有改进性能的眼睛跟踪组件106,108的光学组件的示例性配置。

在至少一个实施例中，近眼显示系统100可以将眼睛姿态确定为过去眼睛姿态、当前眼睛姿态或预测(未来的)眼睛姿态或其组合。特别地，对未来眼睛姿态的预测可以提供改进的性能或响应时间，并且可以实现多种眼动预测算法中的任何一个来预测未来眼睛姿态。此外，在一些情况下，眼睛跟踪组件106,108可以将场景信息(例如，要渲染的成像内的脸部位置或显著性启发法)用作用于眼睛姿态计算的用户眼睛的未来注视的预测的输入。这样，如本文中所使用的，术语“眼睛姿态”可以指先前的、当前的或预测的眼睛姿态或其一些组合。

在常规的基于计算显示的近眼系统中，在显示面板上显示的每个元素图像的位置是固定的(也就是说，元素图像的阵列的位置是固定的，并且对于所显示的每个光场帧也是如此)，这反过来导致用于计算显示的相应眼动范围的位置同样是固定的。结果，如果用户眼睛的位置或方向落在该固定眼动范围的边界之外，则诸如通过成像的剪裁或渐晕或通过失焦，通常会影响用户感知所显示的成像。

如本文所述，在至少一个实施例中，近眼显示系统100通过有效地“移位”眼动范围的位置以更紧密地对准用户眼睛的姿态来减轻非最佳用户眼睛姿态对眼动范围约束的影响。这通过使用眼睛跟踪组件106,108来跟踪用户的一只或两只眼睛以便确定用于要被显示的相应光场帧的一只或两只眼睛的姿态来实现。在确定姿态之后，然后，当被渲染的光场帧内的元素图像122被显示在相应的显示面板118上时，渲染组件104相对于默认位置，在相应的方向中移位被渲染的光场帧内的元素图像122的位置。相对于显示面板118的显示表面130的元素图像122的阵列120的该位移具有使阵列120的视角相对于小透镜阵列124移位的效果，因此具有使眼动范围的位置移位的效果。除了或代替移位元素图像的位置，渲染组件104可以响应于用户眼睛的姿态的z轴分量来缩放光场帧内的元素图像122的尺寸，以便无论眼睛姿态的z位置如何，都尝试在虚拟平面中保持所表示的成像的大小不变。以这种方式，可以动态调整眼动范围的位置，以更好地适应用户眼睛的姿态。

图2示出了根据一些实施例的近眼显示系统100的操作方法200，该方法用于渲染具有经调整的定位的光场帧以提供动态的眼动范围位置调整。为了便于理解，通过经常参考图3所示的示例性场景来描述方法200。方法200示出了用于渲染和显示用于左眼显示器110或右眼显示器112之一的光场帧的过程的一个迭代，因此，对显示器110,112中的每一个并行地重复执行所示的过程以在不同时间生成和显示用于每只眼睛的不同光场帧的流或序列，从而为用户提供3d、自由立体vr或ar体验。

对于要被生成和显示的光场帧，方法200从框202开始，其中，渲染组件104将要显示给用户的相应眼睛的图像内容识别为光场帧。在至少一个实施例中，渲染组件104接收表示来自各种姿态相关的传感器(诸如，陀螺仪、加速度计、磁力计、全球定位系统(gps)传感器等)的数据的imu信息152，并且由该imu信息150，确定用于将显示器110,112安装在用户眼睛附近的装置114(例如，hmd)的姿态。根据该姿态，执行渲染程序144的cpu136可以确定主场景或对象的相应当前视点，并且根据该视点以及被提供为渲染信息148的场景或对象的图形和空间描述来确定将对该姿态渲染的成像。

在框204处，执行眼睛跟踪程序146的cpu136确定用户的相应眼睛的姿态。如本文所述，可以使用多种眼睛跟踪技术中的任何一种来确定眼睛的姿态。通常，这样的技术包括捕获从眼睛的瞳孔和角膜反射的红外光的一个或多个图像。然后，眼睛跟踪程序146可以操纵cpu136或gpu138,140以基于瞳孔反射或角膜反射之一或两者的相应位置来分析图像以确定眼睛的姿态。此外，瞳孔相对于角膜的方向又可以用来确定眼睛的定向(即，眼睛的凝视方向)。应当注意到，尽管在图2中示出了作为框202之后的框204，但是框204的过程可以在框202之前、期间或之后执行。

在确定了用户眼睛的姿态的情况下，在框206处，渲染程序144基于用户眼睛的姿态来操纵cpu136以确定位移矢量，在本文中被表示为“sv_elem”。如上所述，位移矢量sv_elem表示要应用于要被渲染的光场帧内的元素图像的位置的位移，以补偿用户眼睛姿态的相应位移。特别地，由位移矢量表示的补偿性位移旨在实际上将计算显示器的眼动范围置于眼睛在其姿态处的周围，从而使眼睛在由眼动范围表示的区域中相对居中。即，位移矢量用来动态地移位眼动范围以匹配眼睛的姿态。

在至少一个实施例中，位移矢量sv_elem的计算是基于用户眼睛的默认姿态和参考显示表面130的元素图像122的阵列120的相应默认位置的假设或规范。为了说明，参考由图3的截面图300示出的示例性场景，可以将用户眼睛304相对于相应的显示面板118的默认姿态302设置或定义为相对于显示表面130，在xy平面上居中(即，眼睛304的视轴与显示表面130的中心轴306对齐)并且沿z轴，位于与显示表面130或小透镜阵列124的假定或默认距离处。在眼睛304处于该默认姿态302的情况下，光场帧的元素图像122的阵列120的默认位置同样可以被定义为相对于显示表面130居中。为了说明，在截面图300中，光场帧由3×3的元素图像的阵列组成，因此截面视图300中呈现的三个元素图像由显示面板118的区域308、309、310表示，并且当眼睛304处于默认姿态302(在该示例中，在距小透镜阵列124的指定距离除沿轴306居中)时，这些区域308、309、310具有以中心轴306为中心的所示的默认位置312。

通过该示例性3×3元素图像配置(以及相应的3x3小透镜阵列配置)，相应的眼动范围具有在由垂直线314表示的、平行于显示表面130的平面中的尺寸。也就是说，只要将眼睛304定位在距显示表面130相同距离处的姿态316和姿态318之间，用户应当具有在区域309处显示的元素图像的未被剪裁或未被遮挡的视野。然而，图3图示的示例性场景放大了眼动范围相对于显示面板118的尺寸。在具有远远更多的元素图像、远远更多的小透镜以及眼睛距显示面板更大距离的典型配置中，眼动范围很可能相对于显示面板118要小得多，使得即使用户ipd微小移动或偏离默认ipd范围也可能导致用户眼睛落在眼动范围之外，由此影响正在显示的光场帧的用户的视野。

通过眼睛304的该默认姿态302和如此定义或以其他方式设置的光场帧的相应默认位置312，渲染组件104可以相对于默认位置312并且基于由眼睛304的姿态表示的、与默认姿态302的变化来确定位移矢量sv_elem。为了说明，截面图300示出了示例性场景，其中，眼睛跟踪组件106已经跟踪了眼睛304，并且在框204处确定其姿态处于位置320处，这表示从以中心轴306为中心的默认姿态302的向上的位移(该位移由箭头322表示)。为了补偿眼睛304的位置的这种向上位移，在框206处，渲染组件104确定在相反方向上的，即在图3的向下方向的补偿位移矢量sv_elem(由箭头324表示)。

在至少一个实施例中，渲染组件104基于下述表达式来确定位移矢量sv_elem：

sv_elem＝-eye_shift×(f_a/d_er)

其中，sv_elem表示位移矢量，eye_shift表示以矢量形式的眼睛姿态位移，f_a表示小透镜126的焦距(即显示表面1308与小透镜126的平面之间的距离)，d_er代表出瞳距离(即小透镜126的平面和眼睛304之间的距离)。注意，在眼睛304处于默认姿态的情况下，项eye_shift将为零，因此位移矢量sv_elem同样将为零(即，无移位)。注意，尽管以上描述针对的是使所有元素图像均位移相同的程度或量的实施方式，但是在其他实施方式中，元素图像的位置的位移在元素图像之间可以不同；也就是说，不同的元素图像可以具有不同的位置位移，诸如以适应不同的视角位移(例如，视差位移)。

在一些情况下，眼睛姿态从默认姿态起的位移可以包括z方向上的位移。在这样的情况下，在框206处，渲染组件104还确定缩放(或放大)量以应用于要被渲染的光场帧的元素图像。为了说明，可以通过下述表达式确定x_elem，其表示要在x维度(x＝x或y)上的要被渲染的元素图像的大小：

x_elem＝d_a×(1+f_a/d_er)

回到图2，通过所确定的位移矢量sv_elem以及所确定的元素图像的缩放，适当时，在框208处，渲染程序144操纵cpu136以指示gpu138,140中的相应一个使用在框202处识别的图像内容，通过阵列120渲染光场帧，由此光场帧包括元素图像的阵列。作为该过程的一部分，cpu136将位移矢量sv_elem和要应用于元素图像的尺寸的任何缩放的指示提供给gpu，并且指示gpu渲染光场帧，使得元素图像相对于帧内的默认位置移位该位移矢量sv_elem并且根据所提供的缩放信息(如果有)进行缩放。因此，gpu利用移位和/或缩放的元素图像的阵列来渲染光场帧，并且在框210处，gpu将光场帧提供给计算显示器110、112中的相应一个，以显示给用户眼睛304。

为了说明，再次转到图3，当gpu实现由箭头324表示的位移矢量sv_elem时，所得的元素图像的阵列相对于该帧或显示表面130向下移位至位移位置326，使得在移位的部分308',309'和310'处显示截面图300中所示的三个元素图像300。因此，所得到的眼动范围(由垂直线328表示)实际上相对于在默认姿态302处呈现的眼动范围向上移位，使得其通常以眼睛304的姿态320居中，从而使眼睛304能够在姿态330和姿态332之间的任何位置处移动，而没有所显示的成像的渐晕或其他遮挡。注意，姿态330在原始眼动范围的外部，将意识到，经由所显示的光场帧的元素图像的补偿移位的眼动范围的这种动态移位允许比利用固定的眼动范围可实现的其他方式，更大的眼睛位置和定向的变化。

图4示出了根据一些实施例，所显示的光场的元素图像的另外的示例性补偿移位，以便于动态眼动范围移位。如视图402所示，眼睛404的姿态相对于显示面板118处于默认姿态，因此，元素图像408的阵列406被渲染在光场帧内的默认位置处。然而，如视图410所示，眼睛404的姿态向默认姿态的右侧的位移导致阵列406的位置在光场帧内，到默认位置的左侧的互补位移。同样地，如视图412所示，眼睛404的姿态向上移位导致阵列406在光场帧内，从默认位置向下互补位移。眼睛304的姿态的位移不限于在单个主方向上的位移，也不是阵列406的位置的相应位移。例如，视图414示出了眼睛的姿态从默认姿态向右和向下的位移导致阵列406的位置在光场帧内向上和向左的补偿位移。响应于眼睛404沿z轴从默认位置的移动，阵列406的位置的这些位移还可以伴随阵列内的元素图像408的放大或其他缩放。

注意，因为所述的动态眼动范围过程导致取决于用户眼睛的姿态的在近眼光场帧内的元素图像的阵列120的位移，所以近眼光场帧通常利用在其默认、或居中位置中，围绕阵列120的小缓冲区，以便允许阵列120的位置在各种方向中的任何方向中位移而不会剪切元素图像。在给定小透镜126的放大倍数的情况下，该缓冲区通常相对适度，并且通常仅构成整个显示表面130的很小一部分。可替选地，在其他实施例中，可以排除缓冲区并且当实现阵列120的位置的移位时，可以允许剪切前缘上的元素图像。

此外，除了或代替眼睛位置的变化之外，眼睛定向的变化可以触发元素图像的位置的相应位移。由于本文中设想的近眼光场显示器的类型通常对凝视方向不敏感，因此可以以与本文中关于眼睛位置的变化所述的相同方式来处理眼睛定向的变化。即，本文所述的动态眼动范围移位过程可以有效地应用于眼睛姿态的任何方面(即，眼睛定向、眼睛位置或其组合)。

如上所述，本文所述的动态眼动范围移位过程利用眼睛跟踪组件(例如，眼睛跟踪组件106,108)来确定相应眼睛的姿态。该眼睛跟踪组件通常包括照明眼睛的一个或多个ir照明器、捕获来自眼睛的ir反射的成像的成像相机、将从眼睛反射的ir光引导至成像相机的一个或多个透镜、波导或其他光学元件，以及执行软件程序来分析捕获的成像的一个或多个处理器。

图5示出了可以用作近眼显示系统100中的眼睛跟踪组件的眼睛跟踪组件的光学组件的常规配置。如截面图500所示，在该常规方法中，ir照明器502被设置在小透镜阵列124的一端的相应的小透镜阵列124处或与其附近，而包括成像相机506和一个或多个透镜508或其他光学元件的图像捕获组件504被设置在小透镜阵列的另一端，使得相对于如通过小透镜阵列124所看到的显示面板118，ir照明器502和图像捕获组件504不在眼睛510的fov之内，因此不干扰观看显示面板118。在操作中，ir照明器502用ir光照射眼睛510，并且该ir光从眼睛510的反射被图像捕获组件504捕获为一个或多个图像。然而，图像捕获组件504的位置使图像捕获组件504处于相对于眼睛510和ir反射成斜角，这对于任何如此捕获的图像的眼睛跟踪分析都是一个挑战。该问题的一种典型解决方案是施加最小的出瞳距离，以减小该斜角，但这会导致比其他方式所需的更厚的形状因子，因此可能会损害用户对显示系统的享受。

图6示出了根据一些实施例的可以在近眼显示系统100中使用的眼睛跟踪组件的光学组件的改进配置。如图6的截面图600所示，在该配置中，一个或多个ir照明器，诸如ir照明器602,604，被设置在小透镜阵列124的小透镜126之间，使得从其发出的ir光以较小的斜角落在眼睛610上。此外，图6的配置不是试图从眼睛610直接捕获反射的ir光，而是采用设置在微透镜阵列125和显示面板118之间的平坦或弯曲的反射元件608(其可以包括ir反射器/反射镜或分束器)。包括成像相机614和一个或多个透镜616或其他光学元件的图像捕获组件612聚焦在反射元件608上。在该方法中，从眼睛610反射的ir光被小透镜阵列124的一个或多个相邻小透镜126聚焦到反射元件608上，反射元件608再将该入射ir光反射到图像捕获组件612以捕获为一个或多个图像。因此，在该方法中，以比在图5所示的传统配置中捕获的更小的斜角来获得用于成像的捕获的ir光，因此有助于更精确的眼睛跟踪，同时将图像捕获组件612保持在用户视觉的外围。注意，虽然在图6的示例中图示了单个图像捕获组件612，但在其他实施例中，处于小透镜阵列124的外围处的多个图像捕获组件612可以被用来从不同的视角捕获眼睛610的反射ir图像，以提高眼睛跟踪的准确性。

将意识到，反射元件608在眼睛610的fov内。但是，由于其被设置在显示面板118和小透镜阵列124之间(即，比小透镜126的焦距更近)，因此反射元件608将不在眼睛610的聚焦范围内。然而，反射元件608将遮挡被设置在反射元件608后面的一个或多个元素图像的眼睛的视野。但是，如下文参考图9更详细所述，因为计算显示实际上是重叠投影仪的阵列，所以可以使用未遮挡的重叠投影仪的强度来计算上补偿被遮挡的元素图像。

图7示出了根据一些实施例的可以在近眼显示系统100中使用的眼睛跟踪组件的光学组件的另一种改进的配置。如截面图700所示，在该配置中，一个或多个ir照明器，诸如ir照明器702、704，被定位在小透镜阵列124的小透镜126之间，使得从那里发出的ir光以较小的斜角落在眼睛710上。此外，图7的配置不是将从眼睛710反射的ir光重定向到外围以用于图像捕获，而是将图像捕获组件706设置在小透镜阵列124和显示面板118之间，其中，包括成像相机708和一个或多个透镜712或其他光学元件的图像捕获组件706朝向眼睛710聚焦。在该方法中，从眼睛610反射的ir光被小透镜阵列124的中间小透镜126经由图像捕获组件的一个或多个光学元件直接聚焦在成像相机708上(即，没有反射)。因此，在该方法中，图像捕获组件708具有眼睛710的瞳孔和角膜的直角或锐角视图，这有助于高精确的眼睛跟踪。注意，尽管在图7的示例中图示了单个图像捕获组件706，但在其他实施例中，可以使用设置在小透镜阵列124和显示面板118之间的多个图像捕获组件706来从不同的视角捕获眼睛610的反射ir成像，以提高眼睛跟踪的准确性。此外，与图6的配置相同，成像相机组件706的存在虽然在眼睛710的聚焦之外，但是将遮挡成像相机组件706后面的元素图像。然而，由于重叠的投影仪效果，可以通过计算方法，有选择地增加一个或多个相邻元素图像的至少一部分的发光度，以补偿被遮挡的元素图像，如下文所述。

图8示出了对图7的配置的修改，其中，如截面图800所示，不是采用单个显示面板118，而是利用多个平铺的显示面板818来形成有效的较大显示面板。在该方法中，平铺的显示面板818是分开的，使得成像相机组件706位于显示面板818之间的间隙中，因此防止成像相机组件706从眼睛710的角度遮挡一个或多个元素图像。

图6-8所示的眼睛跟踪组件配置的优点在于提供了眼睛的瞳孔和角膜的较小倾斜或更直接的视点，因此便于提高眼睛跟踪精度。但是，这些配置还会在眼睛和显示面板之间放置元件，从而遮挡在显示面板上显示的一个或多个元素图像的眼睛的视野。渲染组件104可以通过借力近眼光场显示器(诸如本文设想的计算显示器)的重叠投影性质来补偿一个或多个遮挡的元素图像。

为了说明，图9图示了诸如用在近眼显示系统100中的那些计算显示器的截面图900。如该视图所示，小透镜阵列124的每个小透镜126用作到眼睛902上的单独“投影仪”，每个“投影仪”与一个或多个相邻投影仪重叠，从而由显示在显示面板118上的元素图像的阵列形成合成虚拟图像904。为了说明，小透镜126-1将相应的元素图像(由区域906表示)投影到虚拟图像904的区域914上，小透镜126-2将相应的元素图像(由区域907表示)投影到虚拟图像904的区域915上，以及小透镜126-3将相应的元素图像(由区域908表示)投影到虚拟图像904的区域916上。如由图9进一步所示，区域914和915在子区域917中重叠，区域916和916在子区域918中重叠，并且所有三个区域914、915、916在子区域919中重叠。

因此，假设在该示例中，由于设置在区域907和小透镜阵列124之间的图像捕获装置，位于显示面板118的区域907处的元素图像从眼睛902来看被遮挡，因此，一个或多个周围的元素图像可能计算上被增加，以补偿由区域907的被遮挡的元素图像造成的强度损失。例如，在所示平面中，区域906和908的元素图像的亮度可以被增加，与显示面板118的方向的其他平面上的其他相邻元素图像一样，以便在区域907处计算上补偿被遮挡的元素图像。注意，图9示出了具有仅具有紧邻的元素图像的重叠区域的简化示例。在许多实施方式中，除了紧邻被遮挡的元素图像的那些元素图像以外的元素图像可以具有与被遮挡的元素图像中的被遮挡的像素重叠的像素区域。因此，通常，对被遮挡的元素图像的计算补偿包括：识别被遮挡的元素图像中的哪些像素在周围的元素图像中被复制，然后将周围的元素图像内的复制(即，重叠的)像素的强度通过分数(n+1)/n进行缩放，其中，n表示共享该像素的元素图像的数量。

在一些实施例中，上述技术的某些方面可以由执行软件的处理系统的一个或多个处理器来实现。该软件包括在非瞬时计算机可读存储介质上存储或以其他方式有形体现的一个或多个可执行指令集。软件可以包括指令和某些数据，这些指令和数据在由一个或多个处理器执行时，操纵一个或多个处理器以执行上述技术的一个或多个方面。非瞬时计算机可读存储介质可以包括例如磁性或光盘存储设备、诸如闪存的固态存储设备、高速缓存、随机存取存储器(ram)或其他非易失性存储设备等。存储在非瞬时计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码或可由一个或多个处理器解释或以其他方式执行的其他指令格式。

计算机可读存储介质可以包括在使用期间，可由计算机系统访问以向计算机系统提供指令和/或数据的任何存储介质或存储介质的组合。这样的存储介质可以包括但不限于光学介质(例如，光盘(cd)、数字通用盘(dvd)、蓝光盘)、磁介质(例如，软盘、磁带或磁性硬盘)、易失性存储器(例如，随机存取存储器(ram)或高速缓存)、非易失性存储器(例如，只读存储器(rom)或闪存)或基于微机电系统(mems)的存储介质。计算机可读存储介质可以嵌入在计算系统(例如，系统ram或rom)中、固定附接到计算系统(例如，磁性硬盘)、可移动地附接到计算系统(例如，光盘或基于通用串行总线(usb)的闪存)，或者经由有线或无线网络(例如，网络可访问存储(nas))耦合到计算机系统。

注意，并非要求在一般性描述中描述的所有活动或元件，可以不要求特定活动或设备的一部分，并且除了所述的那些之外可以执行一个或多个其他活动或包括一个或多个其他元件。更进一步，列出活动的顺序不一定是执行它们的顺序。而且，已经参考具体实施例描述了这些概念。然而，本领域的普通技术人员认识到，在不脱离如在下述权利要求书中阐述的本公开的范围的情况下，可以进行各种改进和改变。因此，说明书和附图被认为是说明性的而不是限制性的，并且所有这样的改进意图被包括在本公开的范围内。

在上文中，参考具体实施例描述了益处、其他优点和问题的解决方案。然而，益处、优点或问题的解决方案以及会导致任何益处、优点或解决方案发生或变得更明显的任何特征都不应被解释为任何或所有权利要求的关键、必需或基本特征。此外，上文公开的具体实施例仅仅是示例性的，因为可以以受益于本文的教导，对本领域的技术人员显而易见的不同但等效的方式改进和实施所公开的主题。除了在下文的权利要求书中所述的以外，不旨在对本文所示的构造或设计的细节限制。因此，很明显，可以变更或修改上文公开的具体实施例，并且所有这些变型被认为在所公开的主题的范围内。因此，本文寻求的保护如在下文的权利要求中所述。