包括调制叠层的近眼显示系统的制作方法

本发明要求2016年12月8日提交的美国专利申请第15/236,101号的优先权，该申请以引用方式并入本文中。

本发明涉及一种近眼显示系统，并且更具体地涉及一种包括调制叠层的近眼显示系统。

背景技术：

近眼显示系统正变得越来越普遍。这类近眼显示系统试图向用户提供三维显示。在现有技术中，渲染多个焦平面的显示器利用机械运动，诸如齿轮或液体透镜。这类机构昂贵、缓慢且相对易碎。另一种显示多个焦距的现有技术方法使用多个镜子和透镜。

这种现有技术解决方案是大型、昂贵且缓慢的某种组合。液体透镜昂贵且缓慢，并且现有技术的分束器很大。这使得它们难以使用，并且对于尺寸或成本受限的系统，尤其是近眼显示系统无用。

附图说明

图1是近眼显示系统(ned)的一个实施例的图示，其中可以使用本发明。

图2a是近眼显示系统的一个实施例的方框图。

图2b是投影组件的一个实施例的方框图。

图3a和图3b是近眼显示系统中的数字光路长度调制器的一个实施例的图。

图3c是示出焦距和共轭比之间的关系的光学图。

图4是包括多个数字光路长度调制器的调制叠层的一个实施例的方框图。

图5a示出了使用ople的效果的一个实施例，其中光具有第一偏振。

图5b示出了使用图5a的ople的效果的一个实施例，其中光具有第二偏振。

图5c示出了使用自对准ople的效果的一个实施例，其中光具有第二偏振。

图5d示出了光路扩展的示例以及对虚拟物距的影响。

图5e示出了两个焦平面中的图像元素的示例。

图6是使用包括多个虚拟物距的近眼显示系统的一个实施例的流程图。

图7是使用具有光路长度的空间调整的近眼显示系统的一个实施例的流程图。

图8是使用具有光路长度的时间顺序调整的近眼显示系统的一个实施例的流程图。

图9是基于辅助数据使用具有光路长度的可变调整的近眼显示系统的一个实施例的流程图。

图10是使用眼睛跟踪用于反馈的动态焦平面的一个实施例的流程图。

具体实施方式

描述了一种利用调制叠层的近眼显示系统。调制叠层包括一个或多个数字光路长度调制器，以调整光的路径长度。数字光路长度调制器可用于创建两个焦平面。在一个实施例中，使用具有多个数字光路长度调制器的调制叠层，可以增加焦平面的数量。创建其中重叠、聚焦和聚散的3d标记匹配的显示提供了构建能够满足人类视觉的生理要求的系统的能力。这产生了比目前可能的更好质量的3d显示，并且可以防止与3d显示相关的不适。

以下对本发明实施例的具体实施方式参考了附图。附图示出了实践本发明的各种实施例。这些实施例的描述足够详细，以使本领域技术人员能够实施本发明。本领域技术人员理解，可以利用其它实施例，并且可以在不脱离本发明的范围的情况下进行逻辑、机械、电气、功能和其它改变。以下具体实施方式不应被视为具有限制意义，并且本发明的范围仅由所附权利要求限定。

图1是近眼显示系统的一个实施例的图示，其中可以使用本发明。在一个实施例中，近眼显示系统包括头戴式显示器，其包括用于用户的一只或两只眼睛的显示器。在一个实施例中，近眼显示系统是安装在另一设备中的显示器，诸如相机、显微镜显示器、显微镜中的焦点辅助、望远镜、数字示波器、医疗显示系统、步枪瞄准器、测距仪等。在一个实施例中，近眼显示系统与扬声器系统耦合以使得能够播放诸如电影的视听输出。近眼显示系统可以提供不透明显示器、部分透明显示器和/或透明显示器。近眼显示系统可以提供增强现实和/或虚拟现实显示器。

图2a是近眼显示系统的一个实施例的方框图。在一个实施例中，近眼显示系统200包括显示子系统205、音频子系统254、处理器250、存储器252和任选的辅助数据系统260。显示子系统205生成图像数据。存储器252可以是缓冲存储器，使得近眼显示系统200能够流式传输内容。存储器252还可以存储用于显示的图像和视频数据。i/o系统256使得图像、音频、视频、vr或其它内容可从其它源获得(例如，允许从各种源下载或流式传输内容)。

在一个实施例中，显示子系统205包括图像源210和投影组件220。在一个实施例中，图像源210包括光源217，在一个实施例中，该光源是空间光调制器(slm)。在一个实施例中，图像源210还包括数字校正系统215，以校正光源217的输出，以解决投影组件220中的失真。在一个实施例中，光源217可以是真实图像，在这种情况下，光源217在系统外部，并且没有数字校正。在一个实施例中，ned200可以用于虚拟现实(数字图像源)、增强现实(真实和数字图像源的组合)和现实(真实图像源)中的一个或多个。

在一个实施例中，投影组件220包括偏振器225。偏振器225穿过具有特定偏振的光。

投影组件220包括调制叠层230。调制叠层230包括一个或多个数字光路长度调制器235、237。数字光路长度调制器235、237基于光路的偏振改变光路长度。光。在一个实施例中，偏振器225可以位于调制叠层230之后。

成像组件240用于向用户显示图像。在一个实施例中，显示子系统205可以包括附加的机械和光学元件，其可以提供图像的校正或改变。

该系统可以包括双目元件显示子系统207。在一个实施例中，双目元件显示子系统207可以仅包括成像组件，而图像源210、偏振器225和调制叠层230可以在显示子系统205和双目元件显示子系统207之间共享。在另一个实施例中，双目元件显示子系统207可以包括更多元件，包括单独的偏振器、调制叠层和图像源中的一个或多个。

在一个实施例中，系统可以从辅助数据系统260接收数据。辅助数据系统可以提供用于选择焦距的信息。如上所述，调制叠层230可以在各种虚拟物距处创建图像元素的感知。辅助数据系统260可用于基于各种因素选择虚拟物距。

一个辅助数据系统260元件是眼睛跟踪机构265。眼睛跟踪机构265跟踪用户眼睛的注视向量。在一个实施例中，系统可以使用眼睛跟踪机构265基于用户眼睛看的位置将图像元素放置在一个或多个所选位置中。在一个实施例中，眼睛跟踪机构265是用于感测从眼睛反射的光的红外光学传感器或相机。其它技术可用于眼睛跟踪。眼睛跟踪机构265可以跟踪一只或两只眼睛。

环境反馈系统275利用传感器从外部环境获得数据。例如，环境反馈系统275可以识别墙壁或窗口的位置或其它目标位置或对象，因此由显示子系统205显示的数据可以具有适合于该目标位置的虚拟物距。环境反馈系统275可以是范围传感器、相机或其它系统。

基于内容数据的焦点选择280使系统能够基于正在显示的内容选择性地选择虚拟物距。例如，系统可以选择性地选择图像的一部分用于聚焦。

用户输入系统285基于头部跟踪、手势、语音控制和其它类型的反馈或输入系统实现焦点选择。这类用户输入系统285可以包括视频游戏控制器、麦克风、相机、惯性测量传感器和用于检测用户输入的其它传感器。

在一个实施例中，生物识别系统270还可以用于检测用户的状态，包括用户的身份、情绪状态等。在一个实施例中，生物识别系统270可以用于检测用户的视觉校正，并基于视觉校正提供调整。

还可以向系统提供其它控制数据287。来自辅助数据系统260的任何这些数据可用于调整一个或多个图像元素的虚拟物距。在一个实施例中，除了辅助数据系统260之外，系统还可以接受手动调整262。在一个实施例中，手动调整可以用于校正用户的光学问题，其为用户设置基线。在一个实施例中，存储手动调整，使得用户可以具有定制设置，如果共享近眼显示系统，则这可能是有益的。

在一个实施例中，近眼显示器200可以提供深度混合。在一个实施例中，系统200使得能够在使用调制叠层230创建的焦距之间进行深度混合。在一个实施例中，深度混合使用相邻平面之间的像素值的加权。这创建了连续深度的外观。在一个实施例中，加权可以是线性加权。在一个实施例中，可以使用非线性优化技术。在一个实施例中，图像源210调整输出的像素值，以创建这种深度混合。

图2b是投影组件290的一个实施例的方框图。在一个实施例中，投影组件290包括多个数字光路长度调制器(293、295)以及多个中间光学元件(292、294、296、297)，其一起形成更大的调制叠层291。在一个实施例中，真实系统中的投影组件可以包括6-30个元件，包括透镜、镜子、孔等，称为中间光学器件。在一个实施例中，中间光学器件可以散布有数字光路长度调制器。在一个实施例中，它们可以位于该组数字光路长度调制器之前和/或之后。在一个实施例中，偏振滤光器299可以位于更大调制叠层291中的299a之前或299b之后。

在一个实施例中，投影组件290可以校正光学系统的色差和其它不规则性。

图3a和图3b是包括调制叠层的近眼显示器(ned)系统的一个实施例的图。在一个实施例中，光调制器310输出偏振光，状态1和状态2偏振光。偏振滤光器320去除状态1偏振光，并且仅使状态2偏振光通过。

调制叠层355包括一个或多个数字光路长度调制器350。为简单起见，这里的图示包括单个数字光路长度调制器350。数字光路调制器350包括偏振调制器330，其可以旋转光的偏振，以及光学光路扩展器(ople)340，其基于光的偏振选择性地扩展光路长度。

图3a中的偏振调制器330“关闭”，使状态2偏振光通过。在该背景下，术语“接通”是指偏振调制器330改变光的偏振的设置，而术语“关闭”是指偏振调制器330不改变光的偏振的设置。

ople340具有多个偏振敏感反射元件，其反射状态1偏振光，同时使状态2偏振光通过。这里，状态2偏振光直接被透射。在一个实施例中，输出被传输到近眼显示器(ned)投影光学器件360。虽然未示出，但是在该系统中可以包括附加的光学元件，包括透镜、校正系统等。

图3b是图3a的近眼显示系统的图，其中偏振调制器“接通”。这里，再次，偏振滤光器仅使状态2偏振光通过。然而，这里，偏振调制器330调制光，并输出状态1偏振光。状态1偏振光被ople340的偏振敏感反射元件反射。因此，该光通过了比具有状态2偏振的光更长的光路，其在没有反射的情况下通过。

图3a和图3b的比较示出状态1偏振光具有比状态2偏振光更长的光路。以这种方式，数字光路长度调制器350可以改变光路长度。虽然这里仅示出了单个数字光路长度调制器350，但是可以堆叠多个数字光路长度调制器350以提供更大数量的光路长度。

图3a和图3b示出了时间顺序实施例，其中进入数字光路长度调制器350的所有光具有一个偏振，并且被偏振调制器330调制或不调制。在该示例中，系统及时在图3a和图3b所示的状态之间切换。在一个实施例中，偏振调制器330可以选择性地调制子组光的偏振。在一个实施例中，调制可以基于位置、时间、颜色、波长和任选的其它可微分因素。

图3c示出了简单光学系统的一个实施例，以示出焦距和共轭比之间的关系。共轭比是沿着透镜或镜子主轴的物距o与图像距离i的比率。对于透镜焦点处的物体，共轭比率是无限的。焦距和共轭比的组合确定图像的虚拟物距。

图4示出了包括三个数字光路长度调制器的调制叠层400的一个实施例。每个数字光路长度调制器410、430、450包括偏振调制器和ople。在该示例中，ople420、440中的两个是自对准ople。

自对准ople包括两个调整反射光的空间位移的板。自对准ople420可用于在空间上重新对准反射的和通过的光。在一个实施例中，两个板匹配。在一个实施例中，它们可以通过具有相同厚度t2和镜像偏振敏感反射元件来匹配。在一个实施例中，两个板可以通过具有特定厚度的板中的一个创建的空间位移来匹配，并且偏振敏感反射元件的角度由具有不同厚度和/或角度的第二板匹配，这是设计成提供匹配的空间移位。在一个实施例中，ople的基材也可以改变，材料具有不同的折射率、双折射率和其它性质。

在各种实施例中，可以进行以下变型中的一个或多个：用于制造ople的材料、ople的有效厚度可以变化，偏振敏感反射元件的角度也可以变化。ople的有效厚度定义为构成ople的一个或多个板的累积厚度。因此，即使两个ople440、460中的各个板是相同的，ople440的有效厚度也不同于ople460的厚度。

利用所示出的该组三个不同ople，系统可以通过选择性地调制偏振来创建多达八(2³)个虚拟物距，如下：

图5a示出了使用ople510的效果的一个实施例，其中光源用于非反射光。光源是真实光源530。可以看出，在该示例中，对于未被偏振敏感反射元件反射的状态2偏振光，真实光源530和“虚拟”或感知光源在同样的位置。该图另外示出了对于真实光源530，光以锥形而不是直线光行进，如通常为简单起见所示。

图5b示出了使用图5a的ople510的效果的一个实施例，其中光源用于反射光。在该图示中，反射状态1偏振光。因此，用户感知的“虚拟光源”540在空间上从真实光源530移位。光路的延长使虚拟源垂直移位，而由反弹引起的光的移动使看得见的光源水平移位。在所示的示例中，虚拟光源向右和向后移位。虚拟光线示出用户的感知追踪光线，以感知虚拟光源。

图5c示出了使用具有光源用于反射光的自对准ople550的效果的一个实施例。可以看出，通过使用自对准ople550，虚拟光源540看起来离真实源580更远(例如，延长虚拟物距)，但不会移位。尽管图5c中所示的自对准ople550在板之间没有间隙，但是包括与附加光学元件的间隙的间隙可以继续提供这种自对准特征。此外，虽然所示的自对准ople550中的两个板是匹配的，但是对于偏振敏感反射元件它们不需要具有相同的厚度或角度，如上所述。

图5d示出了光扩展对感知图像的效果。该图示示出了并排的三个程度的光扩展以进行比较。第一个在没有任何延长的情况下使光通过，因此在显示器的焦平面处感知到图像。第二个延长了光路，使用户在不同的焦平面处感知到图像。第三个进一步延长了光路，使用户在第三焦平面处感知到虚拟图像。因此，通过控制光扩展的长度，系统可以在各种焦点处创建虚拟图像和图像元素。使用数字光路长度调制器，系统可以数字地调整光路，并选择性地将虚拟图像定位在各个虚拟物距处。

图5e示出了在多个虚拟物距处显示包括图像元素的单个帧的能力的一个实施例。在该示例中，在不同的虚拟物距处感知到焦平面1599a中的简笔画和焦平面2599b中的树，但它们是相同图像帧的一部分。这可以基于时间顺序或基于每个像素完成，这将在下面更详细地讨论。

图6是使用包括多个焦平面的近眼显示系统的一个实施例的流程图。该过程开始于方框610。

在方框615处，识别多个图像元素。在一个实施例中，图像包括至少两个元素。在另一实施例中，任何特定帧或图像可仅包括单个图像元素。

在方框620处，针对多个图像元素中的每个确定优选虚拟物距。虚拟物距是用户对图像元素的感知焦距。虚拟物距由焦距和共轭比定义。

在方框630处，一个或多个图像元素与一个或多个目标虚拟物距相关联。

在方框635处，如上所述，使用调制叠层针对所选虚拟物距创建适当的光路长度。在一个实施例中，调制可以是基于时间的和/或基于像素的。

在方框640处，调整输入以校正由调制叠层创建的任何伪像。如上所述，调制叠层可以创建非预期的横向移动。数字校正系统可以调整光源以校正这类效果。

在方框650处，ned显示系统用于在多个位置处显示图像元素。然后该过程结束。在真实系统中，只要正在使用ned，该过程就是连续的，其中每个帧或帧的子部分如上所述进行处理。

图7是使用具有光路长度的空间调整的近眼显示系统的一个实施例的流程图。在此背景下，空间调整意味着基于每个像素调整虚拟物距。尽管使用术语“每个像素”，但这不一定是指特定尺寸的像素，并且调制可以基于每个“区域”，其中该区域是正在显示的帧的一部分。对于一些帧，该区域可以是整个帧。调整的区域的大小可以在从1像素乘1像素区域到更大的区域，包括整个帧。然而，在通过的单个帧内，系统可以创建多个虚拟物距。该过程开始于方框710。

在方框720处，接收具有两种类型的偏振的偏振光。在一个实施例中，这是s型偏振和p型偏振。

在方框730处，使用偏振调制器基于每个像素设置偏振。这意味着，利用上面讨论的ople，基于每个像素，光采用更长或更短的路径。

在方框740处，光通过调制叠层。如上所述，一些或所有光的偏振在通过调制叠层时可以多次改变。这可以基于每个像素调整光的光路长度。

在方框750处，ned显示系统在多个虚拟物距处显示图像。该过程然后在方框770处结束。如上所述，在真实系统中，只要正在使用ned，该过程就是连续的，其中每个帧如上所述进行处理。

图8是使用具有光路长度的时间顺序调整的近眼显示系统的一个实施例的流程图。时间顺序调整利用多个子帧的快速显示，每个子帧包括特定虚拟物距处的一个或多个图像元素。多个子帧创建单个感知帧，其中多个图像元素处于多个虚拟距离处。该过程开始于方框810。

在方框820处，选择具有特定偏振的子帧。在一个实施例中，子帧在特定虚拟物距处定义图像元素。在一个实施例中，使用偏振滤光器。在一个实施例中，单个视觉帧由一个或多个子帧组成，其中每个子帧表示虚拟物距。

在方框830处，针对子帧调制偏振。使用偏振调制器对整个子帧调制偏振。

在方框840处，子帧通过调制叠层。当光通过调制叠层时，可以通过在整个子帧的ople之间使用偏振调制器改变偏振来设置光路的长度。

在方框850处，基于光通过调制叠层，在特定虚拟物距处显示子帧。

在方框860处，该过程确定是否存在作为该帧的一部分的任何更多子帧。如果是，则该过程返回到方框820以选择要添加到图像的下一个子帧。子帧以使得能够将子帧序列感知为单个帧的方式显示，包括多个虚拟物距。该过程然后在方框870处结束。如上所述，在真实系统中，只要正在使用ned，该过程就是连续的，其中每个子帧如上所述进行处理。

图9是基于辅助数据使用具有光路长度的可变调整的近眼显示系统的一个实施例的流程图。该过程开始于方框910。

在方框920处，接收辅助数据。辅助数据可以包括眼睛跟踪数据(示出用户的当前注视向量)、环境传感器(识别墙壁的位置或图像的其它表面)、关键对象识别(为用户选择要处于焦平面中的关键对象)、用户输入和可能改变图像元素或子帧的虚拟物距的选择的其它外部因素。

在方框930处，基于辅助数据识别一个或多个图像元素的虚拟物距。这可以是用户正在观看的地方，或者系统希望用户看的地方，例如外部对象的位置，该外部对象是用于增强现实型显示器的图像的适当焦点。

在方框940处，在指定的虚拟物距处显示图像元素。这是通过使图像元素通过调制叠层并调整光路长度以将图像元素放置在所需的虚拟物距处来完成的。

然后，该过程在方框950处结束。如上所述，在真实系统中，只要正在使用ned，该过程就是连续的。

图10是使用眼睛跟踪用于反馈的动态焦平面的一个实施例的流程图。该过程开始于方框1010。

在方框1015处，在各个焦平面处显示多个图像元素。在方框1020处，识别用户的注视向量。注视向量是用户注视的方向和角度。这是眼睛追踪系统的一个输出。

在方框1030处，该过程确定显示器是否需要屈光度调整。在一个实施例中，这可以基于用户输入或与用户的校准来完成。如果是，则在方框1035处，使用调制叠层调整虚拟物距，而不使用移动部件。在一个实施例中，该过程可以使用受控屈光度步长进行调整。

在方框1040处，该过程确定用户的注视向量是否指向“错误”位置。在此背景下，错误意味着注视向量指示用户的焦点不在他或她想要关注的帧的部分上。这可以基于眼睛跟踪或其它辅助信息来确定。如果是，则在方框1045处，调整一个或多个图像元素的虚拟物距并任选地调整位置。如上所述，这可以通过调整调制叠层来完成，使得那些图像元素被放置在不同的焦平面中。

在方框1050处，该过程基于辅助信息确定是否要改变焦点。如果是，则在方框1055处，系统选择性地聚焦或模糊图像部分。这可以通过实际模糊或通过将“模糊”部分放置在不同的图像平面中来完成，该图像平面远离用户的焦点以有效地模糊元素。

然后，该过程在方框1060处结束。如上所述，在真实系统中，只要正在使用ned，该过程就是连续的。另外，虽然流程图格式用于该图，但是各个元素不需要呈任何特定顺序，并且系统可以与这些潜在调整的子组同样良好地起作用。

以这种方式，近眼显示系统使用调制叠层提供高度可调整的多焦点显示。因为使用偏振调制器对光路长度进行数字控制，所以可以非常快速地完成虚拟物距的变化。这也使得系统能够通过相同的调制叠层使用焦平面的基于时间的改变。或者，系统可以使用基于像素的焦距选择或可变焦距。该系统可用于近眼显示系统，其范围从图1中所示的耳机配置显示系统，到相机取景器、步枪瞄准器、双筒望远镜和任何其它近眼显示型系统。

在前述说明书中，已经参考本发明的特定示例性实施例描述了本发明。然而，显而易见的是，在不脱离所附权利要求中阐述的本发明的更广泛的精神和范围的情况下，可以对其进行各种修改和改变。因此，说明书和附图应被视为说明性的而非限制性的。