用于显示图像的方法和系统与流程

概括而言，本发明涉及用于显示图像的系统和方法，更具体地，涉及诸如在增强现实、虚拟现实或混合现实应用中使用的头戴式显示器(hmd)和近眼显示器(ned)。

背景技术：

头戴式设备通常包括显示器。这些显示器被用在增强现实、虚拟现实或混合现实应用上。在这些应用中用户可见的屏幕大小通常称为视场(fov)。fov由所用显示器的物理尺寸和由用于将图像光投射到人类观察者的光瞳中的光学器件收集的光发射角来决定。通常，因为显示器尺寸以及从较大显示器收集光所需的光学器件的尺寸显著增大使得整个头戴式设备非常庞大、笨重并且在用户头上佩戴是不切实际的，所以对于传统显示技术而言提供较宽的视场(wfov)可能是麻烦的。此外，由于功耗也与显示器的尺寸有关，因此更宽的fov增加了功耗并且因而所需的电池尺寸变得更大，使得这种解决方案对于hmd应用而言不切实际。

图1(a)示出了现有技术的hmd架构100。该hmd架构100包括显示器110、光瞳形成光学器件120、组合器光学器件130和出射光瞳140。观看者的眼睛由150表示。显示器110发射具有有限发散角的光，如光线112、114和116所示。光瞳形成光学器件120通过将发散光线112、114和116分别准直成准直光束122、124和126，将图像从图像空间变换到角度空间。组合器光学器件130部分地反射这些准直光束以形成用于观察者眼睛150的出射光瞳140。在140处形成出射光瞳的准直光束张开等于观察者150的可见fov的角度。图1(b)示出了现有技术hmd架构的fov布局102。观察者170能够体验到仅从出射光瞳140看到的窄fov160。由于fov由所使用的显示器的物理尺寸和用于将图像光投射到人类观察者的光瞳中的光学器件收集的光发射角确定，因此为了提供较宽的视场，必须增加显示尺寸或发射锥角。因此，成本和尺寸限制了为了实现wfov而增加显示器的尺寸。较大的尺寸也使头戴式设备庞大笨重，并且因而不切实际。较大的尺寸也会对功耗和电池寿命产生不利影响。

因此，希望为hmd电子设备提供改进的显示器，该改进的显示器提供wfov而不会显着增加头戴式设备的尺寸和成本，同时仍然是低功耗。

技术实现要素：

根据本发明，与传统非转向显示器fov相比，传统显示器与以非常快速动态地转向所显示图像的fov的光束转向机构(bsm)的结合使用，以向用户提供了更有效的wfov。在显示投影模块内提供电致动的可切换转向机构(sm)，其将投影图像引导向镜头的不同部分。转向能够是一维、二维或三维。与传统投影的小固定fov图像相比，对于观察者来说转向允许所显示的图像具有更宽的视场(fov)。高速率地控制sm以使人类观察者无法区分。转向能够动态按需控制，以便节省显示系统消耗的电量。

在另一实施例中，以非常快的速率切换显示器，使得，例如，在单个帧时间中存在n个子帧。n个子帧中的每一个对应于fov的不同部分，以便将观察者的时间平均有效fov增加n倍。能够看出，如果微显示器在单个帧时间内以n个子帧运行，则fov能够增加n倍。能够利用各种机构来转向fov，这些机构包括但不限于基于检流、静电、电磁、压电和液晶技术。数量n将取决于为显示器选择的技术的速度，例如：大多数传统的硅基液晶(lcos)微显示器很慢，大约几十毫秒到几毫秒，而dlpmems微显示器能够以更快的速度，例如khz频率，来运行，并且由于他们的速度优势因而能够实现更宽的fov。硅基铁电液晶(flcos)设备尽管受到直流电压平衡要求的影响并且只能实现约50％的总可用占空比而不是dlp系统的100％，也能够具有快速帧速率。传统的hmd架构采用简单的光瞳形成光学方法。具有有限尺寸和光发射角的显示器与一组光瞳形成光学器件一起使用，以在用户眼睛前方形成出射光瞳。对用户可见的fov由基础光学扩展量方程控制，例如拉格朗日不变量或光学不变量。因此，为了实现宽fov，需要更大的显示面板。

为了克服实现宽fov对更大显示面板尺寸的要求，智能解决方案被用到小型传统尺寸的显示面板上。传统光学器件首先用于形成中间光瞳。bsm放置在该中间光瞳位置。bsm在时间序列中主动转向不同的角度方向。一组光瞳中继光学器件用于将转向的中间光瞳从bsm位置中继到用户的眼睛。

显示器能够从以下选项中选择：硅基液晶、微型机电系统、数字光处理数码微镜设备、微型有机发光二极管、微光二极管、微机电系统谐振扫描镜、或散装微机谐振扫描镜。

在一个实施例中，控制器被配置使得按1/tfr的帧速率向显示器提供图像数据。光瞳形成光学器件位于距所述显示器的第一距离处，其被配置为从所述显示器接收光学图像并形成位于距所述光瞳形成光学器件的第二距离处的中间光瞳。所述中间光瞳的半锥发散角为α1/2。bsm位于所述中间光瞳位置处，其以tfr/n的间隔将所述中间光瞳转向到围绕法向轴的n个离散角度方向，其中n是整数。利用这种动态波束转向实现的净fov是2nα1/2。所述bsm还连接到用于进行适当定时的控制器。bsm能够提供一维、二维或三维转向能力。组合器光学器件位于距所述bsm的第三距离处，其中组合器光学器件配置成接收所述转向光束并且将所述转向光束重定向到观看者的眼睛。观看者的眼睛位于距所述组合器光学器件的第四距离处。

可以使用适当的组合器光学器件(co)在真实世界场景上覆盖来自显示器的虚拟内容。该方法允许有效的wfov显示器。co可以包括以下中的至少一种：部分反射/透射镜、部分反射薄膜涂层、多层光学薄膜、反射偏振器、凹口反射偏振器、光栅反射偏振器、表面浮雕光栅、菱形直纹光栅、体积相位光栅、全息光栅、体积复用全息光栅、角度复用全息光栅、偏振复用全息光栅、液晶光栅、聚合液晶光栅或其任意组合。

光瞳形成光学器件的焦距等于第一距离和第二距离。这允许将图像转换成角度空间。

bsm能够是一维以上的光束转向机构，其包括用于控制深度维度的活塞式模拟相位。这将允许在距观看者一定距离处控制虚拟图像的位置。或者，也可以将可调焦点元件放置在中间光瞳位置以实现可变焦距的功能，可调焦点元件可以是电润湿透镜、柔性膜透镜或镜片或自适应光学膜镜。

组合器光学器件可以具有光学功率，该组合器光学器件的焦距等于所述第三距离的一半。这能够通过弯曲基板上的部分反射涂层来完成，该涂层非常薄并且在透射几何结构中不具有任何光学功率。

组合器光学器件可以设计成使得所述第三距离等于所述第四距离。第三和第四距离被设计为2f的经典1：1放大几何形状，其中f是co元件的焦距。

组合器光学器件还可以具有可切换的色调控制机构，以允许对通过co看到的现实世界场景进行调光。这允许控制场景的动态范围、相对亮度以及显示器所示的虚拟内容。

在另一实施例中，控制器与相机传感器、显示器和bsm相连。相机指向观看者的眼睛以检测观看者的凝视方向。一旦控制器根据相机信号确定观看者的凝视方向，它就向bsm发送转向命令，并向显示器发送适当方向的图像。一旦bsm按照控制器命令切换其位置，然后显示器将新的方向特定图像投影到co中，co将图像引导到观看者。所述实施例中的显示器可以是按时间顺序由多个彩色照明源照射的彩色顺序显示器。照明源可以包括红外光源，用于照亮观看者的眼睛来进行凝视方向检测。因此，组合器光学器件可以被设计成在包括红外线的宽波长带上作为组合器工作，使得它能够将来自照明源的红外光传送到观看者的眼睛。

附图说明

为了更全面地理解本发明及其优点，现结合附图参考以下描述，其中：

图1示出现有技术头的戴式显示器架构；

图2示出最新技术的头戴式显示器架构；

图3示出最新技术的头戴式显示器时序图；

图4示出最新技术的头戴式显示器系统框图；

图5示出最新技术的头戴式显示器凝视控制转向fov系统框图；

图6(a)示出传统的rgbled封装和图6(b)示出除了传统的rgb发射器芯片之外还包括irled的升级的led封装；

图7(a)示出传统的rggbled时序图和图7(b)示出升级的rgb-irled封装的时序图；

图8示出最新技术的头戴式显示器光学架构；和

图9示出最新技术的包括光驱动组合光学器件的头戴式显示器光学架构。

具体实施方式

本发明公开了一种头戴式显示器，所述hmd为用户的每只眼睛提供显示器模块，所述显示器模块包括以下元件：控制器、显示器、bsm、组合器光学器件。现在结合参考附图以说明性但非限制性的示例来描述本发明。

图2示出了我们最新技术的hmd架构200，以在不显著增加光学系统的成本和尺寸的情况下实现wfov。该hmd架构200包括显示器210、中间光瞳形成光学器件220、bsm230、中继光学器件240、组合器光学器件250和出射光瞳260。观看者的眼睛由270表示。中间光瞳形成光学器件220位于分别距显示器210距离201和距bsm230距离203处。这些距离被设计为等于中间光瞳形成光学器件220的焦距。显示器210发射具有有限发散角的光，如光线212、214和216所示。中间光瞳形成光学器件220通过将发散光线212、214和216分别准直成准直光束222、224和226，将图像从图像空间变换到角度空间。这些准直光线222、224和226的集合在中间光瞳位置处对着一个角度。bsm230将该中间光瞳转向到时域的离散角度方向，以bsm232和234的角度取向变化来表示。来自bsm230、232和234的出射光束分别由锥角为235、237和239的光线表示。中继光学器件240中继来自bsm230、232和234的中间光瞳，以为观察者眼睛270形成出射光瞳260。中继光学器件240可以具有简单的1：1放大倍率，使得距离205等于距离207和209的总和。中继光学器件240的焦距等于距离205的一半，从而实现典型的2f-2f配置。组合器光学器件250部分地反射这些准直光束以为观察者眼睛270形成出射光瞳260。观察者看到分别对应于bsm的三个不同位置230、232和234的时间序列fov280、282和284，。由于时间序列fov是以快速率进行，因此观察者感知到有效fov为286。注意，在此示例中，我们仅使用bsm的3个离散位置从仅282的有效fov提高到286的有效fov，该有效fov参考fov的大概3倍。在一个示例中，显示器210的帧速率为1/tfr，并且所述中间光瞳的半锥发散角为α1/2。bsm位于所述中间光瞳位置处，并在法向轴周围以tfr/n的间隔将所述中间光瞳转向n个离散角度方向，其中，n是整数。如锥角286所示，用这种动态光束转向实现的净宽fov为2nα1/2。尽管这里将n描述为公式中的整数，但实际上，必须允许相邻转向位置之间的一些重叠，以确保在这样的平铺图像平面上适当的图像拼接和亮度均匀性。

尽管，这些附图示出了光瞳转向方法而不是光瞳转向，人们可以将其作为眼罩转向显示器解决方案，其既可以用于更宽的眼罩尺寸也可用于动态按需转向眼罩，以提高效率和电池寿命。

图3(a)示出了最新技术的hmd时序图，示出了在单个帧时间390的期间bsm的角位置380、382和384。bsm在某个角位置的有限停留时间为392，有限的上升/下降建立时间为394。组合的3个角位置给出了386的净wfov，其由图3(b)中所示的锥角表示。观察者370在出射光瞳360处会看到386的有效wfov。注意，尽管在图3(a)和(b)中示出了重复的角度扫描图案，但是在不偏离本发明核心原理的情况下，许多其他扫描图案也是可能的。

图4示出了最新技术的hmd系统框图。hmd装置400包括控制器410，控制器410连接到显示器420和bsm440。控制器410向bsm440下发命令以反复地将中间光瞳转向到一些离散的角度位置。控制器410还向显示器420提供时域的适当的显示器图像数据，使得在适当的角度位置处显示适当的虚拟内容。一旦bsm440已经根据控制器命令切换其位置，则显示器420将新的方向上的特定图像投影到co450中，co450将其引导到观察者的光瞳460。以这种方式，这种装置400实现了时序拼接的wfovhmd架构。

作为替代方案，图5示出了具有凝视控制转向fov的最新技术的闭环hmd系统框图。hmd装置500由控制器510组成，控制器510与显示器520、bsm540和相机传感器570连接。控制器510从来自相机传感器570的捕获图像中收集观看者凝视方向的信息。然后它向bsm540发送命令，以观看者凝视的适当角度方向转动bsm540。控制器510还向显示器520发送命令，以在hmd上显示适当角度的特定虚拟图像内容。以这种方式，仅在观看者的凝视方向改变时才按需转向fov，从而实现这种闭环wfovhmd系统。因为在大多数情况下，观察者的凝视方向不会非常频繁地改变，所以这种闭环系统能够通过仅在需要时在期望方向上转向fov来节省大量功耗。由于人类观察者改变凝视的次数有限，这种闭环凝视控制的hmd系统因而能够节省大量功耗。由于fov与闭环中眼睛凝视的方向相关联，因此fov的按需转向产生了有效地更宽的fov并且仍然以相对低的功耗为代价。

帧顺序彩色显示器需要高的场速率来按时间顺序方式实现多个颜色照明。无机半导体发光二极管产生的红、绿、蓝三色照明是非常普遍的。图6(a)示出了具有红色led芯片610、两个绿色led芯片620和640以及蓝色led芯片630的传统rgbled封装600，而图6(b)示出了升级的led封装602，其除了包括传统的红色610、绿色620和蓝色630发光器芯片还包括irled650。在相同的半导体封装中包括irled芯片650可以进行非常紧凑的轴上明亮光瞳凝视跟踪方法。

图7(a)示出了传统的rggbled时序图700，图7(b)示出了升级后的rgb-irled封装时序图702。在图7(a)中，单帧时间710存在3个相等持续时间711的场，所述场表示红色712、绿色714和蓝色716强度(任意单位)。注意，能够改变照明强度730和持续时间711的乘积以对时间序列系统实现相同的净效果。在图7(b)中，单帧时间720现在有4个相等持续时间721的场，所述场代表红色722、绿色724、蓝色726和红外728强度(任意单位)。注意，能够改变照明强度740和持续时间721的乘积以对时间序列系统实现相同的净效果。尽管图7(a)和(b)的描述仅示出在任何给定时间打开用于照明的单色，但是同时交叠用于照明的包括红外光源的多种颜色是有可能的。为了在hmd系统中适当使用这种集成rgbirled封装，必须正确设计co和其余光学器件以实现同时凝视跟踪的能力。

图8示出了最新技术的hmd光学架构800，其包括在hmd中用于有效凝视检测(添加更多描述)的凝视跟踪相机890。

图9示出了最新技术的hmd光学架构900，为实现更加紧凑和有效的光学系统，其在hmd中包含了光驱动的组合器光学器件950。由于co950位于薄基板上，在传输模式下不会向现实场景提供任何光功率，但是它会给来自bsm的反射图像增加光功率，从而实现其作为中继镜头的功能。

在一个实施例中，环境光传感器(als)安装在hmd外部。als将环境光数据提供给控制器，控制器反过来能够改变虚拟显示器内容的亮度以使虚拟内容的亮度适合于真实场景，从而使两个场景自然地融合。

als还能够用于环境光明显增加到阈值以上的情况，环境亮度因此会掩盖虚拟显示内容的亮度。在这种情况时，能够减少虚拟显示器的比特位深度来降低功耗从而延长电池寿命。

在替换实施例中，als和控制器还连接到位于观察者眼睛前方的可变色调控制窗口。基于来自als的数据，能够改变该窗口的色调以提供在虚拟场景和真实场景之间的足够对比度。

在另一实施例中，co可以在时域里使其反射和传输从低值到高值主动切换。例如，为了达到虚拟现实的足够持久性所需持续时间，高反射将允许高反射率。而在虚拟显示器关闭期间，co切换到高透射率的模式，使得环境场景对于用户清晰可见。这种对传输和反射的动态控制方法提供了具有长电池寿命的非常高效的性能显示解决方案。

在一些应用中，期望屏蔽来自真实场景的可选择性元素以用虚拟内容来替换。类似技术被称为光学遮挡。在另一实施例中，通过巧妙使用偏振技术进行透视遮光提供了一种技术解决方案。来自场景的环境光首先沿优选方向进行线性偏振。然后来自环境场景的线性偏振光距观看者眼睛并朝向空间光调制器(slm)，该空间光调制器选择性地移除要被遮挡的物体。第一slm也会旋转真实场景的图像偏振方向。然后，另一slm添加虚拟内容来代替被遮挡的真实对象。两个slm具有正交的线性偏振光。这些正交线性偏振slm简单地使用反射偏振器连接，然后引入到观看者的眼睛。这种透视遮光使虚拟内容对观察者来说显得身临其境和逼真。

由于人眼在视网膜中具有径向降低的分辨率，因此期望产生一种具有径向寻址分辨率的用于中央凹形显示器的slm。这样的slm将在中央凹形处或凝视方向上具有高分辨率并且在距中央凹形处的径向距离处具有逐渐降低分辨率。观察者的眼睛可以被凝视跟踪来确定他们的凝视位置并相应地选择性地增加径向寻址的显示器的分辨率。在没有指向中央凹形的地方，能够通过将多个像素耦合到单个显示像素的亮度和色度值来抽取显示分辨率。径向区域能够被划分为当正好在中央凹形的中间位置处时，该区域显示分辨率是1弧分，当径向距离与中心凹形稍远时，例如：距中心凹形10度，分辨率为3弧分，另一个区域，例如：距中心凹形20度，会具有更低的角分辨率，例如6弧分。进一步远离中央凹的径向距离，例如距离中央凹中心>30度，分辨率为10弧分，这是视觉失明的法定界限。正如径向控制的分辨率slm，在不需要的地方通过抽取分辨率能够节省大量的功率。此外，还能够对要显示的场景中发生改变的区域进行时间寻址控制。这将允许进一步减少通信带宽并因此节省功耗从而延长电池使用寿命。

在另一实施例中，眼镜框架的各种位置可以设计用于光瞳形成光学器件和连接器，例如镜腿、鼻梁、眉毛等，以便以紧凑的方式折叠光学系统。

在另一实施例中，单个显示模块能够对左眼和右眼进行时间复用，以减小光学系统的尺寸、重量和成本。单个显示模块可以利用两组不同的照明源，通过无源偏振路由光学器件例如反射偏振器或体积相位光栅，在时域中将它们组合并分散到正确的眼睛。该模块，举例说，能够位于眼镜的鼻梁中。这将显著降低hmd的成本和重量。计算机电子设备可位于用户后脑勺，并且为了紧凑可以卡入眼镜到头戴式设备的臂中。

在另一实施例中，仅全息相slm和成像slm能够在空间上多路复用以用于宽fov解决方案。这能够形成3d图像，因为全息技术本身提供这一点。

权利要求书(按照条约第19条的修改)

1.一种电子装置，包括：

控制器，其以l/tfr的帧速率提供图像数据；

至少一个显示器，其包括：多个像素；数据线，其被配置为以电子格式接收输入图像；并且；所述多个像素被配置为以光学格式显示所述电子图像；并且所述显示器连接到所述控制器；

光瞳形成光学器件，其位于距所述显示器第一距离处，被配置为从所述显示器接收所述光学图像并形成位于距所述光瞳形成光学器件第二距离处的中间光瞳；所述中间光瞳具有α1/2的半锥发散角；

至少一个光束转向机构，其位于所述中间光瞳位置，在至少一个维度中以tfr/n的间隔将所述中间光瞳围绕法向轴转向到n个离散角度方向，其中n是整数；所述光束转向机构连接到所述控制器；以及

组合器光学器件，其位于距所述光束转向机构第三距离处，其中，所述组合器光学器件被配置成接收所述转向的光束并将所述转向的光束重定向到观看者的眼睛，其中，观看者的眼睛位于距所述组合器光学器件第四距离处，其中tfr是图像数据的单帧的时间周期。

2.根据权利要求1所述的电子装置，其中，所述显示器选自以下各项之一：硅基液晶、微型机电系统、数字光处理数码微镜设备、微型有机发光二极管、微光二极管或者微机电系统谐振扫描镜。

3.根据权利要求1所述的电子装置，其中，所述光瞳形成光学器件具有与第一距离和第二距离相等的焦距。

4.根据权利要求1所述的电子装置，其中，所述光束转向机构是至少一维光束转向机构。

5.根据权利要求1所述的电子装置，其中，所述光束转向机构是包括用于控制深度尺寸的活塞式模拟相位的多于一维的光束转向机构。

6.根据权利要求1所述的电子装置，其中，所述光束控制机构选自以下各项之一：液晶设备、硅基液晶、微机电系统、静电或电磁驱动镜、电流镜、压电弯管机或者声光调制器。

7.根据权利要求1所述的电子装置，其中，所述组合器光学器件包括以下各项中的至少一个：

部分反射/透射镜、部分反射薄膜涂层、多层光学薄膜、反射偏振器、凹口反射偏振器、光栅反射偏振器、表面浮雕光栅、菱形直纹光栅、体积相位光栅、全息光栅、体积复用全息光栅、角度复用全息光栅、偏振复用全息光栅、液晶光栅、聚合液晶光栅、或其任何组合。

8.根据权利要求1所述的电子装置，其中，所述组合器光学器件具有焦距等于所述第三距离的一半的光焦度。

9.权利要求8所述的组合器光学器件，其中，所述第三距离等于所述第四距离。

10.根据权利要求1所述的电子装置，其中，所述组合器光学器件具有可切换的色调控制机构。

11.根据权利要求1中所述的电子装置是头戴式显示器。

12.一种装置，包括：

控制器，其以帧速率提供图像数据；

显示器，其从所述控制器接收电子图像并以光学格式显示所述电子图像；

光瞳形成光学器件，其配置为从所述显示器接收所述光学图像并形成中间光瞳；

光束转向机构，其位于所述中间光瞳处，将所述显示的图像围绕法向轴转向至少一角度；

组合器光学器件，其被配置为接收所显示的图像并以模拟方式将所述图像重定向到观看者的眼睛，其中，观看者的眼睛位于距所述组合器光学器件一定距离处；以及

相机传感器，其指向观看者的眼睛；

其中，所述控制器电子耦合到所述相机和所述光束控制机构，所述控制器被配置为将所述光束控制机构重定向到由所述相机传感器检测到的观看者眼睛的凝视方向。

13.根据权利要求12所述的装置，包括位于所述光束转向机构和观看者眼睛之间的中继光学器件。

14.根据权利要求12所述的装置，其中，所述显示器是被多于三个的源照亮的彩色顺序照明显示器。

15.权利要求12中所述的彩色顺序照明显示器被多于三种颜色按时间顺序照亮。

16.根据权利要求12所述的装置，其中，所述组合器光学器件具有光焦度。

17.根据权利要求12所述的装置，其中，所述组合器光学器件至少部分地在400nm到980nm的波长范围反射光。

18.一种电子装置，包括：

控制器，其以l/tfr的帧速率提供图像数据；

至少一个显示器，其包括多个像素和数据线，所述数据线配置为以电子格式接收输入图像；

光瞳形成光学器件，其位于距所述显示器第一距离处，被配置为从所述显示器接收所述图像并形成位于距所述光瞳形成光学器件第二距离处的中间光瞳；

至少一个光束转向机构，其位于所述中间光瞳位置，在至少一个维度中将所述中间光瞳围绕法向轴转向到连续转向的角度方向；

组合器光学器件，其位于距所述光束转向机构第三距离处，其中，所述组合器光学器件被配置成接收所述转向的光束并将所述转向的光束重定向到观看者的眼睛，其中，观看者的眼睛位于距所述组合器光学器件第四距离处。

19.权利要求18所述的装置包括连接到所述控制器的相机传感器。

20.权利要求19所述的相机是单色相机传感器。