为系统确定图像的全息图的方法与流程

本公开涉及图像投影。更具体地，本公开涉及衍射结构，例如全息图或 相息图，以及确定例如计算或检索其的方法。一些实施例涉及基于眼睛跟踪 信息的实时全息图计算。一些实施例涉及虚像投影。一些实施例涉及实像的 投影。实施例涉及通过波导观察投影图像。一些实施例涉及诸如图片生成单 元的光引擎。一些实施例涉及平视显示器。

背景技术：

1、从物体散射的光包含振幅和相位信息。可以通过众所周知的干涉技术在 例如感光板上捕获该振幅和相位信息，以形成包括干涉条纹的全息记录或 “全息图”。可以通过用合适的光照射来重建全息图，以形成代表原始物体的 二维或三维全息重建或重放图像。

2、计算机生成的全息术可以在数值上模拟干涉过程。可以通过基于数学变 换比如菲涅耳或傅立叶变换的技术来计算计算机生成的全息图。这些类型的 全息图可被称为菲涅耳/傅立叶变换全息图或简称为菲涅耳/傅立叶全息图。 傅立叶全息图可被认为是物体的傅立叶域/平面表示或物体的频域/平面表示。 例如，还可以通过相干光线跟踪或点云技术来计算计算机生成的全息图。

3、可以在布置为调制入射光的振幅和/或相位的空间光调制器上对计算机 生成的全息图进行编码。例如，可以使用电可寻址液晶、光学可寻址液晶或 微镜来实现光调制。

4、空间光调制器通常包括多个单独可寻址像素，其也可被称为单元或元素。 光调制方案可以是二进制、多级或连续的。可替代地，该设备可以是连续的 (即不包括像素)，因此光调制可以在设备上是连续的。空间光调制器可以 是反射性的，这意味着调制光以反射输出。空间光调制器可以同样是透射性 的，这意味着调制光以透射输出。

5、使用这里描述的系统可以提供全息投影仪。例如，这种投影仪已经在平 视显示器“hud”以及光探测和测距“lidar”中得到应用。

技术实现思路

1、为了便于解释和说明，本公开和附图通常示出一维情况。然而，光学领 域的技术人员将理解，所描述和示出的概念可以二维扩展，以从二维全息图 提供二维图像。例如，虽然仅描述和示出了一维瞳孔扩展，但读者应该理解， 本公开延伸到二维瞳孔扩展—例如使用串联的两个一维瞳孔扩展器。

2、概括地说，本公开涉及图像投影。它涉及图像投影的方法和包括显示设 备的图像投影仪。本公开还涉及包括图像投影仪和观察系统的投影系统。本 公开同样适用于单目和双目观察系统。观察系统可以包括观察者的一只或多 只眼睛。观察系统包括具有光焦度的光学元件(例如人眼的晶状体)和观察平 面(例如人眼的视网膜)。投影仪可被称为“光引擎”。显示设备和使用显示设 备形成(或感知)的图像在空间上彼此分离。观察者在显示平面上形成或感知 图像。在一些实施例中，图像是虚拟图像，并且显示平面可被称为虚拟图像 平面。通过照射显示在显示设备上的衍射图案(例如全息图)来形成图像。本 公开还涉及提供(例如计算或确定)用于图像投影的衍射图案，并且涉及该衍 射图案。

3、显示设备包括像素。显示设备的像素衍射光。根据众所周知的光学原理， 最大衍射角的幅度取决于像素的大小(以及其他因素，比如光的波长)。

4、在实施例中，显示设备是空间光调制器，例如硅上液晶(“lcos”)空间光 调制器(slm)。光在衍射角范围内(例如从零到最大衍射角)从lcos向观察 实体/系统比如相机或眼睛传播。在一些实施例中，可以使用放大技术来增加 可用衍射角的范围，使其超过lcos的传统最大衍射角。

5、在实施例中，图像是真实图像。在其他实施例中，图像是由人眼(或多 只眼睛)感知的虚拟图像。投影系统或光引擎因此可以配置成使得观察者直 接看着显示设备。在这样的实施例中，用全息图编码的光直接传播到眼睛。 该光可被称为“空间调制光”或“全息光”。在这样的实施例中，在显示设 备和观察者之间的自由空间或屏幕或其他光接收表面上没有形成中间全息 重建。在这样的实施例中，眼睛的瞳孔可被认为是观察系统的入射孔径，眼 睛的视网膜可被认为是观察系统的观察平面。有时据说，在这种配置中，眼 睛的晶状体执行全息图到图像的转换或变换。

6、根据众所周知的光学原理，眼睛或其他观察实体/系统可以观察到的从显 示设备或观察窗传播的光的角度范围随着显示设备和观察实体之间的距离 而变化。例如，在1米的观察距离，来自lcos的仅小范围角度可以传播通 过眼睛的瞳孔，以在给定眼睛位置的视网膜上形成图像。从显示设备传播的 光线的角度范围决定了观察者“可见”的图像部分，该光线可以成功地传播通 过眼睛的瞳孔以在给定眼睛位置的视网膜上形成图像。换句话说，不是图像 的所有部分从观察平面上的任何一点都是可见的(例如诸如眼动盒的观察窗 口内的任何一个眼睛位置)。

7、在一些实施例中，观察者感知的图像是出现在显示设备上游的虚拟图像， 也就是说，观察者感知图像比显示设备离他们更远。因此，从概念上讲，可 以认为观察者正在通过“显示设备大小的窗口”观察虚拟图像，该窗口可以非 常小，例如直径为1cm，处于相对较大的距离，例如1米。并且用户将通过 他们眼睛的瞳孔观察显示设备大小的窗口，瞳孔也可以非常小。因此，在任 何给定时间，视场变小，并且能够看到的特定角度范围严重依赖于眼睛位置。

8、通常希望光学系统的物理尺寸较小—例如，在空间有限和/或不动产价值 较高的地方使用。然而，物理约束通常与功能限制相关。例如，在传统光学 系统中，使用小的显示设备通常与有限的视场(fov)相关，因此限制了图像 的可视性。瞳孔扩展器解决了如何增加视场的问题—即如何增加从显示设备 传播的光线的角度范围，并且该光线可以成功地传播通过眼睛的瞳孔以形成 图像。显示设备(相对而言)小，投影距离(相对而言)大。在一些实施例中， 投影距离比显示设备的入瞳和/或孔径的直径或宽度(即像素阵列的尺寸)大至少一个(比如至少两个)数量级。本公开涉及所谓的直视全息术，其中图像 的全息图而不是图像本身被传播到人眼。换句话说，观察者接收的光是根据 图像的全息图进行了空间调制的“全息光”。

9、在实施例中，瞳孔扩展器是波导瞳孔扩展器。本公开通常(但不排他地) 涉及非无限虚像距离，即近场虚像。

10、瞳孔扩展器增加了视场，因此增加了显示设备的全衍射角可以使用的最 大传播距离。瞳孔扩展器的使用还可以横向增大用户的眼盒，从而使得眼睛 能够发生一些运动，同时仍使得用户能够看到图像。在实施例中，瞳孔扩展 器是波导瞳孔扩展器。本公开总体涉及非无限虚像距离，即近场虚像。

11、在所附的独立权利要求中定义了本公开的各个方面。

12、本文公开了一种为包括显示设备和观察系统的系统确定图像的衍射结 构的方法。为其确定衍射结构的图像可以称为“目标”或“目标图像”。衍射结 构可以是全息图，术语“全息图”此后仅用作根据本公开的衍射结构的示例。 衍射结构可以是相位全息图、纯相位全息图或相息图。显示设备布置成显示 全息图。观察系统布置成通过瞳孔扩展器观察全息图。观察系统包括至少一 个入射瞳孔和传感器，并且可以在入射瞳孔和传感器之间具有透镜。瞳孔扩 展器提供了从显示设备到观察系统的多个光传播路径。

13、该方法包括第一至第五阶段。第一阶段包括确定在观察系统的入射瞳孔 处的第一复合光场。第一复合光场由来自显示设备的显示平面(这意味着代 之以称为“全息平面”，因为它是可以显示全息图的平面)的光沿着瞳孔扩展器 的至少一个光传播路径的传播产生。至少一个光传播路径可以包括光可以穿 过瞳孔扩展器的多个光传播路径中的单个(“第一”)光传播路径或多个光传播 路径。第一阶段还包括根据观察系统的入射瞳孔裁剪复合光场。例如，可以 根据入射瞳孔的大小、形状或位置中的至少一个来裁剪。第二阶段包括确定 在观察系统的传感器的传感器平面处的第二复合光场。第二复合光场由第一 复合光场的光从入射瞳孔通过观察系统的透镜到传感器的传播产生。第二阶 段还包括根据图像修改复合光场的振幅分量，其中第二复合光场是所述修改 的结果。第三阶段包括确定在入射瞳孔处的第三复合光场。第三复合光场由 第二复合光场的光从传感器平面反向传播通过透镜而产生。第三阶段还包括 根据入射瞳孔的尺寸、形状或位置中的至少一个来裁剪复合光场。第四阶段 包括在显示平面处(即在全息平面处)确定第四复合光场。第四复合光场由第 三复合光场的光沿着瞳孔扩展器的至少一个光传播的反向传播产生。第四阶 段还包括根据显示设备裁剪复合光场。全息图是从对应于/代表第四复合光场 的数据集中提取的。该数据集可被称为“第四数据集”。第一至第四步骤可以 迭代地重复。随着每次迭代，全息图会收敛，可能会改善，但会趋于平稳。 例如，当可从第四阶段提取的全息图被认为具有可接受的质量或者每次迭代 的变化率低于阈值或者分配的时间已经到期时，该方法可以停止。为了避免 疑问，提取的全息图是用于在显示设备上显示的全息图。

14、在实施例中，其中“至少一个光传播路径”包括多个光传播路径中的单个 (“第一”)光传播路径，光可以沿着其通过瞳孔扩展器，对于多个光传播路径 中的不同的第二光传播路径，可以重复第一到第四阶段。可以为每个光传播 路径提取特定于路径的全息图，并且可以组合对应于多个相应光传播路径的 多个全息图，以便形成用于在显示设备上显示的全息图。

15、全息图可以配置成输出多个通道的全息光，其中每个通道对应于将由观 察系统看到/感知的图像的不同的相应部分。可以相对于显示设备和观察系统 的入射瞳孔配置瞳孔扩展器，使得入射瞳孔接收的全息光的每个不同的相应 通道从瞳孔扩展器的输出表面(或“输出端口”)上的不同的相应传输点输出。 因此，由观察系统接收的每个通道将在瞳孔扩展器内经历不同的各自数量的 反射，并且将具有不同的各自光学传播路径。该方法可以包括执行上面详述 的第一至第四步骤，并且分别为每个通道输出各自的特定于通道的全息图。 该方法还可以包括将那些单独的特定于通道的全息图组合成组合/最终全息 图，其将包括将由观察系统看到/感知的整个图像(即整个视场)的全息图。

16、更广泛地，本文公开了一种计算图像的全息图的方法，该方法包括至少 一个步骤，该步骤包括根据观察系统的入射瞳孔进行裁剪以形成全息图，该 全息图在被照射时形成空间调制光，其中空间调制光的连续光通道对应于图 像的连续区域。连续的光通道可以由空间调制光的光线角度的连续范围来定 义。空间调制光的所有连续光通道对应于图像的连续区域，使得这些通道组 合起来提供整个图像的全息光。可以在显示设备和观察系统之间提供瞳孔扩 展器，该瞳孔扩展器布置成将每个通道引导到观察系统的入射孔径。每个通 道可被认为具有唯一的各自的中心轴线，其相对于显示设备例如相对于显示 设备的发光面上的中心点或另一参考点定义该通道的主要(或“核心”)行进方 向。空间调制光可被分成任意数量的连续光通道。在一些实施例中，光通道 是不重叠的。在其他实施例中，例如，在波导和观察者之间另外包括具有光 焦度的光组合器(例如车辆挡风玻璃)的实施例，一些光通道可以至少部分重 叠。本文公开的方法确定衍射结构，该衍射结构布置成将可由观察系统转换 的光空间调制成图像，其中该衍射结构配置成将光路由到多个全息图通道中， 每个全息图通道对应于图像的不同部分。

17、一个或多个通道的横截面积的尺寸和/或形状可以与观察系统的入射孔 径的尺寸和/或形状相对应。例如，如果入射孔径是人眼，通道的横截面可以 基本是椭圆形或卵形。在包括全息图计算的实施例中，计算过程可以包括根 据入射孔径的尺寸和/或形状和/或根据显示设备的尺寸和/或形状限制或裁 剪全息图。

18、为了避免疑问，由观察者形成或感知的图像是目标图像的全息再现。全 息重建由基于目标图像的全息图形成。在一些实施例中，从目标图像确定(例 如计算)全息图。

19、术语“反向传播”仅用于反映第三和第四阶段中的光传播方向与第一和 第二阶段中的不同或基本相反。在这方面，第一和第二阶段中的光传播可称 为“正向传播”。在一些实施例中，“正向传播”和“反向传播”是彼此的数学逆。

20、这里使用的术语“裁剪”指的是选择性地丢弃感兴趣的区域或范围之外 (例如光孔径之外)的信息(例如光场信息)的过程。在一些实施例中，“裁剪” 是一个数据处理步骤，包括丢弃孔径之外的数据点，或置零数据点，或简单 地忽略数据点。

21、这里提到了“复合光场”。术语“光场”仅仅表示在至少两个正交空间方向 (x和y)上具有有限尺寸的光图案。这里使用的“复数”一词仅仅表示光场中每 个点处的光可以由振幅值和相位值来定义，因此可以由复数或一对值来表示。 出于全息图计算的目的，复合光场可以是复数的二维阵列，其中复数定义光 场内多个离散位置处的光强和相位。根据本文公开的方法，复合光场在全息 平面和图像平面之间沿+z和-z方向向前和向后传播。可以使用波动光学领域 的技术人员熟悉的多种不同方法或数学变换中的任何一种来模拟或建模光 传播。

22、发明人设计了一种为相对小的显示设备和相对长距离的投影确定全息 图的方法，其中全息图被直接投影到观察系统，并且该方法能够实时实施。 显示设备的相对小的尺寸和相对长的投影距离需要瞳孔扩展器。发明人设计 的方法还解决了使用瞳孔扩展器引入的光学复杂性。该方法还允许图像内容 出现在离观察系统不同的距离和/或多个距离处，可选地，同时出现，例如使 用一个全息图。此外，该方法允许图像内容出现在显示设备的下游和显示设 备的上游，可选地同时出现，例如使用一个全息图。

23、重要的是，全息图被传播到观察系统，而不是从全息图形成的全息重建 (即图像)。可以说由观察系统接收的空间调制光是在全息域中，而不是在空 间或图像域中。也可以说观察系统执行全息图到图像的转换。更具体地，诸 如每个观察系统的透镜的光学元件执行转换。在实施例中，在显示设备和观 察系统之间不形成全息重建或图像。在一些实施例中，可选地，使用交错方 案，计算不同的全息图并将其传播到观察者的每只眼睛。

24、显示设备具有有源/像素显示区域，该有效或显示区域具有小于10厘米 的第一维度，例如小于5厘米或小于2厘米。显示设备和观察系统之间的传 播距离可以大于1m，例如大于1.5m或大于2m。波导内的光学传播距离可 以高达2m，例如高达1.5m或高达1m。该方法能够在小于20ms比如小于 15ms或小于10ms内接收图像并确定足够质量的相应全息图。

25、本文公开的方法形成全息图，该全息图配置成将光路由到多个通道中， 每个通道对应于图像的不同部分(即子区域)。全息图可以在诸如空间光调制 器的显示设备上展示比如显示。当显示在适当的显示设备上时，全息图可以 对可由观察系统转换成图像的光进行空间调制。由衍射结构形成的通道在这 里被称为“全息图通道”,仅仅是为了反映它们是由具有图像信息的全息图编 码的光通道。可以说每个通道的光是在全息域中，而不是在图像或空间域中。 在一些实施例中，全息图是傅立叶或傅立叶变换全息图，因此全息图域是傅 立叶或频域。全息图同样可以是菲涅耳或菲涅耳变换全息图。全息图在本文 中被描述为将光路由到多个全息图通道中，仅仅是为了反映可由全息图重建 的图像具有有限的大小，并且可被任意划分成多个图像子区域，其中每个全 息图通道对应于每个图像子区域。重要的是，本公开的全息图的特征在于它 在被照射时如何分布图像内容。具体来说，全息图通过角度来划分图像内容。 也就是说，对于图像的连续部分或区段与显示设备(或观察窗)之间的光传播 (可以是模拟光传播或虚拟光传播)的唯一角度或唯一连续角度范围，当显示 设备上的全息图被照射时，输出空间调制光的相应连续全息图通道。为了避 免疑问，这种全息图行为不是常规的。当被照射时，由这种特殊类型的全息 图形成的空间调制光可被任意分成多个全息图通道。从上文可以理解，在空 间调制光中可以考虑的任何全息图通道将与图像的相应部分或子区域相关。 也就是说，重建图像的该部分或子区域所需的所有信息都包含在由图像的全 息图形成的空间调制光的角度子范围内。当作为整体观察空间调制光时，不 一定存在多个离散光通道的任何证据。然而，在一些实施例中，通过有意地将计算全息图的目标图像的区域留为空白或空的(即不存在图像内容)来形成 多个空间分离的全息图通道。

26、然而，全息图仍可被识别。例如，如果只有由全息图形成的空间调制光 的连续部分或子区域被重建，则只有图像的子区域应该是可见的。如果重建 空间调制光的不同的连续部分或子区域，图像的不同子区域应该是可见的。 这种类型的全息图的另一个识别特征是，任何全息图通道的横截面区域的形 状基本对应于入射瞳孔的形状(即基本相同)，尽管尺寸可以不同—至少在计 算全息图的正确平面上是不同的。每个光全息图通道以不同的角度或角度范 围从全息图传播。虽然这些是表征或识别这种类型全息图的示例方式，但也可以使用其他方式。总之，本文公开的全息图通过图像内容如何分布在全息 图编码的光内来表征和识别，并且相应地陈述了所附权利要求。

27、衍射结构或全息图可以显示在显示设备处，例如空间光调制器，例如但 不限于硅上液晶(lcos)空间光调制器(slm)。当显示衍射结构的显示设备被 适当照射时，衍射结构配置成空间调制光，结果，由显示设备发射的光被路 由到多个全息图通道中。单个(即公共)光源可用于照射整个衍射结构。衍射 结构可以包括多个像素，其中衍射结构的每个像素向每个全息图通道贡献光。

28、全息通道可被称为“全息通道”，因为它们包括已经被衍射结构空间调制 的光通道。

29、衍射结构可以布置成使得全息图通道以不同的角度从衍射结构传播。每 个这样的角度可以在相应通道的主要或核心行进方向和显示设备上的点(例 如显示设备上显示衍射结构的中心点)之间定义。全息图或衍射结构的每个 像素可以输出每个通道的光。全息图的单个像素可以各自不同的角度输出每 个通道的光。

30、衍射结构可以是相息图或全息图。它可以包括计算机生成的全息图。可 以提供全息引擎或其他控制器或处理器来输出信号，以控制显示设备显示衍 射结构。

31、本文公开的方法提供了许多技术进步。首先，该方法不形成可能由诸如 点云方法的其他方法形成的重影图像。这是因为该方法通过充分考虑波导中 所有可能的光传播路径而固有地确保了正确的图像内容到达正确的位置。其 次，该方法可以在任何深度平面呈现图像内容，而不像其他方法，例如点云 方法，当图像点距离非常小时，点云方法可能很差。这在利用具有光焦度的 光组合器(例如汽车挡风玻璃)来形成虚像的光学系统中是一个重大问题。第 三，该方法固有地考虑了波长的影响，使得在包括多个单色全息通道的彩色 投影仪中，不需要比如在美国专利10514658中公开的那样通过波长进行图 像尺寸校正。

32、不同的传播路径可以不同的角度穿过观察系统的入射孔径。瞳孔扩展器 可以布置成使得所有的全息图通道在观察平面上的任何观察位置被路由通 过观察系统的入射孔径。对于每个允许的观察位置，瞳孔扩展器仅经由一个 传播路径将每个全息图通道路由到观察系统。多个全息图通道中的至少两个 全息图通道可以在观察系统的入射孔径处部分重叠。

33、第一至第四阶段可以是有序的阶段。所公开的方法通过在传感器平面和 全息平面之间来回投影来操作，并且该方法可以从传感器平面或全息平面开 始。为了清楚起见，“传感器平面”是全息图的光到达的平面，以便观察者形 成/看到图像。例如，它可以是观察者眼睛的视网膜平面。光场在每次传播到 传感器平面或全息平面之后的振幅分量被修改或约束，但相位分量被保留。 在一些实施例中，该方法从第一阶段开始，这等同于从全息平面开始。然而， 在其他实施例中，该方法从第三阶段开始，这等同于从传感器平面开始。在这些其他实施例中，第三阶段之后是第四阶段。第四阶段之后是第一阶段， 第一阶段之后是第二阶段。每个阶段可以在全息图提取之前执行一次，或者 至少一些阶段可以在全息图提取之前执行多次。

34、至少一个光传播路径可以包括由瞳孔扩展器提供的多个光传播路径。瞳 孔扩展器的结构便于或允许多个不同的可能光路通过。不同的可能光路可以 部分重叠。在一些实施例中，由瞳孔扩展器创建一系列不同的光路，其中该 系列中的每个光路都比上一个光路长。该系列的每个光路在其出射表面上的 不同点离开瞳孔扩展器，以创建相应系列的光出射点或子区域。这一系列光 出射点或子区域可以沿着瞳孔扩展器的出射面基本均匀地间隔开。

35、瞳孔扩展器可以是波导瞳孔扩展器。进入瞳孔扩展器的每个光线可被复 制多次。瞳孔扩展器可以布置成通过一系列内部反射传播光，并且在沿着其 主面的多个点处输出光。每个光传播路径可以由与该光传播路径相关的波导 内的内部反射的数量来定义。例如，第一光传播路径可以包括零内部反射， 因此对应于直接穿过波导的光。例如，第二光传播路径可以包括在离开波导 之前的两次内部反射，即在波导的第一主/反射表面处的第一反射和在波导的 第二主/反射表面处的第二反射，其中第二主/反射表面与第一主/反射表面相 对或互补。为了避免疑问，光传播路径因此具有一些重叠。在其他示例中， 第一光传播路径包括一次反射，第二光传播路径包括三次反射。第一光传播 路径可以是最短的光传播路径，第n光传播路径可以是最长的光传播路径。 不同的传播路径可以不同的角度穿过观察系统的入射孔径。

36、至少一个光传播路径可以仅仅是由瞳孔扩展器提供的多个光传播路径 中的一个。可以对多个光传播路径中的每个光传播路径执行第一至第四阶段， 以便为每个光传播路径提取全息图。对于每个光传播路径，可以独立地执行 第一至第四阶段。可以组合对应于多个光传播路径的多个全息图，以便形成 用于在显示设备上显示的全息图。

37、值得注意的是，该方法通过对每个光传播路径执行第一至第四步骤(不 考虑起始点)来考虑通过波导的多个光传播路径。可以对每个传播路径依次 执行第一至第四步骤。可替代地，可以对每个传播路径执行第一步骤，然后 对每个传播路径执行第二步骤，然后执行第三步骤，依此类推。应当理解， 由于不同传播路径的部分重叠，关于第n个传播路径执行的步骤可以重用关 于第n-1个传播路径的计算，其中第n个传播路径是在第n-1个传播路径之 后的下一个最长的传播路径。分别为多个不同的光传播路径确定的多个全息 图可以通过相加来组合，特别是如果全息图是相位或纯相位全息图。

38、在第一阶段中从显示平面传播的光可以包括具有随机相位分量的第零 复合光场、二次函数或采样二次函数。

39、第零复合光场的振幅分量可以等于照射光束的振幅分量。在一些实施例 中，第零复合光场的振幅是1。如果该方法从第一阶段开始，则第零复合光 场的相位分量可能是随机的。随机相位分布有时被称为随机相位种子，并且 当该方法在全息平面(即第一阶段)开始时，可以仅被用作该方法的起始点。

40、在从最终迭代中提取全息图的步骤之前，可以迭代地重复第一至第四阶 段。对于第二次和后续迭代，从显示设备传播的光可以包括前一次迭代的第 四复合光场的相位分布。

41、如果在该方法停止之前执行第一阶段的进一步迭代(即全息图是可接受 的)，则来自第四步骤的相位分量被保存或保留或结转。即，根据第一阶段 传播到显示平面的复合光场的相位分量等于第四复合光场的相位分量。

42、全息图可以是第四数据集的相位分量。全息图可以是该方法的最终迭代 或阶段的第四数据集的相位分量。在一些实施例中，全息图是相息图或相位 全息图或纯相位全息图。可以丢弃第四复合光场的振幅分量。

43、全息图可以是多个图像的全息图。每个图像可以具有不同的各自的像距。 该方法的第二阶段可以针对每个图像独立执行。重要地，本文公开的方法形 成了可以同时在多个平面上形成图像内容的全息图。这是通过对每个不同的 平面执行第二阶段并组合结果来实现的，例如将复合光场相加在一起。每个 图像可以是实像或虚像。图像内容可能在显示设备的前面(即显示设备的下 游)和/或显示设备的后面(即显示设备的上游)可见。

44、每个复合光场由波传播光学确定，例如菲涅耳传播、移位菲涅耳传播、 分数菲涅耳传播、分数傅立叶变换或缩放快速傅立叶变换。

45、第二阶段的振幅分量的修改可以包括用图像的振幅分量替换第二复合 光场的振幅分量，或者基于图像的振幅分量对第二复合光场的振幅分量进行 加权。

46、修剪的每个步骤可以包括根据相应瞳孔的大小、形状和位置中的至少一 个来修剪复合光场。入射瞳孔的大小、形状和位置中的至少一个可以通过跟 踪或监控观察系统或接收关于观察系统的信息来确定。在观察系统是眼睛的 实施例中，该方法可以包括眼睛跟踪或头部跟踪。如果入射瞳孔的至少一个 属性(例如位置或大小)改变，则可以重复本文公开的第一至第四阶段。

47、所述或每个图像可以是虚拟图像。所述或每个图像对于观察系统来说可 能看起来在显示设备的后面或外面。也就是说，从观察系统到感知图像的图 像距离可能大于从观察系统到显示设备的距离。然而，在其他实施例中，图 像内容另外或可替代地形成在显示设备的下游—即在显示设备和观察系统 之间。

48、观察系统可以是观察者的眼睛。该方法还可以包括跟踪观察者的眼睛或 头部，以便确定观察系统的入射瞳孔的尺寸和位置中的至少一个。在一些实 施例中，观察系统的入射瞳孔的尺寸和/或位置被用作确定全息图的方法的一 部分。在一些实施例中，如果观察者移动或者例如环境光条件改变影响了观 察者的入射瞳孔的大小，则该方法实时执行，例如以视频速率，并且全息图 被重新确定，例如重新计算。

49、沿着由瞳孔扩展器提供的每个光传播路径的传播可以包括组合各个单 独光传播路径的单独复合光场。单独复合光场可以通过相加来组合。由瞳孔 扩展器提供的多个不同光传播路径中的每个光传播路径被单独考虑。由每个 光传播路径形成的复合光场被单独确定。

50、瞳孔扩展器可以是波导瞳孔扩展器。每个光传播路径对应于波导内不同 数量的内部反射。在一些实施例中，瞳孔扩展器是具有基本一维(即细长的) 或二维形状(例如基本平面的，比如板形)的波导瞳孔扩展器。在实施例中， 出射瞳孔在部件的长方向或维度上扩展。瞳孔扩展器可以包括一对相对或互 补的反射表面。这些表面中的一个可以仅仅是部分反射的，以允许光在一系 列光出射点或子区域逸出。

51、组合单独复合光场可以包括确定每个单独复合光场在包含入射瞳孔的 平面上的横向位置。波导内的内部反射次数决定了横向位置。

52、组合单独复合光场还可以包括确定与每个光传播路径的内部反射相关 的总相移。这可以包括对与每个光传播路径相关的多个相移进行求和，其中 每个相移由瞳孔扩展器内的反射产生。

53、这里还公开了一种全息引擎，其布置为确定图像的全息图，以使用平视 显示器进行观察。平视显示器包括显示设备和瞳孔扩展器。平视显示器配置 成与至少一个观察系统一起操作。每个观察系统包括入射瞳孔平面上的入射 瞳孔、透镜平面上的透镜和传感器平面上的传感器。平视显示器可以配置成 与一对观察系统比如一双眼睛一起操作。显示设备(例如空间光调制器)布置 成在全息图平面上显示全息图。瞳孔扩展器布置成接收根据全息图进行空间 调制的光。例如，显示的全息图可以用来自光源的至少部分相干光照射。显示设备根据显示的全息图对接收的光进行空间调制。全息引擎布置成确定在 观察系统的入射瞳孔处的第一复合光场。第一复合光场由来自显示设备的全 息平面(或“显示平面”)的光沿着瞳孔扩展器的每个光传播路径的传播产生。 第一复合光场还由根据观察系统的入射瞳孔裁剪复合光场而产生。全息引擎 还布置成确定在观察系统的传感器的传感器平面处的第二复合光场。第二复 合光场由第一复合光场的光从入射瞳孔通过观察系统的透镜传播到观察系 统的传感器的传感器平面而产生。第二复合光场还由根据图像对振幅分量的 修改产生。全息引擎还布置成确定在入射瞳孔处的第三复合光场。第三复合 光场由第二复合光场的光从传感器平面反向传播通过透镜而产生。第三复合 光场还由根据入射瞳孔的裁剪产生。全息引擎还布置成确定显示平面上的第 四复合光场。第四复合光场由第三复合光场的光沿着瞳孔扩展器的每个光传 播的反向传播产生。第四复合光场还由根据显示设备的裁剪产生。全息引擎 布置成从对应于第四复合光场的数据集中提取全息图。全息引擎可以体现在 显示驱动器中，比如现场可编程门阵列“fpga”或专用集成电路“asic”。显 示驱动器可以是用于平视显示器“hud”的图像生成单元“pgu”的一部分。

54、术语“全息图”用于指代包含关于物体的振幅信息或相位信息或其某种 组合的记录。术语“全息重建”用于指代通过照射全息图而形成的物体的光学 重建。本文中公开的系统被描述为“全息投影仪”，因为全息重建是真实图像 并且与全息图在空间上分离。术语“重放场”用于指代在其内形成全息重建并 完全聚焦的2d区域。如果将全息图显示在包括像素的空间光调制器上，则 重放场将以多个衍射级的形式重复，其中每个衍射级是零级重放场的副本。 零级重放场通常对应于优选或主重放场，因为它是最亮重放场。除非另有明确说明，术语“重放场”应被认为是指零级重放场。术语“重放平面”用于指代 包含所有重放场的空间中的平面。术语“图像”、“重放图像”和“图像区域”指 通过全息重建的光照射的重放场的区域。在一些实施例中，“图像”可包括离 散点，其可被称为“图像点”，或仅出于方便起见而被称为“图像像素”。

55、术语“编码”、“写入”和“寻址”用于描述向slm的多个像素提供分别确定 每个像素的调制水平的相应多个控制值的过程。可以说，slm的像素配置 为响应于接收到多个控制值而“显示”光调制分布。因此，可以说slm“显示” 全息图，并且全息图可被认为是光调制值或水平的阵列。

56、已经发现，可接受质量的全息重建可以由仅包含与原始物体的傅立叶变 换相关的相位信息的“全息图”形成。这样的全息记录可被称为仅相位全息 图。实施例涉及仅相位全息图，但本公开同样适用于仅振幅全息术。

57、本公开也同样适用于使用与原始物体的傅立叶变换相关的振幅和相位 信息来形成全息重建。在一些实施例中，这是通过使用包含与原始物体有关 的振幅和相位信息的所谓全复数全息图的复数调制来实现的。因为分配给全 息图的每个像素的值(灰度级)具有振幅和相位分量，所以这种全息图可被 称为全复数全息图。分配给每个像素的值(灰度级)可以表示为具有振幅和 相位分量的复数。在一些实施例中，计算全复数计算机生成的全息图。

58、可以参考计算机生成的全息图或空间光调制器的像素的相位值、相位分 量、相位信息或者简单地说是相位，作为“相位延迟”的简写。即，所描述的 任何相位值实际上是代表该像素提供的相位延迟量的数字(例如在0至2π 范围内)。例如，空间光调制器的描述为具有π/2相位值的像素将使接收光的 相位延迟π/2弧度。在一些实施例中，空间光调制器的每个像素可在多个可 能的调制值(例如相位延迟值)之一中操作。术语“灰度级”可以用来指多个 可用的调制水平。例如，术语“灰度级”可以为了方便而用于指代仅相位调制 器中的多个可用相位水平，即使不同的相位水平没有提供不同的灰色阴影。 为了方便起见，术语“灰度级”也可以用来指复数调制器中的多个可用复数调 制水平。

59、因此，全息图包括灰度级阵列，即光调制值阵列，比如相位延迟值或复 数调制值阵列。全息图也被认为是衍射图案，因为它是当在空间光调制器上 显示并且用波长相对于(通常小于)空间光调制器的像素间距的光照射时引 起衍射的图案。本文中参考将全息图与其他衍射图案比如用作透镜或光栅的 衍射图案组合。例如，可以将用作光栅的衍射图案与全息图组合以在重放平 面上平移重放场，或者可以将用作透镜的衍射图案与全息图组合以将全息重 建聚焦在近场中的重放平面上。

60、尽管可以在下面的详细描述中分别公开不同的实施例和实施例组，但任 何实施例或实施例组的任何特征可以与任何实施例或实施例组的任何其他 特征或特征的组合相结合。即，设想了本公开中所公开的特征的所有可能的 组合和置换。