平视显示器校准的制作方法

本公开涉及投影仪和平视显示器。更具体地，本公开涉及车辆比如机动车辆中的全息投影仪和平视显示器。本公开还涉及全息投影方法、在平视显示器中投影虚拟图像的方法以及终端用户对准或校准车辆中平视显示器的图像的方法。

背景技术：

1、从物体散射的光包含振幅和相位信息。可以通过众所周知的干涉技术在例如感光板上捕获该振幅和相位信息，以形成包括干涉条纹的全息记录或“全息图”。可以通过用合适的光照射来重建全息图，以形成代表原始物体的二维或三维全息重建或重放图像。

2、计算生成的全息术可以数值模拟干涉过程。计算机生成的全息图“cgh”可以通过基于诸如菲涅耳或傅立叶变换的数学变换的技术来计算。这些类型的全息图可被称为菲涅耳全息图或傅立叶全息图。傅立叶全息图可被认为是物体的傅立叶域表示或物体的频域表示。例如，cgh也可以通过相干光线追踪或点云技术来计算。

3、可以在布置为调制入射光的振幅和/或相位的空间光调制器“slm”上对cgh进行编码。例如，可以使用电可寻址液晶、光学可寻址液晶或微镜来实现光调制。

4、slm可以包括多个可单独寻址的像素，这些像素也可被称为单元或元件。光调制方案可以是二元的、多级的或连续的。可替代地，该装置可以是连续的(即不包括像素),因此光调制在该装置上可以是连续的。slm可以是反射性的，这意味着调制光从slm反射输出。slm同样可以是透射性的，这意味着调制光从slm透射输出。

5、使用所描述的技术可以提供用于成像的全息投影仪。这种投影仪已经在平视显示器“hud”和头戴式显示器“hmd”中得到应用，例如包括近眼设备。传统上，矩形区域(这里称为虚拟图像区域)被限定在驾驶员的视场中，并且平视显示器可以在该矩形区域中显示图像内容。

技术实现思路

1、在所附的独立权利要求中定义了本公开的各方面。

2、概括地说，本公开涉及图像投影。它涉及图像投影的方法和包括显示设备的图像投影仪。本公开还涉及包括图像投影仪和观察系统的投影系统，其中图像投影仪将来自显示设备的光投影或中继到观察系统。本公开同样适用于单目和双目观察系统。观察系统可以包括观察者的一只或多只眼睛。观察系统包括具有光焦度的光学元件(例如人眼的晶状体)和观察平面(例如人眼的视网膜)。投影仪可被称为“光引擎”。显示设备和使用显示设备形成(或感知)的图像在空间上彼此分离。观察者在显示平面上形成或感知图像。在一些实施例中，图像是虚拟图像，并且显示平面可被称为虚拟图像平面。在其他实施例中，图像是通过全息重建形成的真实图像，并且该图像被投影或中继到观察平面。在一些实施例中，可以通过照射显示在显示设备上的衍射图案(例如全息图)来形成图像。

3、显示设备包括像素。空间光调制器可以是硅上液晶空间光调制器。显示器的像素可以显示衍射光的衍射图案或结构。衍射光可以在与显示设备空间分离的平面处形成图像。

4、这里还公开了一种用于机动车辆的改进的hud。hud包括图片生成单元。图片生成单元可以布置成生成包括诸如速度或导航信息的信息内容的图片。还提供了一种光学系统，其布置成形成信息内容的虚拟图像。信息内容的虚拟图像可以形成在驾驶员的合适观察位置，例如在驾驶员操作机动车辆时的正常视野内。例如，信息内容的虚拟图像可以出现在车辆的发动机罩(或发动机盖)下方距驾驶员一定距离处。信息内容的虚拟图像定位成不会不利地影响驾驶员对场景的正常观察。信息内容的虚拟图像可以覆盖在驾驶员对真实世界的观察上。信息内容是计算机生成的，并且可被实时控制或更新，以向驾驶员提供实时信息。

5、仅作为示例，实施例涉及包括全息投影仪的图片生成单元。本公开与任何显示技术兼容，包括背光液晶显示器、激光扫描显示器、数字微镜装置“dmd”、荧光显示器和等离子显示器。在涉及全息投影仪的实施例中，图片是计算机生成的全息图的全息重建。下文充分描述的基于全息投影仪的平视显示器(hud)能够提供比目前可用的竞争技术大得多的对比度，这是因为全息过程的效率及其与激光光源一起使用的固有适用性。计算机生成的全息图可以布置成至少部分地补偿车辆挡风玻璃的形状。

6、在第一组示例中，通过用来自诸如激光二极管的光源的光照射显示设备，在诸如漫射器的屏幕上形成图像的全息重建。在这些实施例中，激光二极管、显示设备和屏幕形成图片生成单元，这对于全息投影领域的技术人员来说是熟悉的。在这些示例中，光学系统可以包括光学中继系统，其具有至少一个具有屈光力的元件，该光学中继系统布置成放大屏幕上的图片并将其投射到车辆的挡风玻璃上，以形成该图片的放大虚拟图像。例如，在wo2020/016214中已经公开了这样的配置，在此通过引用将其全部并入。

7、在第二组示例中，图片的中间重建不在屏幕上形成，而是将全息图(更具体地说，用全息图编码的光或根据显示的全息图进行空间调制的光)直接投射到观察者。在这些示例中，有时称观察者眼睛的晶状体执行全息图到图像的转换—例如，这可以是傅立叶或菲涅耳转换。在这些实施例中，光瞳扩展器(或一对正交的光瞳扩展器)可以用于扩展眼盒。例如，在2021年2月5日提交的gb2101666.2中已经公开了这种配置，该文献通过引用全部并入本文。

8、这里公开了一种终端用户执行车辆中平视显示器的图像的原位校准的方法。该方法包括响应于接收到进入平视显示器校准模式的指令的第一至第四有序步骤。第一步骤包括从车辆的车辆传感器系统获得平视显示器的视场内的真实世界场景的信息。第二步骤包括使用从车辆传感器系统获得的信息来识别视场中满足平视显示器校准模式的适合性标准的至少一个特征。第三步骤包括使用平视显示器投影图像。该图像包括对应于每个特征的图像元素。第四步骤包括接收至少一个第一用户输入并响应于每个第一用户输入改变图像。可选地，改变图像的步骤包括选自以下中的至少一个：平移、旋转、倾斜或梯形失真(keystone)图像。该方法可以由用户或系统本身启动。也就是说，可以从用户或系统接收指令。例如，系统可以配置为周期性地提供启动该方法的指令—例如每月一次或每年一次，或者每隔几英里或几公里。

9、该方法消除了为了实现良好的基于用户的hud校准而需要具有对准夹具或特定物理目标。由于该过程包括车辆传感器、车辆hud内容生成单元和hud，因此它是端到端校准，考虑了所有公差以提供hud内容在真实世界物体上的覆盖。

10、在某些方面，可以说本公开涉及车辆传感器套件或系统的至少一个传感器的重新利用。这里使用的术语“重新利用”反映了传感器的操作功能从第一或主要模式改变到第二或次要模式。读者将熟悉可能出现在现代车辆中的各种传感器。这种传感器的示例有相机、radar和lidar。主要模式可以是高级驾驶员辅助或安全系统的一部分。次要模式对应于平视显示器校准模式。重要地，本公开的方法利用了车辆传感器套件中的至少一个传感器，该传感器套件主要用于另一目的—即除平视显示器校准之外的目的。可以说，传感器被重新利用、重新分配或重新分派以执行不同于其在车辆正常使用中的主要功能或操作的功能或操作。

11、术语“适合性标准”在此用于与场景中的物体或特征的评估相关，以确定物体或特征的属性或参数是否满足定性或定量要求或测试。评估可以包括确定与属性或参数相关的值是高于还是低于阈值。读者将熟悉这些过程，并理解如何可以使用它们来识别适合于进一步处理的物体，例如用于校准过程的物体。该评估可以包括图像分析。被分析的图像可以是在获得关于真实世界场景的信息的步骤期间获得的图像。例如，获得关于真实世界场景的信息的步骤可以包括例如使用相机或其他合适的传感器捕获真实世界场景的图像。读者将理解，如果物体被认为适合于该方法的进一步步骤，则该物体被认为满足适合性标准。应当理解，在找到满足标准的物体之前，可以评估和拒绝其他物体。更具体地，可以说该方法包括评估或确定场景中特征的属性是否满足适合性标准。

12、适合性标准可以涉及至少一个特征的物理属性或参数，例如形状或长度。满足适合性标准包括具有最小长度的直线或边缘和/或具有至少两条直边，可选地，三角形或多边形。可替代地或另外，满足适合性标准可以包括具有圆形或椭圆形。

13、至少一个特征可以包括多个特征，每个特征满足适合性标准。在一些实施例中，该方法包括识别满足第一适合性标准的第一特征和满足不同于第一适合性标准的第二适合性标准的第二特征。

14、识别模块可用于执行使用从车辆传感器系统获得的信息来识别满足适合性标准的至少一个特征的步骤。识别模块可以布置成识别至少一个特征。识别模块可以布置成分析视场的捕获图像(该图像是从方法的先前步骤获得的关于真实世界场景的信息)。捕获的图像在这里可被称为第一图像。分析图像可以包括确定视场中的特征/视场的捕获图像满足适合性标准。

15、术语“对应于每个特征”在此用于表示真实世界物体或特征的物理形式和/或位置与平视显示器显示的图像或图像元素之间的广泛或一般的相关性(至少当被用户感知时)。也就是说，确定(例如选择或计算)具有至少一个表征特征或参数的图像，该表征特征或参数与投影时识别的物体基本相同。该图像可以包括与所确定的物体具有基本相同尺寸和/或形状的图像元素。例如，物体可以是涂色的线—例如指示车道边界的线—图像元素可以是角度基本等于涂色线角度的直线，如传感器或与传感器协作布置的处理系统所识别的。该过程可以包括确定被检测物体的参数。术语“物体的参数”可以用来指至少部分定义其物理形式、位置和/或空间取向的物体方面的测量。参数可以是定量的，例如大小、方向或位置坐标。参数可以是形状。仅作为示例，参数可以是二维或三维空间中的长度、直径、角度或坐标组。为避免疑问，每个真实世界特征有一个图像元素。也就是说，每个真实世界特征具有相应或对应的图像元素。

16、该方法可以还包括识别满足适合性标准的视场之外的至少一个特征。在这种情况下，该方法可以包括为终端用户提供指示器或输出，可选地，其中该输出包括给终端用户的重新定位车辆的指令。例如，指令可以是听觉的或视觉的。

17、该方法可以还包括接收第二用户输入，并且响应于第二用户输入来确定校准函数。校准函数对应于响应于至少一个第一用户输入而对图像做出的总改变。当终端用户对hud图像满意时，可以实施该步骤。在正常操作期间(即当hud不处于校准模式时)，校准功能可以在投影之前应用于每个源图像。

18、在一些实施例中，使用平视显示器投影图像的步骤包括从获得的真实世界场景的信息确定输入图像，确定输入图像的全息图并照射全息图以形成图像。如上所述，关于真实世界场景获得的信息可以是真实世界场景的第一图像，或者可以用于形成真实世界场景的第一图像。来自在真实世界场景中获得的信息的输入图像可以至少包括满足合适性标准的视场中的至少一个特征，如上所述，该合适性标准可以使用识别模块来确定。因此，输入图像的全息图可以是输入的全息图，该输入包括满足适合性标准的视场中的至少一个特征或由之构成。例如，全息图可以是输入图像的全息图，其包括具有最小长度的直线或边缘和/或具有至少两条直边或者由之构成，可选地，全息图可以是输入图像的全息图，其包括三角形或多边形或者由之构成。可替代地或另外，全息图可以是包括圆形或椭圆形或者由之构成的输入图像。照射全息图的步骤可以包括形成输入图像的全息重建(因此可以导致形成被识别为满足适合性标准的至少一个真实世界特征的全息重建)。照射全息图的步骤可以包括在眼盒或观察系统处形成输入图像的虚拟图像。

19、因此，该方法可以有效地包括形成对应于满足适合性标准的每个特征的图像元素的虚拟图像。虚拟图像可以呈现给用户以便出现在平视显示器的视场内。因此，该方法可以包括形成增强现实。增强现实可以包括覆盖在真实世界上的图像元素的虚拟图像。

20、如上所述，该方法的第四步骤包括接收至少一个第一用户输入并响应于每个第一用户输入改变图像。第四步骤中提到的图像可以是图像元素的全息重建虚拟图像。输入图像的全息图可以布置成使得如果平视显示器被正确对准，则投影图像的图像元素将看起来基本完全覆盖视场中的对应真实世界特征。如果平视显示器校准不当，情况可能并非如此。第四步骤的至少一个第一用户输入可以是改变(投影/全息重建的)图像以更紧密地与对应的真实世界特征对准的指令。该方法还可以包括响应于第一用户输入确定修改的或重新计算的全息图，以便按照用户的指示改变图像。修改的重新计算的全息图然后可被照射以重建(改变的)图像。如果改变的图像被认为与对应的真实世界特征正确对准，则可以接收第二用户输入。否则，可以重复接收改变图像的第一用户输入的步骤(并且全息图被再次修改/重新计算和照射)，直到用户对图像被正确对准感到满意。

21、该方法可以是计算机实现的方法。具体而言，至少获得关于真实世界场景的信息并使用所获得的信息来识别视场中满足适合性标准的至少一个特征的步骤可以是计算机实现的。输入图像的全息图可以由计算机生成。计算机实现的可以包括确定/计算计算机生成全息图的步骤。

22、术语“全息图”用来指包含关于物体的振幅信息或相位信息或者它们的某种组合的记录。术语“全息重建”用于指通过照射全息图形成的物体的光学重建。这里使用的术语“重放平面”是指全息重建完全形成的空间平面。这里使用的术语“重放场”指的是可以从空间光调制器接收空间调制光的重放平面的子区域。术语“图像”、“重放图像”和“图像区域”是指由形成全息重建的光照射的重放场的区域。在实施例中，“图像”可以包括可被称为“图像像素”的离散点。

23、术语“编码”、“写入”和“寻址”用于描述向slm的多个像素提供分别确定每个像素的调制水平的相应多个控制值的过程。可以说，slm的像素配置为响应于接收到多个控制值而“显示”光调制分布。因此，可以说slm“显示”全息图。

24、已经发现，可接受质量的全息重建可以由仅包含与原始物体相关的相位信息的“全息图”形成。这样的全息记录可被称为仅相位全息图。实施例涉及仅相位全息图，但本公开同样适用于仅振幅全息术。

25、本公开也同样适用于使用与原始物体相关的振幅和相位信息来形成全息重建。在一些实施例中，这是通过使用包含与原始物体有关的振幅和相位信息的所谓全复数全息图的复数调制来实现的。因为分配给全息图的每个像素的值(灰度级)具有振幅和相位分量，所以这种全息图可被称为全复数全息图。分配给每个像素的值(灰度级)可以表示为具有振幅和相位分量的复数。在一些实施例中，计算全复数计算机生成的全息图。

26、可以参考计算机生成的全息图或空间光调制器的像素的相位值、相位分量、相位信息或者简单地说是相位，作为“相位延迟”的简写。即，所描述的任何相位值实际上是代表该像素提供的相位延迟量的数字(例如在0至2π范围内)。例如，空间光调制器的描述为具有π/2相位值的像素将使接收光的相位改变π/2弧度。在一些实施例中，空间光调制器的每个像素可在多个可能的调制值(例如相位延迟值)之一中操作。术语“灰度级”可以用来指多个可用的调制水平。例如，术语“灰度级”可以为了方便而用于指代仅相位调制器中的多个可用相位水平，即使不同的相位水平没有提供不同的灰色阴影。为了方便起见，术语“灰度级”也可以用来指复数调制器中的多个可用复数调制水平。

27、尽管可以在下面的详细描述中分别公开不同的实施例和实施例组，但任何实施例或实施例组的任何特征可以与任何实施例或实施例组的任何其他特征或特征的组合相结合。即，设想了本公开中所公开的特征的所有可能的组合和置换。

28、尽管参考了用于车辆的平视显示器，但本领域技术人员将理解，本公开延伸到用于其他目的的平视显示器，并且该设备可以更一般地被称为显示系统。

29、在本公开中，术语“基本”当应用于设备的结构单元时，可被解释为在用于制造该结构单元的方法的技术公差内生产的结构单元的技术特征。