直通流水线的制作方法

本公开整体涉及用于以低延迟结合环境的图像来显示虚拟内容的系统、方法和设备。

背景技术：

1、在各种具体实施中，扩展现实(xr)环境由头戴式设备(hmd)呈现。各种hmd包括捕获用户所存在的物理环境(例如，场景)的图像的场景相机和向用户显示该图像的显示器。在一些情况下，该图像(有时称为直通图像(passthrough image))或其部分可与一个或多个虚拟对象组合以向用户呈现xr体验。在其他情况下，hmd可以其中直通图像或其部分在不添加虚拟对象的情况下向用户呈现的直通模式操作。在各种具体实施中，直通图像在被捕获之后且在被显示之前被处理。该处理在捕获和显示之间引入了延迟，这可导致用户迷失方向和/或不适。

技术实现思路

1、本文所公开的各种具体实施包括用于执行色差校正的设备、系统和方法。在各种具体实施中，该方法由包括图像传感器、显示器、一个或多个处理器和非暂态存储器的设备执行。该方法包括使用该图像传感器捕获物理环境的图像。该方法包括扭曲(warp)该物理环境的该图像以校正由该图像传感器的透镜和/或该显示器的透镜引起的失真以获得校正的图像。该方法包括混合所校正的图像与虚拟内容以获得包括第一颜色通道和第二颜色通道的混合图像。该方法包括扭曲该第二颜色通道以校正色差，从而获得包括该第一颜色通道和扭曲的第二颜色通道的显示图像。该方法包括在该显示器上显示该显示图像。

2、本文所公开的各种具体实施包括用于混合图像与虚拟内容和空洞填充颜色的设备、系统和方法。在各种具体实施中，该方法由包括图像传感器、显示器、一个或多个处理器和非暂态存储器的设备执行。该方法包括使用该图像传感器捕获物理环境的图像。该方法包括扭曲该物理环境的该图像以生成扭曲的图像，其中该扭曲的图像包括空洞。该方法包括获得空洞填充颜色。该方法包括混合该扭曲的图像与虚拟内容以生成混合的图像，其中混合该扭曲的图像包括通过将该空洞的像素的像素值设置为该空洞填充颜色来填充该空洞。该方法包括在该显示器上显示该混合的图像。

3、本文所公开的各种具体实施包括用于流水线式混合图像与虚拟内容的设备、系统和方法。在各种具体实施中，该方法由包括图像传感器、显示器、一个或多个处理器和非暂态存储器的设备执行。该方法包括使用该图像传感器捕获物理环境的图像的第一部分。该方法包括扭曲该物理环境的该图像的该第一部分以生成扭曲的第一部分。该方法包括混合该扭曲的第一部分与虚拟内容的第一部分以生成混合的第一部分。该方法包括在该显示器上显示该混合的第一部分。该方法包括使用该图像传感器捕获该物理环境的该图像的第二部分。该方法包括扭曲该物理环境的该图像的该第二部分以生成扭曲的第二部分。该方法包括混合该扭曲的第二部分与该虚拟内容的第二部分以生成混合的第二部分。该方法包括在该显示器上显示该混合的第二部分，其中在完成混合该扭曲的第二部分之前启动显示该混合的第一部分。

4、本文所公开的各种具体实施包括用于以低延迟显示直通图像流的设备、系统和方法。在各种具体实施中，该方法由包括图像传感器、显示器、一个或多个处理器和非暂态存储器的设备执行。该方法包括使用该图像传感器以第一帧速率捕获物理环境的多个图像。该方法包括传输该物理环境的该多个图像的子集。该方法包括接收基于该物理环境的该多个图像的该子集的控制参数。该方法包括基于该控制参数而处理该物理环境的该多个图像。该方法包括在该显示器上以该第一帧速率显示该物理环境的多个经处理的图像。

5、根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；一个或多个程序被存储于非暂态存储器中并且被配置为由一个或多个处理器执行。一个或多个程序包括用于执行或促使执行本文描述的任何方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令当由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一者。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一者的装置。

技术特征：

1.一种方法，包括：

2.根据权利要求1所述的方法，其中在完成扭曲所述物理环境的所述图像的所述第二部分之前启动混合所述扭曲的第一部分。

3.根据权利要求1或2所述的方法，其中在完成捕获所述物理环境的所述图像的所述第二部分之前启动扭曲所述物理环境的所述图像的所述第一部分。

4.根据权利要求1至3中任一项所述的方法，其中在完成扭曲所述物理环境的所述图像的所述第二部分之前启动显示所述混合的第一部分。

5.根据权利要求1至4中任一项所述的方法，其中在开始捕获所述物理环境的所述图像的所述第一部分与完成第二扭曲部分的混合之间的时间大于帧周期。

6.根据权利要求5所述的方法，其中所述帧周期是开始捕获所述图像的所述第一部分与开始捕获所述图像的所述第二部分之间的时间量。

7.根据权利要求1至6中任一项所述的方法，其中在开始捕获所述物理环境的所述图像的所述第一部分与开始显示第二混合部分之间的时间大于帧周期。

8.根据权利要求7所述的方法，其中所述帧周期是开始捕获所述图像的所述第一部分与开始捕获所述图像的所述第二部分之间的时间量。

9.根据权利要求1至8中任一项所述的方法，

10.根据权利要求1至9中任一项所述的方法，

11.根据权利要求1至10中任一项所述的方法，其中扭曲所述第一部分包括扭曲所述第一部分以校正所述图像传感器与所述显示器之间的视角差异。

12.根据权利要求1至11中任一项所述的方法，其中扭曲所述第一部分包括扭曲所述第一部分以校正由所述图像传感器的透镜和/或所述显示器的透镜引起的失真。

13.根据权利要求1至12中任一项所述的方法，其中扭曲所述第一部分包括扭曲所述第一部分以校正光学串扰。

14.根据权利要求1至13中任一项所述的方法，其中扭曲所述第一部分包括扭曲所述第一部分以实现中央凹视觉。

15.根据权利要求1至14中任一项所述的方法，其中扭曲所述第一部分包括扭曲虚拟内容的所述第一部分。

16.根据权利要求1至15中任一项所述的方法，其中扭曲所述第一部分包括扭曲α掩模的第一部分。

17.根据权利要求16所述的方法，其中混合所述第一部分基于所述α掩模的扭曲的第一部分。

18.一种设备，包括：

19.根据权利要求18所述的设备，其中所述一个或多个处理器用于扭曲所述第一部分以校正所述图像传感器与所述显示器之间的视角差异。

20.一种非暂态存储器，存储一个或多个程序，所述一个或多个程序在由包括图像传感器和显示器的设备的一个或多个处理器执行时，使所述设备执行根据权利要求1至17所述的方法中的任一种方法。

技术总结
本公开涉及直通流水线。一种流水线式混合图像与虚拟内容的方法由包括图像传感器、显示器、处理器和非暂态存储器的设备执行。该方法包括使用图像传感器捕获物理环境的图像的第一部分；扭曲物理环境的图像的第一部分以生成扭曲的第一部分；混合扭曲的第一部分与虚拟内容的第一部分以生成混合的第一部分；在显示器上显示混合的第一部分；使用图像传感器捕获物理环境的图像的第二部分；扭曲物理环境的图像的第二部分以生成扭曲的第二部分；混合扭曲的第二部分与虚拟内容的第二部分以生成混合的第二部分；以及在显示器上显示混合的第二部分，其中在完成混合扭曲的第二部分之前启动显示混合的第一部分。

技术研发人员：C·I·摩尔,S·米霍塞尼,S·弗丁-德施尼斯,M·H·可汗
受保护的技术使用者：苹果公司
技术研发日：
技术公布日：2024/12/5