用于增强现实装置的空间分辨的动态调暗的制作方法

背景技术：

1、现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的发展，其中数字再现的图像或其部分以其看起来是真实的或者可被感知为真实的方式呈现给用户。虚拟现实(或者“vr”)场景通常涉及数字或虚拟图像信息的呈现，而对于其他实际的真实世界的视觉输入不透明；增强现实(或者“ar”)场景通常涉及数字或虚拟图像信息的呈现作为对用户周围的实际世界的可视化的增强。

2、尽管在这些显示技术上取得了进步，但是在本领域中需要与增强现实系统，特别是显示系统，有关的改善的方法、系统和装置。

技术实现思路

1、本公开一般地涉及用于在变化的环境光条件下改善光学系统的技术。更具体地，本公开的实施例提供了用于操作包括调暗(dimming)元件的增强现实(ar)装置的系统和方法。尽管参考ar装置描述了本发明，但是本公开适用于计算机视觉和图像显示系统中的各种应用。

2、下面参考若干示例来提供本发明的概述。如以下所使用的，对一系列示例的任何引用将被理解为对分离的那些示例中的每一个的引用(例如，“示例1-4”将被理解为“示例1、2、3或4”)。

3、示例1：一种操作光学系统的方法，该方法包括：在所述光学系统处接收与世界对象相关联的光；将虚拟图像光投射到目镜上；基于由所述光学系统检测到的信息来确定所述光学系统的系统视场中要被至少部分地调暗的部分；以及调整调光器以减小所述系统视场的所述部分中与所述世界对象相关联的光的强度。

4、示例2：根据示例1所述的方法，其中，光学系统包括光传感器，光传感器被配置为检测对应于与世界对象相关联的光的光信息，其中所检测到的信息包括光信息。

5、示例3：根据示例1-2所述的方法，其中，光信息包括多个空间分辨的光值。

6、示例4：根据示例1-3所述的方法，其中，光信息包括全局光值。

7、示例5：根据示例1-4所述的方法，其中，光学系统包括眼睛跟踪器，眼睛跟踪器被配置为检测与光学系统的用户的眼睛对应的凝视信息，其中所检测到的信息包括凝视信息。

8、示例6：根据示例1-5所述的方法，其中，凝视信息包括与用户眼睛的凝视矢量相交的像素位置。

9、示例7：根据示例1-6所述的方法，其中，凝视信息包括用户眼睛的瞳孔位置、用户眼睛的旋转中心、用户眼睛的瞳孔尺寸、用户眼睛的瞳孔直径、以及用户眼睛的视锥和视杆位置中的一个或多个。

10、示例8：根据示例1-7所述的方法，还包括：检测与虚拟图像光对应的图像信息，其中，所检测到的信息包括图像信息。

11、示例9：根据示例1-8所述的方法，其中，图像信息包括多个空间分辨的图像亮度值。

12、示例10：根据示例1-9所述的方法，其中，图像信息包括全局图像亮度值。

13、示例11：根据示例1-10所述的方法，还包括：基于所检测到的信息来确定用于系统视场的部分的多个空间分辨的调暗值，其中根据多个调暗值来调整调光器。

14、示例12：根据示例1-11所述的方法，其中，调光器包括多个像素。

15、示例13：根据示例1-12所述的方法，其中，调光器被调整为在所有系统视场中完全阻挡与世界对象相关联的光的强度。

16、示例14：根据示例1-13所述的方法，还包括：调整与虚拟图像光相关联的亮度。

17、示例15：根据示例1-14所述的方法，其中，虚拟图像光的特征在于图像视场，并且其中图像视场等于系统视场。

18、示例16：根据示例1-15所述的方法，其中，确定光学系统的系统视场中要被至少部分地调暗的一部分是至少部分地基于至少一个世界对象。

19、示例17：根据示例1-16所述的方法，其中，确定光学系统的系统视场中要被至少部分地调暗的一部分是至少部分地基于被包括在虚拟图像中的至少一个对象。

20、示例18：一种包括指令的非暂时性计算机可读介质，指令在由处理器执行时使处理器执行包括以下的操作：在光学系统处接收与世界对象相关联的光；将虚拟图像光投射到目镜上；基于由光学系统检测到的信息来确定光学系统的系统视场中要被至少部分地调暗的部分；以及调整调光器以减小在系统视场的部分中与世界对象相关联的光的强度。

21、示例19：根据示例18所述的非暂时性计算机可读介质，其中，光学系统包括光传感器，光传感器被配置为检测对应于与世界对象相关联的光的光信息，其中所检测到的信息包括光信息。

22、示例20：根据示例19所述的非暂时性计算机可读介质，其中，光信息包括多个空间分辨的光值。

23、示例21：根据示例19所述的非暂时性计算机可读介质，其中，光信息包括全局光值。

24、示例22：根据示例18所述的非暂时性计算机可读介质，其中，光学系统包括眼睛跟踪器，眼睛跟踪器被配置为检测与光学系统的用户的眼睛对应的凝视信息，其中所检测到的信息包括凝视信息。

25、示例23：根据示例22所述的非暂时性计算机可读介质，其中，凝视信息包括与用户眼睛的凝视矢量相交的像素位置。

26、示例24：根据示例22所述的非暂时性计算机可读介质，其中，凝视信息包括用户眼睛的瞳孔位置、用户眼睛的旋转中心、用户眼睛的瞳孔尺寸、用户眼睛的瞳孔直径、以及用户眼睛的视锥和视杆位置中的一个或多个。

27、示例25：根据示例18所述的非暂时性计算机可读介质，其中，操作还包括：检测与虚拟图像光对应的图像信息，其中，所检测到的信息包括图像信息。

28、示例26：根据示例25所述的非暂时性计算机可读介质，其中，图像信息包括多个空间分辨的图像亮度值。

29、示例27：根据示例25所述的非暂时性计算机可读介质，其中，图像信息包括全局图像亮度值。

30、示例28：根据示例18所述的非暂时性计算机可读介质，其中，操作还包括：基于所检测到的信息来确定用于系统视场的部分的多个空间分辨的调暗值，其中根据多个调暗值来调整调光器。

31、示例29：根据示例18所述的非暂时性计算机可读介质，其中，调光器包括多个像素。

32、示例30：根据示例18所述的非暂时性计算机可读介质，其中，调光器被调整为在所有系统视场中完全阻挡与世界对象相关联的光的强度。

33、示例31：根据示例18所述的非暂时性计算机可读介质，其中，操作还包括：调整与虚拟图像光相关联的亮度。

34、示例32：根据示例18所述的非暂时性计算机可读介质，其中，虚拟图像光的特征在于图像视场，并且其中图像视场等于系统视场。

35、示例33：一种光学系统，其包括：投射器，其被配置为将虚拟图像光投射到目镜上；调光器，其被配置为调暗与世界对象相关联的光；处理器，其被通信地耦合到投射器和调光器，其中处理器被配置为执行包括以下的操作：基于由光学系统检测到的信息来确定光学系统的系统视场中要被至少部分地调暗的部分；以及调整调光器以减小在系统视场的部分中的与世界对象相关联的光的强度。

36、示例34：根据示例33所述的光学系统，还包括：光传感器，其被配置为检测对应于与世界对象相关联的光的光信息，其中所检测到的信息包括光信息。

37、示例35：根据示例34所述的光学系统，其中，光信息包括多个空间分辨的光值。

38、示例36：根据示例34所述的光学系统，其中，光信息包括全局光值。

39、示例37：根据示例33所述的光学系统，还包括：眼睛跟踪器，其被配置为检测与光学系统的用户的眼睛对应的凝视信息，其中所检测到的信息包括凝视信息。

40、示例38：根据示例37所述的光学系统，其中，凝视信息包括与用户眼睛的凝视矢量相交的像素位置。

41、示例39：根据示例37所述的光学系统，其中，凝视信息包括用户眼睛的瞳孔位置、用户眼睛的旋转中心、用户眼睛的瞳孔尺寸、用户眼睛的瞳孔直径、以及用户眼睛的视锥和视杆位置中的一个或多个。

42、示例40：根据示例33所述的光学系统，其中，操作还包括：检测与虚拟图像光对应的图像信息，其中，检测到的信息包括图像信息。

43、示例41：根据示例40所述的光学系统，其中，图像信息包括多个空间分辨的图像亮度值。

44、示例42：根据示例40所述的光学系统，其中，图像信息包括全局图像亮度值。

45、示例43：根据示例33所述的光学系统，其中，操作还包括：基于所检测到的信息来确定用于系统视场的该部分的多个空间分辨的调光值，其中调光器根据多个调光值来调整。

46、示例44：根据示例33所述的光学系统，其中，调光器包括多个像素。

47、示例45：根据示例33所述的光学系统，其中，调光器被调整为在所有系统视场中完全阻挡与世界对象相关联的光的强度。

48、示例46：根据示例33所述的光学系统，其中，操作还包括：调整与虚拟图像光相关联的亮度。

49、示例47：根据示例33所述的光学系统，其中，虚拟图像光的特征在于图像视场，并且其中图像视场等于系统视场。

50、示例48：一种光学系统，包括：框架，其被配置为围绕光学系统的用户的头部佩戴；调光组件，其由框架承载并且被配置为定位在用户的眼睛与用户的环境之间；眼睛跟踪器，其被配置为监视用户眼睛的定位；以及控制电路，其被通信地耦接到调光组件和眼睛跟踪器的，该控制电路被配置为：从眼睛跟踪器接收数据；基于从眼睛跟踪器接收到的数据来确定沿着用户眼睛的光轴的位置，在该位置处，定位用户眼睛的特定解剖区域；识别位于用户的环境内的三维空间中的一个或多个点；以及对于用户的环境内的一个或多个所识别的点中的每一个点：至少部分地基于用户眼睛的特定解剖区域的所确定的位置和位于用户环境内的三维空间中的相应点来识别调光组件的一个或多个像素的集合；以及控制调光组件以调暗所识别的一个或多个像素的集合。

51、示例49：根据示例48所述的光学系统，其中，用户眼睛的特定解剖区域包括用户眼睛的旋转中心。

52、示例50：根据示例48所述的光学系统，其中，用户眼睛的特定解剖区域包括用户眼睛的瞳孔的中心。

53、示例51：根据示例48所述的光学系统，还包括：投射器，其被配置为发射表示虚拟内容的光；以及波导，其由框架承载并且被配置为定位在用户的眼睛与调光组件之间，其中波导被配置为接收来自投射器的光并将光引导到用户的眼睛。

54、示例52：根据示例51所述的光学系统，其中，控制电路被通信地耦接到投射器，控制电路还被配置为控制投射器以发射表示虚拟内容的一个或多个像素的光。

55、示例53：根据示例52所述的光学系统，其中，位于用户环境内的三维空间中的一个或多个点分别对应于三维空间中的一个或多个位置，在该一个或多个位置处，用户将感知到虚拟内容的一个或多个像素。

56、示例54：根据示例52所述的光学系统，其中，虚拟内容的一个或多个像素包括虚拟对象的多个像素。

57、示例55：根据示例54所述的光学系统，其中，位于用户环境内的三维空间中的一个或多个点对应于三维空间中一个或多个位置，在该一个或多个位置处，用户将分别感知到与虚拟对象相关联的虚拟阴影的一个或多个像素。

58、示例56：根据示例48所述的光学系统，其中，位于用户环境内的三维空间中的一个或多个点对应于三维空间中的由用户环境中的真实世界对象物理地占据的一个或多个点。

59、示例57：根据示例48所述的光学系统，其中，为了识别调光组件的一个或多个像素的集合，控制电路被配置为：将来自位于用户环境内的三维空间中的相应点的一个或多个射线的集合投射到用户眼睛的特定解剖区域的所确定的位置；以及识别该一个或多个射线的集合与调光组件之间的一个或多个交点的集合。

60、示例58：根据示例48所述的光学系统，其中，调光组件在形状上是弯曲的。

61、示例59：根据示例48所述的光学系统，其中，控制电路还被配置为分别确定用于调光组件的所识别的一个或多个像素的集合的一个或多个调光值的集合，并且其中，控制电路被配置为控制调光组件以根据所确定的一个或多个调光值的集合来调暗所识别的一个或多个像素的集合。

62、示例60：根据示例59所述的光学系统，其中，控制电路还被配置为基于从眼睛跟踪器接收到的数据来确定用户眼睛的一个或多个特征，并且其中控制电路被配置为至少部分地基于用户眼睛的一个或多个所确定的特征来确定用于所识别的调光组件的一个或多个像素的集合的一个或多个调光值的集合。

63、示例61：根据示例60所述的光学系统，其中，用户眼睛的一个或多个特征包括用户眼睛的瞳孔尺寸、用户眼睛的瞳孔直径、用户眼睛的视锥和视杆位置、以及用户眼睛的晶状体的适应状态中的一个或多个。

64、示例62：根据示例61所述的光学系统，其中，控制电路被配置为至少部分地基于用户眼睛的一个或多个所确定的特征来识别调光组件的一个或多个像素的集合。

65、示例63：根据示例59所述的光学系统，还包括：投射器，其被通信地耦接到控制电路并且被配置为发射表示虚拟内容的光；以及波导，其由框架承载并且被配置为定位在用户的眼睛与调光组件之间，其中波导被配置为接收来自投射器的光并将光引导到用户的眼睛，其中控制电路还被配置为控制投射器以便分别以一个或多个亮度水平发射表示虚拟内容的一个或多个像素的光，并且其中控制电路被配置为至少部分地基于虚拟内容的一个或多个像素的一个或多个亮度水平来分别确定用于所识别的调光组件的一个或多个像素的集合的一个或多个调光值的集合。

66、示例64：根据示例63所述的光学系统，其中，控制电路被配置为至少部分地基于针对虚拟内容指定的预定对比度和预定可见度水平中的一个或多个来分别确定用于所识别的调光组件的一个或多个像素的集合的一个或多个调光值的集合。

67、示例65：根据示例63所述的光学系统，其中，虚拟内容包括虚拟对象，并且其中控制电路被配置为至少部分地基于虚拟对象的一个或多个特征来识别调光组件的一个或多个像素的集合。

68、示例66：根据示例65所述的光学系统，其中，虚拟对象的一个或多个特征包括虚拟对象的尺寸、虚拟对象的形状、在用户环境中虚拟对象将被用户感知到的位置、以及虚拟对象将被用户感知到的深度中的一个或多个。

69、示例67：根据示例59所述的光学系统，还包括：光学传感器，其被通信地耦接到控制电路并且被配置为分别监视与用户环境中的一个或多个部分相关联的光的一个或多个亮度水平，并且其中控制电路被配置为至少部分地基于与用户环境中的一个或多个部分相关联的一个或多个亮度水平来确定用于所识别的调光组件的一个或多个像素的集合的一个或多个调光值的集合。

70、示例68：根据示例67所述的光学系统，其中，光学传感器包括相机。

71、示例69：根据示例67所述的光学系统，其中，光学传感器包括一个或多个光电二极管。

72、示例70：根据示例67所述的光学系统，还包括：投射器，其别通信地耦接到控制电路并且被配置为发射表示虚拟内容的光；以及波导，其由框架承载并且被配置为定位在用户的眼睛与调光组件之间，其中波导被配置为接收来自投射器的光并将其引导到用户的眼睛，并且其中控制电路还被配置为控制投射器以发射表示虚拟内容的一个或多个像素的光。

73、示例71：根据示例70所述的光学系统，其中，虚拟内容包括虚拟对象，并且其中与一个或多个亮度水平相关联的用户环境中的一个或多个部分包括将被用户感知为被虚拟对象遮挡的用户环境中的特定部分。

74、示例72：根据示例70所述的光学系统，其中，控制电路还被配置为至少部分地基于与用户环境中的一个或多个部分相关联的一个或多个亮度水平来控制投射器以发射表示虚拟内容的一个或多个像素的光。

75、示例73：根据示例48所述的光学系统，其中，眼睛跟踪器被配置为监视用户的眼睛相对于调光组件的定位。

76、示例74：一种光学系统，其包括：框架，其被配置为围绕光学系统的用户的头部佩戴；左调光组件，其由框架承载并且被配置为定位在用户的左眼与用户的环境之间；右调光组件，其由框架承载并且被配置为定位在用户的右眼与用户的环境之间；以及控制电路，其被通信地耦接到左调光组件和右调光组件，并且被配置为：识别位于用户环境内的三维空间中的一个或多个点；以及对于用户环境内的一个或多个所识别的点中的每一个点：至少部分地基于位于用户环境内的三维空间中的相应点来识别左调光组件的一个或多个像素的集合；至少部分地基于位于用户环境内的三维空间中的相应点来识别右调光组件的一个或多个像素的集合；控制左调光组件以调暗所识别的左调光组件的一个或多个像素的集合；以及控制右调光组件以调暗所识别的右调光组件的一个或多个像素的集合。

77、示例75：根据示例74所述的光学系统，还包括：左眼睛跟踪器，其被通信地耦接到控制电路并且被配置为监视用户的左眼的定位；以及右眼睛跟踪器，其被通信地耦接到控制电路并且被配置为监视用户的左眼的定位；其中控制电路还被配置为：从左眼睛跟踪器和右眼睛跟踪器接收数据；基于从左眼睛跟踪器接收到的数据来确定沿着用户左眼的光轴的位置，在该位置处，定位用户左眼的特定解剖区域；以及基于从右眼睛跟踪器接收到的数据来确定沿着用户右眼的光轴的位置，在该位置处，定位用户右眼的特定解剖区域。

78、示例76：根据示例75所述的光学系统，其中，控制电路被配置为：至少部分地基于用户左眼的特定解剖区域的所确定的位置和位于用户环境内的三维空间中的相应点来识别左调光组件的一个或多个像素的集合；以及至少部分地基于用户右眼的特定解剖区域的所确定的位置和位于用户环境内的三维空间中的相应点来识别右调光组件的一个或多个像素的集合。

79、通过本公开借助于常规技术实现了许多益处。例如，本文中所描述的增强现实(ar)装置可通过全局调暗及/或选择性地调暗到达用户眼睛的环境光，来以变化的光水平(从暗的室内到明亮的室外)使用。本发明的实施例通过使用像素化的调光器(dimmer)以使世界光衰减大于99％来允许单个装置中的ar和虚拟现实(vr)能力。本发明的实施例还使用具有离散或连续的可变深度平面切换技术的可变聚焦元件来缓解聚散(vergence)适应(accommodation)冲突。本发明的实施例通过基于检测到的环境光量优化投射器亮度来改善ar装置的电池寿命。本公开的其他益处对于本领域技术人员将是显而易见的。