从单个相机确定深度信息的制作方法

从单个相机确定深度信息
1.相关申请案的交叉参考
2.本技术案主张2019年12月6日申请的第62/944,979号美国临时申请案的权益，所述申请案特此以引用的方式并入。
技术领域
3.本发明涉及从单个相机确定深度信息，且更具体来说涉及使用感测像素来从单个相机确定深度信息，所述感测像素各自包括微透镜及在所述微透镜下方的多个光电二极管。


背景技术：

4.捕获3d图像可基于从相机确定表面的元件的深度信息。公开用于使用单个相机从相机确定表面的深度信息的方法及设备。
5.存在用于捕获3d图像的许多解决方案，其包含立体相机、飞行时间及结构光。在使用结构光的解决方案中，由垂直空腔表面发射激光器(vcsel)发射的结构光被投射到目标表面上。在使用飞行时间的解决方案中，激光脉冲被投射在目标表面上。如果目标是人脸，那么所投射激光可能会对人眼造成伤害。人脸的3d成像最近被用于解锁智能手机。
6.立体相机解决方案需要足够的视差，所述视差继而需要两个相机之间的相对较大的基线。飞行时间解决方案需要先进电子处理器来确定光发出时间与反射光接收时间之间极短的时间差。结构光解决方案需要相对更复杂的光学系统用于投射结构光，因此其可为相对较大以在智能手机中使用。
7.因此，需要用于捕获3d图像，尤其用于在智能手机中使用的新解决方案。新解决方案可能不改变例如智能手机的装置的大小，且理想地可能不改变相机的基本元件，因此其将不会使装置复杂化。


技术实现要素：

8.本公开的一个实施例提供一种光学系统，其包括：成像透镜，其用于将对象成像为图像；及感测像素阵列，其用于检测来自所述对象的光，其中每一光朝向所述图像穿过所述成像透镜的不同部分；其中所述感测像素阵列包括第一感测像素及第二感测像素，每一感测像素包括微透镜，所述微透镜覆盖具有n个光电二极管的一维系列光电二极管，n是大于二的整数；其中在所述第一感测像素的所述一维系列光电二极管的末端处的光电二极管检测自所述对象朝向所述图像的第一光，并且在所述第二感测像素的所述一维系列光电二极管的相对末端处的光电二极管检测自所述对象朝向所述图像的第二光；其中所述第一光及所述第二光穿过所述成像透镜的相对部分；及其中所述第一感测像素及所述第二感测像素的位置用于确定所述对象到所述成像透镜的距离。
9.本公开的另一实施例提供一种光学系统，其包括：成像透镜，其用于将对象成像为图像；感测像素阵列，其用于检测自所述对象朝向所述图像穿过所述成像透镜的光；及在所
述光学系统的光轴处的遮光罩，其阻挡光自所述对象朝向所述图像穿过所述成像透镜的中心部分；其中所述感测像素阵列包括第一感测像素及第二感测像素，每一感测像素包括覆盖一对光电二极管的微透镜；其中在所述第一感测像素的所述一对光电二极管的一侧处的光电二极管检测自所述对象朝向所述图像的第一光，并且在所述第二感测像素的所述一对光电二极管的相对侧处的光电二极管检测自所述对象朝向所述图像的第二光；其中所述第一光及所述第二光穿过所述成像透镜的相对部分；及其中所述第一感测像素及所述第二感测像素的位置用于确定所述对象到所述成像透镜的距离。
附图说明
10.参考以下图式描述本发明的非限制性及非详尽实例，其中相似参考数字贯穿各种视图指代相似部分，除非另有规定。
11.图1示意性地说明根据本发明的实施例的用以描述相位检测自动聚焦(pdaf)的原理的光学系统。
12.图2示意性地说明根据本发明的实施例的类似于图1的光学系统的光学系统。
13.图3示意性地说明根据本发明的实施例的类似于图1及图2的光学系统的光学系统。
14.图4示意性地说明根据本发明的实施例的类似于图1、图2及图3的光学系统的光学系统。
15.图5a说明根据本发明的实施例的包括覆盖两个光电二极管的微透镜的感测像素。
16.图5b说明根据本发明的实施例的包括覆盖2
×
2个光电二极管的微透镜的感测像素。
17.图6a说明根据本发明的实施例的包括覆盖三个光电二极管的微透镜的感测像素。
18.图6b说明根据本发明的实施例的包括覆盖3
×
3个光电二极管的微透镜的感测像素。
19.图7a说明根据本发明的实施例的包括覆盖五个光电二极管的微透镜的感测像素。
20.图7b说明根据本发明的实施例的包括覆盖五个光电二极管的微透镜的感测像素。
21.图7c说明根据本发明的实施例的包括覆盖5
×
5个光电二极管的微透镜的感测像素。
22.图8说明根据本发明的实施例的类似于图3的光学系统的光学系统。
23.图9a说明根据本发明的实施例的可移除圆形遮光罩的机构。
24.图9b说明根据本发明的实施例的可移除十字形遮光罩的机构。
25.图10a说明根据本发明的实施例的完全透明液晶开关。
26.图10b说明根据本发明的实施例的具有圆形形状的液晶开关的中心不透明部分。
27.图10c说明根据本发明的实施例的液晶开关的中心不透明部分的大小被减小及增大。
28.图10d说明根据本发明的实施例的具有十字形的液晶开关的不透明部分。
29.图11a说明根据本发明的实施例的进一步包括彩色滤光片的感测像素。
30.图11b说明根据本发明的实施例的进一步包括彩色滤光片的感测像素。
31.图11c说明根据本发明的实施例的进一步包括彩色滤光片的感测像素。
32.对应参考符号贯穿附图的若干视图指示对应组件。所属领域的技术人员应了解，图中的元件出于简单及清楚的目的而说明，且未必是按比例绘制。举例来说，图中一些元件的尺寸可相对于其它元件被夸大以帮助提高对本发明的各种实施例的理解。
具体实施方式
33.在以下描述中，阐述众多特定细节以便提供对本发明的透彻理解。然而，所属领域的技术人员将清楚，无需采用特定细节来实践本发明。在其它情况下，尚未详细描述众所周知的材料或方法以便避免混淆本发明。
34.贯穿本说明书对“一项实施例”或“一个实施例”的参考意指结合所述实施例所描述的特定特征、结构或特性被包含于本发明的至少一项实施例中。因此，贯穿本说明书的各种地方的短语“在一项实施例中”或“在一个实施例中”的出现未必皆是指同一实施例。此外，在一或多个实施例中，可以任何合适组合及/或子组合组合特定特征、结构或特性。
35.图1示意性地说明根据本发明的实施例的用以描述相位检测自动聚焦(pdaf)的原理的光学系统100。光学系统100包括成像透镜110及包括感测像素140、142及其它的感测像素的阵列102。感测像素的阵列及感测像素阵列具有相同含义。感测像素140包括微透镜150、右光电二极管152r及左光电二极管152l。类似地，感测像素142包括微透镜160、右光电二极管162r及左光电二极管162l。
36.对象120由成像透镜110成像以形成图像122。感测像素的阵列102检测来自对象120的光，其中每一光朝向图像122穿过成像透镜110的不同部分。成像透镜110由遮光罩(未展示)覆盖，所述遮光罩具有开口112及开口114。开口112及开口114在成像透镜110的相对部分处。来自对象120的光130穿过开口112并到达成像像素142。光130由微透镜160朝向左光电二极管162l折射。来自对象120的光132穿过开口114并到达成像像素140。光132由微透镜150朝向右光电二极管152r折射。光130及光132在图像122处相交。光130及光132穿过成像透镜110的相对部分。
37.在感测像素的阵列102中，仅感测像素140的右光电二极管152r检测到来自左侧的光132，其被展示为图的下部分。并且仅感测像素142的左光电二极管162l检测到来自右侧的光130，其被展示为图的上部分。感测像素140的左光电二极管152l及感测像素142的右光电二极管162r未检测到来自对象120的光。
38.选择感测像素的所有右光电二极管以形成右图像，并且选择感测像素的所有左光电二极管以形成左图像。在此特定实例中，对象120在感测像素140处成像在右图像中。对象120在感测像素142处成像在左图像中。距离d 170是感测像素140与142之间的距离。距离d 170是对象120的右图像与左图像之间的距离。如果距离d 170已知，那么开口112及114之间的距离已知，并且成像透镜110与感测像素的阵列102之间的距离已知，可确定图像122的位置。图像122的位置取决于对象120的位置，因此也可确定对象120相对于成像透镜110的位置。换句话说，感测像素140及142的位置用于确定对象120到成像透镜110的距离。因此，可使用包括成像透镜110及感测像素的阵列102的单个相机来确定对象120距成像透镜110的深度信息。因此，可获得由多个对象120形成的3d表面，例如人脸。
39.感测像素140包括覆盖一对光电二极管152r及152l的微透镜150，且感测像素142包括覆盖一对光电二极管162r及162l的微透镜160。在感测像素140的所述一对光电二极管
的一侧(右侧)处的光电二极管152r检测自对象120朝向图像122的光132，且在感测像素142的所述一对光电二极管的相对侧(左侧)处的光电二极管162l检测自对象120朝向图像122的光130。光132及光130穿过成像透镜110的相对部分。
40.光学系统100也可执行自动聚焦。当距离d 170为零时，图像122在感测像素的阵列102上。换句话说，感测像素的阵列102检测聚焦图像。举例来说，距离d 170(其为对象120的右图像与左图像的距离)通常由分别由右及左光电二极管形成的右及左图像之间的相关性来确定。
41.然而，在一些实施例中，成像透镜110未由具有开口112及114的任何遮光罩覆盖。图2示意性地说明根据本发明的实施例的类似于图1的光学系统100的光学系统200。成像透镜210未被任何遮光罩覆盖，因此所有光130、132、134、136及138穿过成像透镜210的不同部分，并且在图像122处相交。来自右侧的光130到达感测像素142，并且将朝向感测像素142的左光电二极管162l折射。也来自右侧的光134到达感测像素146，并且将朝向感测像素146的左光电二极管折射。来自左侧的光132到达感测像素140，并且将朝向感测像素140的右光电二极管152r折射。也来自左侧的光136到达感测像素144，并且将朝向感测像素144的右光电二极管折射。光138将在感测像素148的右及左光电二极管之间相等地分割，或可由右与左光电二极管之间的分割器阻挡。
42.所形成右图像包含具有来自对象120的光的右光电二极管信号的感测像素140及144。类似地，所形成左图像包含具有来自对象120的光的左光电二极管信号的感测像素142及146。因此距离d 170的确定将不精确。对象120的右图像及左图像从一个像素模糊到两个像素。换句话说，信噪比降低。因此，表面的三维重建也将劣化。
43.图3示意性地说明根据本发明的实施例的光学系统300。图3类似于图1及图2。成像透镜210被中心遮光罩310覆盖以阻挡从对象120通过成像透镜210的中心部分传播到图像122的光134、136及138。以此方式，可接近图1中所展示的开口112及114的效果。应了解，低f值透镜将提供更好的相位差检测。因为低f值镜头将产生更大的距离d 170。
44.图4示意性地说明根据本发明的实施例的光学系统400。图4类似于图1、图2及图3。成像透镜210未被任何遮光罩覆盖以阻挡从对象120传播到图像122的光134、136及138。
45.光学系统400包括成像透镜210及包括感测像素440、442、444及其它的感测像素的阵列402。感测像素440包括微透镜450、右光电二极管452r、中心光电二极管452c及左光电二极管452l。感测像素442包括微透镜460、右光电二极管462r、中心光电二极管462c及左光电二极管462l。感测像素444包括微透镜470、右光电二极管472r、中心光电二极管472c及左光电二极管472l。
46.由于成像透镜210未被任何遮光罩覆盖，因此所有光130、132、134、136及138穿过成像透镜210的不同部分，并且在图像122处相交。来自右侧的光130到达感测像素442，并且将由微透镜460朝向感测像素442的左光电二极管462l折射。也来自右侧的光134到达同一感测像素442，并且将由微透镜460朝向感测像素442的中心光电二极管462c折射。来自左侧的光132到达感测像素440，并且将由微透镜450朝向感测像素440的右光电二极管452r折射。也来自左侧的光136到达同一感测像素440，并且将由微透镜450朝向感测像素440的中心光电二极管452c折射。光138到达感测像素444并且将由微透镜470引导朝向中心光电二极管472c。
47.为形成右图像，仅考虑由右光电二极管检测到的信号。来自中心光电二极管及左光电二极管的信号被忽略。类似地，为形成左图像，仅考虑由左光电二极管检测到的信号。来自中心光电二极管及右光电二极管的信号被忽略。因此，在感测像素的阵列402中，仅感测像素440的右光电二极管452r检测到来自对象120的光132。并且仅感测像素442的左光电二极管462l检测到来自对象120的光130。因此可获得距离d 170的高信噪值，类似于图1及图3所展示的效果。
48.图5a说明根据本发明的实施例的包括覆盖光电二极管512及514的微透镜510的感测像素500。感测像素500可为图3的感测像素140，光电二极管512可为光电二极管152l，且光电二极管514可为光电二极管152r。以此方式，感测像素500或140可仅在一个方向(即，方向x)上检测相位差。
49.图5b说明根据本发明的实施例的包括覆盖2
×
2个光电二极管522、524、526及528的微透镜520的感测像素502。感测像素502可为图3的感测像素140。一对光电二极管522及524以及一对光电二极管526及528可用于检测在方向x上的相位差。一对光电二极管522及526以及一对光电二极管524及528可用于检测在垂直于方向x的方向y上的相位差。一对光电二极管522及528可检测在对角线方向上的相位差。一对光电二极管524及526可检测在另一对角线方向上的相位差。以此方式，感测像素502或140可至少在两个方向上检测相位差。光电二极管522及524对可为图5a的光电二极管512及514对。
50.图6a说明根据本发明的实施例的包括覆盖具有三个光电二极管612、614及616的一维系列光电二极管的微透镜610的感测像素600。感测像素600可为图4的感测像素440，光电二极管612可为光电二极管452l，光电二极管614可为光电二极管452c，且光电二极管616可为光电二极管452r。以此方式，感测像素600或140可仅在一个方向(即，方向x)上检测相位差。
51.图6b说明根据本发明的实施例的包括覆盖具有3
×
3个光电二极管622、624、626、628、630、632、634、636及638的光电二极管的二维阵列的微透镜620的感测像素602。感测像素602可为图4的感测像素440。一系列光电二极管622、624及626、一系列光电二极管628、630及632以及一系列光电二极管634、636及638可用于检测在方向x上的相位差。一系列光电二极管622、628及634、一系列光电二极管624、630及636以及一系列光电二极管626、632及638可用于检测在垂直于方向x的方向y上的相位差。一系列光电二极管622、630及638可检测在对角线方向上的相位差。一系列光电二极管626、630及634可检测在另一对角线方向上的相位差。以此方式，感测像素602或440可至少在两个方向上检测相位差。
52.为形成右图像，仅选择右光电二极管，为形成左图像，仅选择左光电二极管。中心光电二极管在形成右及左图像时不起任何作用。然而，中心光电二极管可用于形成整个图像，尤其是用于形成聚焦图像。
53.关于图4的感测像素440，微透镜下方覆盖的光电二极管可进一步扩展到一维系列中的五个或更多个光电二极管，或二维阵列中的5
×
5个或更多个光电二极管。举例来说，图7a说明根据本发明的实施例的包括覆盖具有五个光电二极管712、714、716、718及720的一维系列光电二极管704的微透镜710的感测像素700。
54.感测像素700可为图4的经扩展感测像素440。一维系列光电二极管704可对应于图4的光电二极管452r、452c及452l。光电二极管720可为图4的光电二极管452r。以此方式，光
132由微透镜710折射入射到光电二极管720，且光136由微透镜710折射入射到光电二极管718。在一维系列光电二极管704的末端处的光电二极管720检测自对象120朝向图像122的光132。
55.图7b说明根据本发明的实施例的包括覆盖具有五个光电二极管722、724、726、728及730的一维系列光电二极管706的微透镜740的感测像素702。感测像素702可为图4的经扩展感测像素442。一维系列光电二极管706可对应于图4的光电二极管462r、462c及462l。光电二极管722可为图4的光电二极管462l。以此方式，光130由微透镜720折射入射到光电二极管722，且光134由微透镜720折射入射到光电二极管724。在一维系列光电二极管706的相对末端(参考一维系列光电二极管704)处的光电二极管722检测自对象120朝向图像122的光130。
56.图7c说明根据本发明的实施例的包括覆盖具有5
×
5个光电二极管752的光电二极管的二维阵列754的微透镜750的感测像素704。光电二极管的二维阵列754可包含图7a的一维系列光电二极管704。感测像素704可为图4的经扩展感测像素440。类似于包括图6b的3
×
3个光电二极管的感测像素602，感测像素704能够检测在方向x、方向y及两个对角线方向上的相位差。
57.应了解，感测像素可包括微透镜，所述微透镜覆盖具有n个光电二极管的一维系列光电二极管或具有n
×
n个光电二极管的光电二极管的二维阵列，其中n是大于2的整数。在感测像素700的一维系列光电二极管704的末端处的光电二极管720检测自对象120朝向图像122的光132，并且在感测像素702的一维系列光电二极管706的相对末端处的光电二极管722检测自对象120朝向图像122的光130，其中光132及光130穿过成像透镜210的相对部分。
58.图8说明根据本发明的一个实施例的类似于图3的光学系统300的光学系统800。光学系统800具有光轴814。阻挡从对象120通过成像透镜210的中心部分传播到图像122的光134、136及138的中心遮光罩310可由在挡止平面812处的中心遮光罩810替代。挡止平面812可位于成像透镜210与图像122之间的任何平面处。随着挡止平面812接近图像122，中心遮光罩810的大小减小。中心遮光罩810阻挡从对象120通过成像透镜210的中心部分传播到图像122的光134、136及138。挡止平面812可位于成像透镜210处，因此中心遮光罩810等同于中心遮光罩310。如果成像透镜210是包含一个以上透镜的透镜系统，那么挡止平面812可为透镜系统的挡止平面。
59.图9a说明根据本发明的实施例的可移除圆形中心遮光罩810的机构。挡止平面812包含空的空间912。圆形遮光罩810定位在以垂直于挡止平面812的光轴814为中心的空的空间912内。圆形遮光罩810阻挡从对象120通过成像透镜210的中心部分传播到图像122的光134、136及138。圆形遮光罩810可通过将其沿箭头916从作为圆形遮光罩910的挡止平面812移动到关闭位置来移除，以使光134、136及138穿过成像透镜210的中心部分。当需要中心遮光罩时，圆形遮光罩910沿箭头914移动到在光轴814处居中作为圆形遮光罩810。圆形中心遮光罩可由致动器(未展示)移动。
60.图9b说明根据本发明的实施例的可移除十字形中心遮光罩920的机构。图9b类似于图9a。挡止平面812包含空的空间912。十字形遮光罩920定位在以垂直于挡止平面812的光轴814为中心的空的空间912内。十字形遮光罩920阻挡从对象120通过成像透镜210的中心部分传播到图像122的光134、136及138。十字形遮光罩920可通过将其沿箭头916从作为
十字形遮光罩930的挡止平面812移动到关闭位置来移除，以使光134、136及138穿过成像透镜210的中心部分。当需要中心遮光罩时，十字形遮光罩930沿箭头914移动到在光轴814处居中作为十字形遮光罩920。十字形中心遮光罩可由致动器(未展示)移动。
61.图10a到c说明根据本发明的实施例的可移除中心遮光罩的另一机构。图10a到c说明定位在例如图8的挡止平面812的挡止平面处的液晶开关(lcs)1012。图10a说明lcs 1012是完全透明的。因此，如在图8中所展示的所有光130、132、134、136、138将透射穿过lcs 1012。图10b说明具有圆形形状的lcs 1012的中心部分1010变得不透明并且将阻挡光134、136及138，如图8中所展示。此外，图10c说明可减小及增大中心部分1010的大小，举例来说，展示更大中心遮光罩1014。这将适当地控制右及左光电二极管信号的信噪比分别与总强度的平衡。将了解，lcs 1012可改变不透明及透明部分的图案，因此其可改变具有圆形形状的中心遮光罩1010的大小。
62.图10d说明根据本发明的实施例的具有lcs 1012的十字形1016的不透明部分。类似于图9b的十字形遮光罩920，不透明部分1016阻挡光134、136及138，如图8中所展示。lcs 1012可改变不透明及透明部分的图案。lcs包括两个偏振器、两个电极及两个电极之间的液晶材料。两个电极安置在两个偏振器之间。lcs的透射率是可电子控制的。
63.图11a说明根据本发明的实施例的进一步包括彩色滤光片1102的图1到3及8的感测像素140。因此，感测像素140包括微透镜150以及被彩色滤光片1102覆盖的光电二极管152r及152l。类似地，图1到3及8的感测像素142也包括彩色滤光片。感测像素140及142的彩色滤光片可具有相同颜色或不同颜色。
64.图5a的光电二极管512及514对与感测像素140的光电二极管152l及152r对相同。光电二极管512及514对被彩色滤光片覆盖。类似地，图5b的2
×
2个光电二极管522、524、526及528被彩色滤光片覆盖。两个感测像素的光电二极管对被两个彩色滤光片覆盖。两个彩色滤光片可具有相同颜色或不同颜色。类似地，两个感测像素的2
×
2个光电二极管分别被两个彩色滤光片覆盖。两个彩色滤光片可具有相同颜色或不同颜色。
65.图11b说明根据本发明的实施例的进一步包括彩色滤光片1104的图4的感测像素440。因此，感测像素440包括微透镜450及被彩色滤光片1104覆盖的光电二极管452r、452c及452l。类似地，图4的感测像素442也包括彩色滤光片。感测像素440及442的彩色滤光片可具有相同颜色或不同颜色。
66.图11c说明根据本发明的实施例的进一步包括彩色滤光片1106的图7a的感测像素700。因此，感测像素700包括微透镜710及具有被彩色滤光片1106覆盖的五个光电二极管712、714、716、718及720的一维系列光电二极管704。类似地，图7b的感测像素702也包括彩色滤光片。感测像素700及702的彩色滤光片可具有相同颜色或不同颜色。
67.具有5个或n个光电二极管704的一维系列光电二极管被彩色滤光片1106覆盖。类似地，具有图7c的感测像素704的5
×
5个或n
×
n个光电二极管754的光电二极管的二维阵列可被彩色滤光片覆盖。具有5
×
5个或n
×
n个光电二极管的两个感测像素的彩色滤光片可具有相同颜色或不同颜色。
68.虽然本发明已经在本文中关于示范性实施例及用于实践本发明的最优模式进行描述，但对于所属领域的一般技术人员显而易见，在不脱离本发明的精神及范围的情况下，可对本发明进行各种实施例、调适及变动的许多修改、改进及子组合。
69.所附权利要求书中使用的术语不应被解释为将本发明限于说明书及权利要求书中所公开的特定实施例。而是，范围应完全由所附权利要求书确定，所述所附权利要求书应根据权利要求解释的既定原则来解释。因此，本说明书及图被认为是说明性的而不是限制性的。