图像聚焦方法和相关联的图像传感器与流程

图像聚焦方法和相关联的图像传感器


背景技术：

1.许多数字相机都有自动对焦能力。自动聚焦可以是全自动的，使得相机识别场景中的物体并聚焦在物体上。在某些情况下，相机甚至可以决定哪些物体比其他物体更重要，并随后聚焦于更重要的物体。可选地，自动聚焦可以利用规定场景的哪个或哪些部分是感兴趣的用户输入。基于此，自动聚焦功能识别由用户规定的在部分场景内的物体，并将相机聚焦在这些物体上。
2.许多数字相机使用对比度自动对焦，其中自动对焦功能调整成像物镜以最大化至少部分场景中的对比度，从而将场景的该部分聚焦。最近，相位检测自动对焦越来越受欢迎，因为它比对比度自动对焦更快。相位检测自动聚焦通过比较穿过成像物镜的一部分(例如，左部)的光与穿过成像物镜的另一部分(例如，右部)的光，直接测量散焦程度。除了捕捉图像的图像传感器之外，一些数字单透镜反光相机还包括专用的相位检测传感器。
3.然而，这种解决方案对于更紧凑和/或更便宜的相机是不可行的。因此，相机制造商正在开发具有芯片上相位检测的图像传感器，即，通过在图像传感器的像素阵列中包括相位检测自动聚焦(pdaf)像素而具有集成相位检测能力的图像传感器。


技术实现要素：

4.常规的pdaf成像系统在照度不足(例如《10勒克斯)、对比度低和纹理有限中的至少一种情况下对场景进行成像时会出现问题。本文中的实施例弥补了这一缺陷。
5.在第一方面，一种自动聚焦方法包括以下步骤：(i)用包含像素阵列的相机捕捉场景的图像，(ii)计算水平差图像和竖直差图像，(iii)组合水平差图像与竖直差图像以得到组合图像。该方法还包括(iv)从组合图像和强度图像确定相对于相机透镜的像距，相机在该像距处形成场景的至少部分的对焦图像；以及(v)调整像素阵列与透镜之间的距离，直到该距离等于像距。
6.该像素阵列包括(i)多个水平相邻像素对，每个水平相邻像素对位于第一多个微透镜中的相应微透镜的下方，以及(ii)多个竖直相邻像素对。每个竖直相邻像素对位于(a)第一多个微透镜中的相应微透镜或(b)第二多个微透镜中的相应微透镜的下方。
7.对于多个水平相邻像素对中的每一个水平相邻像素对，水平差图像包括第一导出的像素值，该第一导出的像素值映射到像素阵列内水平相邻像素对的位置，并且是由水平相邻像素对的每个像素生成的像素值之间的差的递增函数。对于多个竖直相邻像素对中的每一个竖直相邻像素对，竖直差图像包括第二导出的像素值，该第二导出的像素值映射到像素阵列内竖直相邻像素对的位置，并且是由竖直相邻像素对的每个像素生成的像素值之间的差的递增函数。
8.在第二方面，图像传感器包含像素阵列、耦合到像素阵列的处理器和存储器。该像素阵列包括(i)多个水平相邻像素对，每个水平相邻像素对位于第一多个微透镜中的相应微透镜的下方，以及(ii)多个竖直相邻像素对，每个竖直相邻像素对位于(a)第一多个微透镜中的相应微透镜的下方或者(b)第二多个微透镜中的相应微透镜的下方。存储器存储机
器可读指令，当由处理器执行时，控制处理器以执行第一方面的方法。
附图说明
9.图1示出了示例性使用情境中的图像传感器及其像素阵列。
10.图2a和2b是图1的图像传感器的实施例中存在的相应相邻像素对的示意平面图。
11.图3是图1的图像传感器的实施例中存在的2
×
2像素子阵列的示意平面图。
12.图4是实施例中图1的像素阵列的一部分和与其对准的微透镜的剖视图。
13.图5a-5c是成像系统的相应剖视图，示意性地示出了使用相位检测自动聚焦像素的聚焦。
14.图6是示出了实施例中的物体相对于图1的像素阵列的天顶角αk的示意图。
15.图7是实施例中图1的图像传感器的示意框图。
16.图8是示出了自动聚焦方法的实施例的流程图。
17.图9-11示出了实施例中实施图9的方法的图1的图像传感器的示例聚焦准确度。
具体实施方式
18.图1示出了在示例性使用情境190中具有pdaf像素的图像传感器101。图像传感器101在数字相机180中实施，用于对场景150成像。数字相机180例如是照相手机、紧凑式数字相机、平板相机、计算机相机或任何其他相机。数字相机180利用图像传感器101的芯片上相位检测能力来聚焦场景150。当聚焦时，数字相机180利用图像传感器101捕捉场景150的对焦图像120，而不是散焦图像130。
19.图2a和2b分别是水平相邻像素对240和竖直相邻像素对250的示意平面图。图1和5所示的图像传感器101具有像素阵列200a，像素阵列200a包括多个水平相邻像素对240和多个竖直相邻像素对250。在实施例中，像素阵列200a形成在半导体衬底中，并且图像传感器101是互补金属氧化物半导体(cmos)图像传感器。
20.水平相邻像素对240包括两个水平相邻像素241和242以及微透镜232。微透镜232位于像素241和242上方，并具有光轴233。在一个实施例中，像素241和242可以形成平面阵列，光轴以90度角与该平面阵列相交。
21.虽然微透镜232在图2a和2b的平面图中显示为具有椭圆形横截面，但是它可以具有不同形状的横截面，而不脱离本发明的范围。例如，微透镜232可以在平行于坐标系298的x-y平面的平面中具有矩形横截面，使得它完全覆盖像素241和242。微透镜232可以包括球形表面、椭球形表面或非球形表面的一部分。
22.竖直相邻像素对250是水平相邻像素对240旋转90度使得它平行于坐标系298的x轴定向，并且像素241和242是竖直相邻的。如在图2b所定向，像素241和242可以分别表示为底部像素和顶部像素。
23.在实施例中，每个像素241和像素242都是水平相邻像素对240和竖直相邻像素对250的部分。例如，图3是2
×
2像素子阵列300的示意性平面图，其包括像素311、312、313和314及其上方的微透镜330。微透镜330位于像素311-314上方，使得其光轴331位于像素之间的中心。其上具有微透镜330区域的像素子阵列300的每个侧部相邻像素对可以被视为水平相邻像素对240或竖直相邻像素对250。像素311和312及其上方的微透镜330的区域形成第
一水平相邻像素对240。像素313和314及其上方的微透镜330的区域形成第二水平相邻像素对240。像素311和313及其上方的微透镜330的区域形成第一竖直相邻像素对250。像素312和314及其上方的微透镜330的区域形成第二竖直相邻像素对250。
24.图4是像素阵列200a的像素阵列区域400的剖视图，其包括像素411和412，像素411和412上具有微透镜430。在实施例中，像素阵列区域400是水平相邻像素对240、竖直相邻像素对250和2
×
2像素子阵列300中至少一个的剖视图。微透镜430具有在像素411和412之间中心的光轴431。在实施例中，像素阵列200a包括在微透镜430与像素411和412之间的彩色滤光器421。
25.图5a-5c是pdaf成像系统500的剖视图，其中透镜510在像素阵列200a附近的图像平面512处形成离轴物体550的图像552。透镜510具有在像素阵列中心200ac处与像素阵列200a相交的光轴510a。图像552位于离光轴510a和像素阵列中心200ac一定图像高度hk处。图像平面512和透镜510以像距512z分开，像距512z在这里也用di表示。
26.图5a-5c示出了主光线551(0)、上边缘光线551(1)和下边缘光线551(-1)的传播。在图5a-5c的剖视图中，像素阵列200a包括图2的一列双二极管pdaf像素(例如像素对250)和/或2
×
2像素子阵列300。在图5a中，像素阵列200a在图像平面512的后方。在图5b中，像素阵列200a与图像平面512共面。在图5c中，像素阵列200a在图像平面512的前方。
27.图5a-5c还包括示意性像素列响应503和504，它们分别表示在像素阵列200a的pdaf像素的列内的像素411和412的响应。在该示例中，对于每对像素411和412，像素411比像素412离光轴510a更远，使得像素412在像素411与光轴510a之间。
28.在图5a中，像素阵列200a在图像平面512后方，使得图像552在像素阵列200a处失焦。像素阵列200a距透镜510的距离为511a，该距离对应于距图像平面512的散焦距离δz＝δza》0。像素列响应503a示出左像素的列检测到对应于上边缘光线551(1)的一个强度峰值503a'。像素列响应504a示出了右像素的列检测到对应于下边缘光线551(-1)的一个强度峰值504a'。强度峰值504a'比强度峰值503a'更靠近光轴510a。在像素阵列200a上，强度峰值503a'和504a'以距离δx＝δxa》0分开。
29.在图5b中，像素阵列200a位于图像平面512，使得图像552对焦。像素阵列200a距透镜510的距离为511b，该距离对应于距图像平面512的散焦距离δz＝δzb＝0。像素列响应503b示出了左像素的列检测到一个强度峰值503b'，强度峰值503b'对应于光线551(-1,0,1)入射到该列中相同左像素上。像素列响应504b示出了右像素的列检测到一个强度峰值504b'，强度峰值504b'对应于光线551(-1,0,1)入射到该列中相同右像素上。在像素阵列200a上，强度峰值503b'和504b'以距离δx＝δxb分开，该距离在图5b中被示为等于零。
30.在图5c中，像素阵列200a在图像平面512的前方，使得图像552在像素阵列200a处失焦。像素阵列200a距透镜510一定距离511c，该距离对应于距图像平面512的散焦距离δz＝δzc《0。像素列响应503c示出左像素的列检测到对应于上边缘光线551(1)的一个强度峰值503c'。像素列响应504c示出了右像素的列检测到对应于下边缘光线551(-1)的一个强度峰值504c'。强度峰值504c'比强度峰值503c'离光轴510a更远。在像素阵列200a上，强度峰值503c'与504c'以距离δx＝δxc《0分开。
31.图像传感器101的相位检测自动聚焦的准确度的一个指标，以下称为“pdaf准确度”，是δx的大小如何指示散焦δz的大小。具体地，参考图5b，零散焦(δz＝0)应该对应于
δx＝0。因此，当δz＝0时，δx的大小越小，pdaf准确度越高。
32.图5b表示了图像高度hk、物距do、像距di和天顶角αk。图6是示出像素阵列600a上方物体550相对于z方向的天顶角αk的示意图。像素阵列600a是像素阵列200a的一个示例。像素阵列600a包括(i)多个水平相邻像素对，每个像素对位于第一多个微透镜中的相应微透镜的下方，以及(ii)多个竖直相邻像素对。多个竖直相邻像素对中的每一个位于(a)第一多个微透镜中的相应微透镜或者(b)第二多个微透镜中的相应微透镜的下方。
33.图6示出了像素阵列600a的平面中的水平位移dx和竖直位移dy。天顶角αk可以表达为位移dx和dy以及像素阵列600a的平面上方的高度dz的函数：当dz＝1时，
34.图6还描绘了水平相邻像素对640和竖直相邻像素对650。像素对240和250分别是像素对640和650的示例。2
×
2像素子阵列300的两个水平相邻像素(其上具有微透镜330的区域)是水平相邻像素对640的示例。其上具有微透镜330区域的2
×
2像素子阵列300的竖直相邻像素是竖直相邻像素对650的示例。
35.水平相邻像素对640包括像素641和642。像素641和642的示例包括图2a的像素241和242、图3的像素311和312以及图3的像素313和314。图6描绘了从物体550以天顶角αk向水平相邻像素对640传播的主光线661。主光线661是主光线551(0)的一个示例。当主光线661到达水平相邻像素对640时，像素641和642生成信号，信号分别被转换成像素值v
641
和v
642
。像素值v
641
大于像素值v
642
，因为仅就沿y轴的传播方向而言，主光线661在负y方向上传播。因此，差(v
642-v
641
)是dy的代表。比如dy是差(v
642-v
641
)的递增函数。
36.竖直相邻像素对650包括像素651和652。像素651和652的示例包括图2b的像素241和242、图3的像素311和313以及图4的像素312和314。当从物体550以天顶角αk传播的主光线661到达竖直相邻像素对650时，像素651和652生成信号，该信号分别被转换成像素值v
651
和v
652
。像素值v
652
大于像素值v
651
，因为仅就沿x轴的传播方向而言，主光线661在正x方向上传播。因此，差(v
652-v
651
)是dx的代表。比如dx是差(v
652-v
651
)的递增函数。
37.因为dx和dy二者分别是(v
652-v
651
)和(v
642-v
641
)的递增函数，并且如上文所描述，天顶角αk也是dx和dy的递增函数。例如，天顶角αk是的递增函数。因此，天顶角αk是更简单表达式，例如(v
652-v
651
)2+(v
642-v
641
)2和|v
652-v
651
|+|v
642-v
641
|的递增函数。
38.在本文中并且如本领域中已知的，当(i)f(b)大于或等于f(a)其中b大于a，并且(ii)b和a都在该区间内时，函数f(x)是x值区间内的递增函数。类似地，当f(b)大于f(a)，其中b大于a时，f(x)是区间内的严格递增函数。这里，当任何第一量被描述为任何第二量的递增函数时，递增函数在实施例中是严格递增函数。第一量的示例包括这里公开的导出的像素值。第二量的示例包括由像素阵列200a的一个或多个像素生成的像素值和包括一个或多个像素值的表达式。
39.对于薄透镜，物距do和像距di以及透镜510的焦距f满足薄透镜方程式：天顶角αk等于arctan(hk/di)。天顶角αk对像距di的偏导数得到求解像距di的这个表达式得到因此，对于成
像为图像高度hk的物体550，成像系统500形成物体550的对焦图像的像距di是图像高度hkk和的函数。
40.然而，当物体550的天顶角αk等于主光线透射通过透镜510之后在像素阵列200a上的入射角时，上述像距di的表达式仅适用于简单透镜。在典型的数字相机中，成像透镜是多元件透镜，使得上述像距di的表达式不能用于聚焦相机。本文公开了图7的成像硬件和图8的方法，其中由像素阵列200a记录的图像被处理以得到具有与天顶角αk相关联的特征的中间图像。这些中间图像被进一步处理以确定像距di。
41.图7是图像传感器701的示意框图，其是图1的图像传感器101的示例。图像传感器701包含像素阵列200a、通信耦合到像素阵列200a的处理器702和图像传感器存储器704。图像传感器存储器704存储机器可读指令作为软件720。图像传感器存储器704还存储中间图像740和计算的像距792。
42.存储器704表示易失性存储器(例如，ram、dram、sram、计算机领域中已知的其他易失性存储器及其任意组合)和非易失性或非暂时性存储器(例如flash、rom、磁存储器、磁盘和计算机领域中已知的其他非易失性存储器)中的一者或两者。存储器704被说明性地示出为存储软件720，软件720被实施为机器可读指令，当由处理器702执行时，机器可读指令控制处理器702提供如本文所描述的图像传感器701的功能。例如，成像透镜782在像素阵列200a上形成图像，像素阵列200a将该图像存储为捕捉的图像710。
43.在实施例中，图像传感器701是相机780的一部分，相机780是图1的数字相机180的示例。相机780包括成像透镜782，成像透镜782被配置成将场景成像到像素阵列200a上。相机780还包括通信耦合到图像传感器701的透镜马达控制器750。透镜马达控制器750机械耦合到成像透镜782和图像传感器701中的至少一个。成像透镜782和像素阵列200a以距离786分开，在实施例中，该距离786沿着垂直于像素阵列200a的平面的成像透镜782的光轴。
44.当像素阵列200a包括n个像素子阵列300(i,ii,iii,
…
,n)时，其中n是正整数，捕捉的图像710包括n个像素值集合711，其中的每个集合包括像素值712(1,2,3,4)。像素值712(1)、712(2)、712(3)和712(4)分别由像素子阵列300的像素311、312、313和314生成。在实施例中，捕捉的图像710是原始图像，并且图像传感器存储器704以原始图像格式存储捕捉的图像710。
45.软件720包括图像生成器722、图像组合器724、对焦像距估计器726和信号数据生成器729。在实施例中，软件720包括减法器728。在实施例中，图像传感器存储器存储致动器位置752，其可以等于距离786。
46.图像生成器722和图像组合器724从捕捉的图像710生成中间图像740。像距估计器726从中间图像740计算像距792。当距离786等于像距792时，捕捉的图像710是对焦图像。
47.信号数据生成器729从像距792产生致动数据796。在实施例中，致动数据796包括像距792或者从像距792导出。在实施例中，减法器728从透镜马达控制器750接收致动器位置752。当致动器位置752等于距离786时，减法器728生成作为致动器位置752与像距792之间的差的平移向量794。当致动器位置752不等于距离786时，图像传感器存储器704可以存储致动器映射数据754，例如将致动器位置752映射到距离786的查找表。在这样的实施例中，减法器728从像距792、致动器位置752和致动器映射数据754生成平移向量794。
48.图像传感器701作为控制信号709传输到透镜马达控制器750。响应于接收到控制
信号709，透镜马达控制器750调整成像透镜782与像素阵列200a之间的距离786，直到距离786等于计算的像距792，使得相机780捕捉相机780的视野中的场景的对焦图像798。对焦图像798存储在存储器708中，存储器708可以是图像传感器存储器704的一部分，或者是与其不同的存储介质。
49.中间图像740包括水平差图像741，水平差图像741包括导出的像素值742。每个导出的像素值742被映射到像素阵列200a内的相应水平相邻像素对的位置。水平相邻像素对示例是图2a的水平相邻像素对240，图3的像素311和312，以及图3的像素313和314。每个导出的像素值742是由水平相邻像素对的每个像素生成的像素值之间的差的递增函数。
50.中间图像740还包括竖直差图像743，竖直差图像743包括导出的像素值744。每个导出的像素值744被映射到像素阵列200a内的相应竖直相邻像素对的位置。竖直相邻像素对的示例是图2b的竖直相邻像素对250，图3的像素311和312，以及图3的像素312和314。每个导出的像素值744是由竖直相邻像素对的每个像素生成的像素值之间的差的递增函数。
51.当像素阵列200a包括像素子阵列300(1
–
n)时，每个像素子阵列300生成相应的像素值集合711，并且捕捉的图像710包括n个像素值集合711(1-n)。每个像素值集合711包括像素值712(1-4)。这里，为了简化包括像素值712的数学表达式，像素值v1、v2、v3和v4分别表示像素值712(1)、712(2)、712(3)和712(4)。同样，在本文中，d
742
和d
744
分别表示导出的像素值742和744。
52.在实施例中，导出的像素值742是(v1+v3)-(v2+v4)的递增函数，其中(v1+v3)是由左侧像素311和313生成的像素值之和，(v2+v4)是由右侧像素312和314生成的像素值之和。例如，导出的像素值742可以等于或正比于(v1+v3)-(v2+v4)。在实施例中，导出的像素值742由v1、v2、v3和v4的总和归一化，使得导出的像素值742是((v1+v3)-(v2+v4))/(v1+v2+v3+v4)的递增函数。例如，导出的像素值742可以满足d
742
＝((v1+v3)-(v2+v4))/(v1+v2+v3+v4)，下文中的方程式(1)。
53.在实施例中，导出的像素值744是(v3+v4)-(v1+v2)的递增函数，其中(v3+v4)是由底部像素313和314生成的像素值之和，(v1+v2)是由顶部像素311和312生成的像素值之和。例如，导出的像素值744可以等于或正比于(v3+v4)-(v1+v2)。在实施例中，导出的像素值744由v1、v2、v3和v4的总和归一化，使得导出的像素值742是((v3+v4)-(v1+v2))/(v1+v2+v3+v4)的递增函数。例如，导出的像素值744可以满足d
744
＝((v3+v4)-(v1+v2))/(v1+v2+v3+v4)，下文中的方程式(2)。
54.中间图像740还包括组合图像746，组合图像746包括导出的像素值747，下文中也称为d
747
。在实施例中，每个导出的像素值747是第一导出的像素值和第二导出的像素值相应平方之和的递增函数。例如，导出的像素值747可以满足或或分别为下文中的方程式(3)和(4)。在实施例中，每个导出的像素值747是第一导出的像素值和第二导出的像素值的相应绝对值之和的递增函数。例如，导出的像素值747可以满足d
747
＝|d
742
|+|d
744
|，下文中的方程式(5)。
55.在实施例中，中间图像740还包括强度图像748，强度图像748包括求和像素值749，下文中也称为d
749
。在实施例中，每个求和像素值749等于或正比于(v1+v2+v3+v4)。
56.在实施例中，像距估计器726包括神经网络727。神经网络727基于由训练相机捕捉
的训练图像通过监督式学习来训练，该训练相机具有分别与成像透镜782和像素阵列200a相同的训练相机透镜和训练相机像素阵列。在实施例中，神经网络727是具有至少四个卷积层的卷积神经网络。每个卷积层的核宽度可以是8乘8。
57.图8是示出了自动聚焦方法800的流程图。在实施例中，方法800在相机780的一个或多个方面中实施。在实施例中，方法800由执行软件720的计算机可读指令的处理器702实施。在实施例中，方法800包括步骤810、820、830、850和860。方法800还可以包括步骤840和870中至少一个。
58.步骤810包括用包含像素阵列的相机捕捉场景的图像。该像素阵列包括(i)多个水平相邻像素对，每个像素对位于第一多个微透镜中的相应微透镜的下方，以及(ii)多个竖直相邻像素对，每个像素对位于(a)第一多个微透镜中的相应微透镜的下方或者(b)第二多个微透镜中的相应微透镜的下方。在步骤810的示例中，相机780捕捉场景的图像710。
59.步骤820包括计算水平差图像，对于多个水平相邻像素对中的每一个，该水平差图像包括映射到像素阵列内水平相邻像素对的位置的第一导出的像素值。第一导出的像素值是由水平相邻像素对的每个像素生成的像素值之间的差的递增函数。在步骤820的示例中，图像生成器722计算水平差图像741，水平差图像741包括导出的像素值742。
60.步骤830包括计算竖直差图像，对于多个竖直相邻像素对中的每一个，该竖直差图像包括映射到像素阵列内竖直相邻像素对的位置的第二导出的像素值。第二导出的像素值是由竖直相邻像素对的每个像素生成的像素值之间的差的递增函数。在步骤830的示例中，图像生成器722计算竖直差图像743，竖直差图像743包括导出的像素值744。
61.步骤850包括组合水平差图像和竖直差图像以得到组合图像。在步骤850的示例中，图像组合器724组合水平差图像741与竖直差图像743以得到组合图像746。
62.步骤860包括从组合图像确定相对于相机透镜的像距，相机在该像距处形成场景的至少部分的对焦图像。在步骤860的示例中，像距估计器726从组合图像746确定像距792。
63.在实施例中，方法800省略步骤850，使得由步骤820产生的水平差图像或由步骤830产生的竖直差图像用作输入到步骤860的组合图像。在这样的实施例中，方法800可以相应地跳过步骤820或步骤830。
64.在实施例中，例如，当方法800包括步骤840时，步骤860包括步骤864。步骤864包括从组合图像和强度图像确定相对于相机透镜的像距，相机在该像距处形成场景的至少部分的对焦图像。在步骤864的示例中，像距估计器726从组合图像746和强度图像748确定像距792。
65.在实施例中，捕捉的图像710是包括距相机780不同相应距离的几个物体的场景，使得成像透镜782与像素阵列200a之间没有单个距离786会得到其中几个物体中的每一个都焦点对准的捕捉的图像710。因此，在步骤860的示例中，像距估计器726从组合图像746的感兴趣区域确定像距792，其中感兴趣区域排除组合图像746的至少一个区域。
66.在实施例中，步骤860包括步骤866，步骤866包括用神经网络处理组合图像的至少部分以确定像距。步骤866的神经网络基于训练相机捕捉的训练图像经由监督式学习来训练，该训练相机具有分别与透镜和像素阵列相同的训练相机透镜和训练相机像素阵列。在步骤866的示例中，神经网络727处理组合图像746的至少部分，以确定像距792。
67.步骤870包括调整像素阵列与透镜之间的距离，直到该距离等于像距。在步骤870
的示例中，响应于控制信号709，透镜马达控制器750调整距离786，直到距离786等于像距792。
68.在方法800的实施例中，多个竖直相邻像素对中的每一个位于第一多个微透镜中的相应微透镜的下方。在这样的实施例中，如图3的2
×
2像素子阵列300所示，第一多个微透镜中的每一个都在像素阵列的多个2
×
2像素子阵列的相应2
×
2像素子阵列上方。2
×
2像素子阵列的每个像素既是(i)多个水平相邻像素对之一的像素，也是(ii)多个竖直相邻像素对之一的像素。在这样的实施例中，步骤810、820、830、840和850分别包括步骤812、822、832、842和852。
69.步骤812包括捕捉，捕捉包括利用包含像素阵列的图像传感器分别从2
×
2像素子阵列的左上像素、右上像素、左下像素和右下像素生成像素值v1、v2、v3和v4。在步骤812的示例中，像素阵列200a生成像素值集711(1-n)。每个像素值集711包括像素值712(1)、712(2)、712(3)和712(4)，如以上图7的描述中所叙述，这些像素值由v1、v2、v3和v4表示。
70.步骤822包括计算水平差图像，包括将第一导出的像素值确定为(v1+v3)-(v2+v4)的第一递增函数。在步骤822的示例中，图像生成器722为每个像素子阵列300确定作为(v1+v3)-(v2+v4)的第一递增函数的导出的像素值742。方程式(1)是第一递增函数示例。
71.步骤832包括计算竖直差图像，包括将第二导出的像素值确定为(v3+v4)-(v1+v2)的第二递增函数。在步骤832的示例中，图像生成器722为每个像素子阵列300确定作为(v3+v4)-(v1+v2)的第二递增函数的导出的像素值744。方程式(2)是第二递增函数的示例。
72.步骤842包括计算强度图像，强度图像包括将求和像素值确定为(v1+v2+v3+v4)的第三递增函数。在步骤832的示例中，图像生成器722为每个像素子阵列300确定求和像素值749，求和像素值749是(v1+v2+v3+v4)的递增函数。求和像素值749可以等于或正比于(v1+v2+v3+v4)。
73.步骤852包括确定组合图像的第三导出的像素值，该第三导出的像素值是以下各种之一的第三递增函数：(i)第一导出的像素值和第二导出的像素值的相应平方之和以及(ii)第一导出的像素值和第二导出的像素值的相应绝对值之和。在步骤852的示例中，图像组合器724根据方程式(3)、(4)和(5)之一确定导出的像素值747。
74.图9-11示出了使用神经网络727的相机780的实施例的性能结果。在该实施例中，神经网络727是具有四层和每层十个8
×
8卷积核的卷积神经网络。使用t个训练图像数据集来训练卷积神经网络，每个训练图像数据集包括n个图像。在这个示例中，t＝17且n＝50。在训练图像数据集中的七个中，每个图像都是照片灰卡。其余十个训练图像数据集的每个图像都是室内或室外场景的照片。在实施例中，对于每个训练集，存在相同场景的n个图像。该场景包括n个物体，每个物体位于离相机n个不同距离中的相应距离处，使在各个图像中的50个物体的不同物体处于焦点上。
75.每个数据集的图像被随机分配到三组中的一组：60％用于训练，20％用于验证，20％用于测试。在训练期间，使用平均绝对误差度量和adam优化来优化神经网络727的权重。
76.图9是散点图900，示出了对于相机780的实施例，随着为聚焦所需的实际透镜移动910变化的为聚焦所需的预测透镜移动920。预测的透镜移动是图7的平移向量794的示例。在散点图900中，ρ表示spearman等级相关系数，dn(数字)是任意单位。
+v3+v4)的第二递增函数；并且组合包括确定组合图像的第三导出的像素值，该第三导出的像素值是以下各项之一的第三递增函数：(i)第一导出的像素值和第二导出的像素值的相应平方之和以及(ii)第一导出的像素值和第二导出的像素值的相应绝对值之和。
89.(a7)在方法(a1)-(a6)中任一方法的实施例中，确定包括用神经网络处理组合图像的至少部分以确定像距，该神经网络已经基于由训练相机捕捉的训练数据经由监督式学习进行训练，训练相机具有分别与透镜和像素阵列相同的训练相机透镜和训练相机像素阵列。
90.(a8)方法(a1)
–
(a7)中任一方法的实施例还包括计算强度图像，对于多个水平相邻像素对中的每一个和多个竖直相邻像素对中与之最接近的竖直相邻像素对，该强度图像包括求和像素值，该求和像素值(i)被映射到像素阵列内与水平相邻像素对和最接近的竖直相邻像素对中的一个相邻的位置，并且(ii)是由水平相邻像素对和最接近的竖直相邻像素对的每个像素生成的像素值之和的递增函数。所述实施例还包括确定像距，包括从组合图像和强度图像确定像距。
91.(a9)在方法(a8)的实施例中，多个竖直相邻像素对中的每一个位于第一多个微透镜中的相应微透镜的下方，第一多个微透镜中的每一个是像素阵列的多个2
×
2像素子阵列中的相应2
×
2像素子阵列，2
×
2像素子阵列的每个像素既是(i)多个水平相邻像素对之一的像素，也是(ii)多个竖直相邻像素对之一的像素。
92.(a10)在方法(a9)的实施例中，对于多个2
×
2像素子阵列中的每一个，捕捉包括利用包含像素阵列的图像传感器分别从2
×
2像素子阵列的左上像素、右上像素、左下像素和右下像素生成像素值v1、v2、v3,和v4。计算水平差图像包括将第一导出的像素值确定为(v1+v3)-(v2+v4)的第一递增函数。计算竖直差图像包括将第二导出的像素值确定为(v3+v4)-(v1+v2)的第二递增函数。计算强度图像包括将求和像素值确定为(v1+v2+v3+v4)的第三递增函数。组合包括确定组合图像的第三导出的像素值，该第三导出的像素值是以下各项之一的第三递增函数：(i)第一导出的像素值和第二导出的像素值的相应平方之和以及(ii)第一导出的像素值和第二导出的像素值的相应绝对值之和。
93.(a11)在方法(a10)的实施例中，第三递增函数是第一导出的像素值和第二导出的像素值的相应平方之和的平方根的反正切的线性函数。
94.(a12)在方法(a10)或(a11)的实施例中，递增函数包括反正切函数。
95.(a13)在方法(a9)-(a12)中任一方法的实施例中，捕捉包括利用包含像素阵列的图像传感器分别从2
×
2像素子阵列的左上像素、右上像素、左下像素和右下像素生成像素值v1、v2、v3和v4。计算水平差图像包括将第一导出的像素值确定为((v1+v3)-(v2+v4))/(v1+v2+v3+v4)的第一递增函数。计算竖直差图像包括将第二导出的像素值确定为((v3+v4)-(v1+v2))/(v1+v2+v3+v4)的第二递增函数。组合包括确定组合图像的第三导出的像素值，该第三导出的像素值是以下各项之一的第三递增函数：(i)第一导出的像素值和第二导出的像素值的相应平方之和以及(ii)第一导出的像素值和第二导出的像素值的相应绝对值之和。
96.(b1)一种图像传感器，包括像素阵列、耦合到像素阵列的处理器和存储器。该像素阵列包括(i)多个水平相邻像素对，每个水平相邻像素对位于第一多个微透镜中的相应微透镜的下方，以及(ii)多个竖直相邻像素对，每个竖直相邻像素对位于(a)第一多个微透镜中的相应微透镜的下方或者(b)第二多个微透镜中的相应微透镜的下方。存储器存储机器
可读指令，当处理器执行这些指令时，控制处理器执行方法(a1)、(a7)和(a8)中的任何一种。
97.(b2)在图像传感器(b1)的实施例中，多个竖直相邻像素对中的每一个位于第一多个微透镜中的相应微透镜的下方，第一多个微透镜中的每一个位于像素阵列的多个2
×
2像素子阵列中相应的2
×
2像素子阵列的上方，2
×
2像素子阵列的每个像素既是(i)多个水平相邻像素对之一的像素，也是(ii)多个竖直相邻像素对之一的像素。
98.(b3)在图像传感器(b2)的实施例中，存储器还存储机器可读指令，当处理器执行这些指令时，控制处理器对多个2
×
2像素子阵列中的每一个执行方法(a1)-(a13)中的任何一种。
99.在不脱离本实施例的范围的情况下，可以对上述方法和系统进行改变。因此，应当注意，包含在以上描述中或者在附图中示出的内容应当被解释为说明性的，而不是有限制意义的。这里，除非另有说明，短语“在实施例中”等同于短语“在某些实施例中”，而不是指所有实施例。所附的权利要求旨在覆盖这里描述的所有一般的和特定的特征，以及就语言而言可以说落在它们之间的本方法和系统的范围的所有陈述。