基于对比度的自动聚焦的制作方法

1.本发明涉及图像捕捉设备的基于对比度的自动聚焦。


背景技术：

2.已知在诸如智能电话相机或数字相机的图像捕捉设备中包括捕捉图像的图像传感器。为了增强使用图像传感器捕捉的图像的图像质量，可以适当地调节包括图像传感器的图像捕捉设备的聚焦设置，以使图像处于图像传感器的平面中的焦点处。
3.已知使用被称为基于对比度的自动聚焦(af)的处理来控制图像捕捉设备的聚焦设置。可以通过测量图像传感器利用多个不同的聚焦设置捕捉的场景的图像中的对比度来执行基于对比度的af。对比度一般随着图像捕捉设备的聚焦的改善而增大。用于以最高对比度捕捉图像的聚焦设置可以被用作图像捕捉设备捕捉场景的后续图像的聚焦设置。
4.期望改善基于对比度的自动聚焦方法和系统。


技术实现要素：

5.根据第一方面，提供了一种用于图像捕捉设备的基于对比度的自动聚焦方法，该方法包括：获取表示图像捕捉设备捕捉的图像的传感器数据，其中，传感器数据包括来自图像捕捉设备的图像传感器的各个传感器像素的像素值；动态地选择像素值的子集，以生成表示像素值的子集的选定传感器数据；处理选定传感器数据，以生成表示图像的至少一部分的基于对比度的特性的对比度数据；以及处理对比度数据，以确定图像捕捉设备的聚焦设置。
6.根据第二方面，提供了一种确定图像捕捉设备的聚焦设置的方法，该方法包括：对于多个图像区中的每个图像区：使用利用图像捕捉设备的第一聚焦设置捕捉的第一图像，针对相应图像区获取聚焦度量的第一值；使用利用图像捕捉设备的第二聚焦设置捕捉的第二图像，针对相应图像区获取聚焦度量的第二值；以及处理第一值和第二值，以获取相应图像区的估计聚焦设置；以及通过针对多个图像区中的至少两个图像区执行估计聚焦设置的加权求和，确定聚焦设置。
7.根据第三方面，提供了一种确定图像捕捉设备的聚焦设置的方法，该方法包括：获利用图像捕捉设备的第一聚焦设置捕捉的第一图像的至少一部分，获取第一聚焦数据，该第一聚焦数据表示聚焦度量的第一值；使用标准化系数对聚焦度量的第一值进行标准化，以生成聚焦度量的经过标准化的第一值；利用图像捕捉设备的第二聚焦设置捕捉的第二图像的至少一部分，获取第二聚焦数据，该第二聚焦数据表示聚焦度量的第二值；使用标准化系数对聚焦度量的第二值进行标准化，以生成聚焦度量的经过标准化的第二值；以及处理聚焦度量的经过标准化的第一值和聚焦度量的经过标准化的第二值，以确定图像捕捉设备的聚焦设置。
8.根据第四方面，提供了一种片上系统，被配置为：获取定点数据格式的输入数据；将输入数据的格式从定点数据格式转换为浮点数据格式，以生成压缩数据；将压缩数据存
储在片上系统的本地存储部中；从本地存储部提取压缩数据；以及在处理压缩数据之前，将压缩数据的格式从浮点格式转换为定点格式。
9.根据参考附图仅通过示例给出的以下描述，进一步的特征将变得显而易见。
附图说明
10.图1是示出根据示例的确定图像捕捉设备的聚焦设置的方法的流程图；
11.图2是示意性地示出根据示例的聚焦度量和聚焦设置之间的关系的图表；
12.图3是示出根据示例的图像捕捉设备的基于对比度的自动聚焦方法的流程图；
13.图4是示出根据示例的彩色滤光器阵列的示意图；
14.图5是示出根据示例的要应用于从图4的彩色滤光器阵列获取的像素值的掩码的示意图；
15.图6是示出根据示例的过滤数据的生成的示意图；
16.图7是示出根据示例的对比度数据的生成的示意图；
17.图8是示出根据示例的带通滤波处理的特征的示意图；
18.图9是示出根据示例的确定图像捕捉设备的聚焦设置的方法的流程图；
19.图10是示出根据示例的图像区的示意图；
20.图11是示出根据一些示例的图9的方法的特征的流程图；
21.图12是根据示例的有限状态机的示意图；
22.图13是示出根据一些进一步示例的图9的方法的特征的流程图；
23.图14是示出根据一些进一步示例的图9的方法的特征的流程图；
24.图15是示意性地示出根据示例的聚焦度量和镜头位置之间的关系的图表；
25.图16是示出根据进一步示例的确定图像捕捉设备的聚焦设置的方法的流程图；
26.图17是根据示例的图像处理系统的组件的示意图；以及
27.图18是示出根据示例的数据处理方法的流程图。
具体实施方式
28.参考附图，根据示例的系统和方法的细节将从下面的说明中变得显而易见。在本说明中，出于解释的目的，给出了某些示例的多个具体细节。说明书中对“示例”或类似语言的引用意味着，结合示例描述的特定特征、结构、或特性至少被包括在该一个示例中，但是不一定被包括在其他示例中。应该进一步注意到，为了便于说明和理解示例隐含的概念，利用某些省略和/或一定程度上简化的特征示意性地描述某些示例。
29.基于对比度的自动聚焦的介绍
30.为了将本文中的示例放在上下文中，将首先参考图1和图2一般性地描述基于对比度的自动聚焦(af)的示例。
31.图1是示出根据示例的确定图像捕捉设备的聚焦设置的方法的流程图。图1的方法用于基于对比度的af，其是例如，基于聚焦度量的值来确定图像捕捉设备的聚焦设置的迭代处理。图像捕捉设备可以是例如智能电话相机、孤立的数字相机、耦合或结合到进一步的电子设备或计算机中的数字相机。聚焦设置是例如图像捕捉设备的镜头(lens)相对于图像捕捉设备的图像传感器的位置。图像捕捉设备捕捉的图像的清晰度一般取决于聚焦设置。
因此，通过确定适当的聚焦设置，可以捕捉到场景的看上去更清晰(而不是模糊或散开)的图像。
32.在图1的项目100，获取图像捕捉设备利用第一聚焦设置捕捉的第一图像的聚焦度量的第一值。可以使用各种不同的聚焦度量。对于基于对比度的af，聚焦度量例如表示、取决于、或者基于所捕捉图像中的对比度。对比度是例如图像(或图像部分)中的亮度和/或颜色的差异。图像中的最大对比度(例如，表示最大亮度与最小亮度之间的差)可以被称为对比度比率或动态范围。对比度通常与亮度和/或颜色的相对差而非绝对值有关，因为人类视觉系统对亮度和/或颜色的这些相对差而非绝对值更敏感。将参考图3至图8进一步描述用于基于对比度的af的、表示图像的至少一部分的基于对比度的特性的对比度数据的生成的示例。
33.在图1的项目102，获取图像捕捉设备利用第二聚焦设置捕捉的第二图像的聚焦度量的第二值。例如，第一图像是利用相对于图像传感器的第一位置(例如，镜头的竖直轴与图像传感器的竖直轴之间的第一距离)处的镜头捕捉的。第二图像可以是利用相对于图像传感器的不同于第一位置的第二位置(例如，镜头和图像传感器的竖直轴之间的第二距离)处的镜头捕捉的。
34.可以迭代地重复这个处理，直到利用多个不同的聚焦设置(例如，镜头和图像传感器之间的多个不同距离)采集到多个图像为止。最后，在图1的项目104，获取图像捕捉设备利用第n聚焦设置捕捉的第n图像的聚焦度量的第n值。n是整数并且可以预先确定或预先设置。替代地，n的值可以在基于对比度的af处理期间确定。例如，一旦聚焦度量的值达到某个特定值或者相对于一个或多个以前的值已经改变了某个绝对或相对量，即可决定停止捕捉进一步的图像。例如，可以使用爬山算法在监控聚焦度量的值的变化的同时针对多个不同的聚焦设置逐步获取多个聚焦度量值。在聚焦度量的值下降某个百分比或更多后，在逐步通过一个或多个不同的聚焦设置之后，可以确定已经通过了用于后续图像捕捉的聚焦设置。因此，可以停止利用进一步的聚焦设置捕捉后续图像。
35.在图1的项目106，处理聚焦度量的值，以确定图像捕捉设备用于场景的图像的后续捕捉的聚焦设置。当图像捕捉设备利用特定聚焦设置捕捉到的图像清晰时，聚焦度量的值最大。随后可以选择该特定聚焦设置作为用于后续图像捕捉的聚焦设置，并且可以认为该特定聚焦设置为用于场景的捕捉的最佳聚焦设置。
36.图2是示意性地示出聚焦度量和聚焦设置之间的关系的图表108，其中，在这种情况下聚焦设置是图像捕捉设备的镜头的镜头位置。图表108的x轴110示出了相对于图像传感器的镜头位置，图表108的y轴112示出了聚焦度量的值。曲线114是通过在基于对比度的af处理期间对于针对多个镜头位置获取的聚焦度量的多个值进行多项式拟合而获取的。图2的曲线114是理想曲线，其具有对应于聚焦度量的最大值的峰值点116。可以采用图像捕捉设备的镜头位置作为对应于该峰值点116的镜头位置。可以基于曲线114分析地找出峰值点116。但是，其他情况可以不包括对于所获取的聚焦度量值的曲线拟合。在这种情况下，可以采用用于后续图像捕捉的聚焦设置作为对应于在基于对比度的af处理期间获取的最大聚焦度量值的聚焦设置。参考图9至16详细描述确定聚焦设置的进一步示例。
37.用于基于对比度的自动聚焦的对比度数据的生成
38.图3是示出根据示例的图像捕捉设备的基于对比度的af方法的流程图。在图3的项
目118，获取表示图像捕捉设备捕捉的图像的传感器数据。由传感器数据表示的图像可以是图像捕捉设备捕捉的整个图像或者更大图像的一部分。传感器数据包括来自图像捕捉设备的图像传感器的各个传感器像素的像素值。图像传感器一般包括传感器像素阵列，这些传感器像素可以是用于捕捉图像的任何适当的光传感器。例如，一般传感器像素包括可以将入射光转换为电子信号或数据的诸如光电二极管的光敏元件。传感器像素可以是例如电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)。
39.像素值表示例如图像传感器捕捉的光的至少一个特性。例如，传感器数据可以表示每个传感器像素捕捉的光强，其可以与该传感器像素所捕捉的光子的数目成比例。强度可以表示所捕捉的光的亮度，其是例如每单位面积的光强的量度而不是绝对强度。在其他示例中，传感器数据可以表示所捕捉的光的亮度(brightness)，可以认为该亮度对应于照度的感知并且可以与照度成比例或不成比例。通常，传感器数据可以表示可以用来表示传感器数据所表示的图像的视觉外观的任何光度量或特性。传感器数据可以为任意适当格式，例如，原始图像格式。例如，传感器数据可以被从图像传感器流传输，被保存或不被保存到帧缓冲器，而不将原始传感器数据保存到文件中。但是，在这种情况下，可以将在处理原始传感器数据后获取的传感器数据保存到文件中。
40.在图3的项目120，动态地选择像素值子集，以生成表示该像素值子集的选定传感器数据。像素值子集的动态选择对应于例如可以随着时间改变或者不固定或恒定的像素值子集的选择。例如，可以动态地选择被认为是最可靠或提供最多对比度信息的像素值子集，这可以改善使用这些像素值执行的基于对比度的af处理。
41.在图3的项目122，处理选定传感器数据，以生成表示图像的至少一部分的基于对比度的特性的对比度数据。基于对比度的特性是例如表示图像的对比度或者允许确定或得出对比度的图像(或图像部分)的任意特征。存在可以使用的很多不同的基于对比度的特性。例如，基于对比度的特性可以表示图像(例如，图像的边缘)在时域或频域的变化。
42.在图3的项目124，处理对比度数据，以确定图像捕捉设备的聚焦设置。对比度数据可以表示聚焦度量的值，该聚焦度量的值可以被用来获取例如参考图1和图2或参考图9至图16描述的聚焦设置。替代地，可以处理对比度数据，以获取聚焦度量的值，该聚焦度量的值又可以被用来获取例如参考图1和图2或参考图9至图16描述的聚焦设置。
43.在一些情况下，传感器数据可以由包括彩色滤光器阵列的图像捕捉设备获取。彩色滤光器阵列126的示例在图4中示意性地示出。图4的彩色滤光器阵列126包括彩色滤光器元件的列阵(pattern)。彩色滤光器元件对应于图像传感器的传感器像素阵列的各个传感器像素。例如，彩色滤光器阵列126可以被认为形成了马赛克或重复图案。彩色滤光器元件一般允许特定颜色的光通过对应的传感器像素。这样，彩色滤光器阵列允许传感器像素阵列的不同传感器像素接收不同颜色的入射光，从而允许全色图像被捕捉到。由于一般光传感器对入射光的波长不敏感，所以一般传感器像素将不能在没有彩色滤光器阵列的情况下根据检测到的光来提供颜色信息。但是，通过使用彩色滤光器阵列将入射光划分到对应于不同颜色的不同波长范围中，可以查明这些不同波长范围中的光强，从而可以确定颜色信息。在图4中，用“r”标记红色滤光器元件，用“g”标记滤色滤光器元件，并且用“b”标记蓝色滤光器元件。
44.将明白的是，颜色可以指代任意波长范围的光。例如，透明或白色滤光器元件在以
下意义上可以被认为是彩色滤光器元件，即该彩色滤光器元件允许可见光谱中的这些特定波长(例如，全部或基本上全部波长)被发送到下层的传感器像素。在其他示例中，一些或所有彩色滤光器元件可以是非白色滤光器元件。
45.彩色滤光器元件列阵可以由重复的彩色滤光器元件组形成。彩色滤光器元件组128可以包括例如红色滤光器元件、蓝色滤光器元件、以及两个绿色滤光器元件。因此，彩色滤光器阵列可以对应于贝尔列阵，尽管其他组在其他示例中也是可能的。每个组可以对应于获取适当质量的全色图像所必需的传感器像素。
46.可以使用图3的方法来确定包括图4的彩色滤光器阵列126的图像捕捉设备的聚焦设置。在诸如图4的示例中，可以动态地基于表示由至少一个传感器像素接收到的光强的强度数据来选择用于生成对比度数据的像素值子集。例如，如果传感器像素针对给定图像区域所获取的光强相对较低，例如，小于或等于给定阈值，则可以认为该图像区域是不可靠的或者提供相对较少的对比度信息。类似地，如果针对来自这些传感器像素的光强的分析指示该图像区域遭受了相对较高等级的噪声，则可以认为该图像区域是不可靠的。因此，可以从所选择的像素值子集中删除这些传感器像素的像素值。在图4中，可以选择来自对应于彩色滤光器元件子集130的传感器像素子集的像素值进行进一步处理。由于彩色滤光器元件子集130包括多个不同颜色(在这种情况下为红色、绿色、和蓝色)的彩色滤光器元件，所以这些像素值在被处理以生成对比度数据之前会进行去马赛克处理。去马赛克可以应用于表示多个不同颜色通道的输入图像数据(例如，由对应于彩色滤光器阵列126的传感器像素获取)，以重建全色图像。在这种情况下，输入图像数据包括每个像素位置的仅一个颜色通道的强度值，而去马赛克处理允许针对每个像素位置获取至少一个颜色通道中的每个颜色通道的强度值。去马赛克处理包括例如在相同颜色通道的相邻像素之间进行插值，以获取这些相邻像素之间的位置(例如，对应于不同颜色通道的像素的位置)的值。可以针对多个颜色通道中的每个颜色通道执行该处理，以获取每个像素位置处的每个颜色通道的强度值。在一些情况下，可以执行灰度消隐(grayscale demosaicing)，其中，在每个像素位置获取灰度强度，该灰度强度指示单个颜色通道(例如，从白色(最亮)到黑色(最暗))的强度值。
47.通过动态地选择像素值子集，可以通过例如排除不可靠的区域而针对图像或图像部分获取到更精确或更可靠的基于对比度的特性。例如，像素值子集可以随着时间改变或者随着用在不同环境中的图像捕捉设备和不同光照条件改变。这使得可以通过比用于基于对比度的af的传感器像素固定或不变的情况，以更加灵活的方式获取改善的基于对比度的特性。另外，通过处理像素值子集而不是像素值的全集，可以更高效地获取对比度数据。
48.在一些情况下，动态地选择的像素值子集是来自对应于第一颜色的彩色滤光器元件的第一传感器像素子集的第一像素值子集。例如，如果第一传感器像素子集捕捉的光强相对较高，例如，等于或超过某个阈值，或者比对应于不同颜色的彩色滤光器元件的其他传感器像素捕捉的光强高，则可以选择第一传感器像素子集。这可以基于由第一传感器像素子集中的至少一个传感器像素和/或其他传感器像素中的至少一个传感器像素捕捉的光强确定。例如，如果光强较高，则基于对比度的特性对于对比度的变化更敏感。因此，使用传感器像素利用更高强度的捕捉光生成基于对比度的特性可以提高基于对比度的特性的精确度。这可以动态地执行，从而使得可以在各种不同的光照条件下精确地确定聚焦设置。例如，如果图像捕捉设备被用在主要由绿色光照射的环境中，则所选择的像素值的子集可以
是与绿色滤光器元件相关联的传感器像素获取的像素值。如果同一个图像捕捉设备随后被用在主要由红色光照射的环境中，则所选择的像素值的子集可以是与红色滤光器元件相关联的传感器像素获取的像素值。
49.在一些情况下，传感器数据包括来自对应于第二颜色的彩色滤光器元件的第二传感器像素子集的第二像素值子集和/或来自对应于第三颜色的彩色滤光器元件的第三传感器像素子集的第三像素值子集。这可以是诸如，具有图4的彩色滤光器阵列126的图像捕捉设备的rgb(红色、绿色、蓝色)图像捕捉设备中的情况。在这种情况下，可以使用第一像素值子集而不使用第二像素值子集和/或不使用第三像素值子集来生成选定传感器数据。例如，可以仅从与相同颜色的彩色滤光器元件相关联的传感器像素获取该像素值子集。这例如简化了基于对比度的af处理，因为可以在原始传感器数据上执行基于对比度的af处理，而不需要对传感器数据进行去马赛克处理。这使得可以更高效地执行基于对比度的af处理。
50.在示例中，动态地选择像素值子集可以包括将像素值的进一步子集设置为预定值。例如，预定值可以为零。这可以被认为是对应于对传感器数据进行掩蔽，以生成被掩蔽的传感器数据。图5示意性地示出了可以应用于与图4的彩色滤光器阵列126相关联的传感器像素阵列获取的像素值的掩码132的示例。掩码是例如诸如标量值的值阵列，这些值可以与传感器像素获取的像素值相乘以直接将未选择的像素值设置为预定值。例如，掩码可以包括与要应用掩码的像素值阵列相同数目的行和列(例如，对应于彩色滤光器阵列126或彩色滤光器阵列126的一部分)。在其他示例中，诸如在图5的示例中，掩码132可以比传感器像素阵列小。在这种情况下，可以通过横跨像素值阵列滑动或移动掩码132，动态地选择像素值。在图5中，掩码132是2
×
2掩码，其维度对应于图4的传感器像素组128(例如，对应于传感器像素重复单元)。因此，可以使用4个位表示图5的掩码132(尽管这仅是示例)。在图5的示例中，掩码132的对应于组128的绿色滤光器元件的元素可以被设置为1，并且掩码132的对应于组128的蓝色和红色滤光器元件的元素可以被设置为0。因此，当掩码132的每个元素与相应传感器像素获取的像素值相乘时，与绿色滤光器元件相关联的传感器像素获取的像素值保持不变并且被选择作为像素值子集。然而，与红色和蓝色滤光器元件相关联的传感器像素获取的像素值被设置为零(该值在这种情况下是预定值)因此被取消选择，并且不形成像素值子集的部分。尽管这只是一个示例，但是在其他情况下可以通过不同方式选择像素值子集。
51.在动态地选择像素值子集以生成选定传感器数据之后，在根据图3的示例中处理选定传感器数据以生成对比度数据。
52.图6是示出根据示例的过滤数据的生成的示意图，该过滤数据可以对应于或者被用来生成对比度数据(如进一步参考图7和图8所述)。
53.在图6中，例如，如参考图4和图5所述，获取选定传感器数据134。使用带通滤波处理36来处理选定传感器数据134，以生成过滤数据138。随后可以使用过滤数据138作为对比度数据或者可以处理过滤数据138来生成对比度数据。可以带通滤波处理136来抑制选定传感器数据134所表示的图像的低频和高频分量。例如，图像的低频分量可以不提供有关图像的对比度的足够信息。相反，当图像的高频分量对高对比度的图像特征(例如，图像中的边缘)敏感时，这些分量可能会受到噪声的影响。因此，信噪比在中间频段可能是最高的，其中，中间频段可以是使用带通滤波处理136处理图像选择的。
54.在图6的示例中，带通滤波处理136包括利用至少一个自回归(ar)滤波器140和有限冲击响应(fir)滤波器142处理选定传感器数据134。同时，可以认为ar滤波器140和fir滤波器142对应于无限冲击响应(iir)滤波器。ar滤波器140输出的值例如取决于ar滤波器140的至少一个以前的输出和随机项(该随机项例如是不完全可预测的)。由于ar滤波器140输出的值取决于ar滤波器140的在先输出，所以ar滤波器140可以有效地捕捉到不确定的数目的样本的信息。fir滤波器142输出的值例如取决于输入信号的给定数目的最近样本(例如，选定传感器数据134所表示的像素值)，这使得噪声可以被高效地移除。
55.带通滤波处理136生成的过滤数据138指示例如选定传感器数据134表示的图像中的边缘。例如，过滤数据138可以表示输入到带通滤波处理136中的每个相应像素值的过滤值。可以认为较高的过滤值表示与从中获得像素值的传感器像素相关联的较高梯度变化，指示相应图像部分包括更尖锐的边缘。因此，一般认为较高的过滤值指示较大的对比度。
56.图7示意性地示出了根据示例的用于生成对比度数据的流水线144。对比度数据可被处理，以确定图像捕捉设备的聚焦设置。
57.例如，参考图3至图5所述，获取传感器数据146。传感器数据146表示图像捕捉设备捕捉的图像，并且包括来自图像捕捉设备的图像传感器的各个传感器像素的像素值。传感器像素可以布置在包括行和列的阵列中，以对应于彩色滤光器阵列的彩色滤光器元件，尽管这只是一个示例。
58.在这种情况下，传感器数据146表示的像素值包括基值，这些基值是例如在图像捕捉处理期间添加到像素值以避免负像素值的恒定值。例如，图像传感器即使在没有光线时也可以记录非零像素值(例如，由于噪声)。为了避免将像素值减小到小于零，可以添加基值。因此，在执行进一步处理之前，传感器数据146将进行图7中的黑电平消除148，以移除基数据。将明白的是，在一些情况下，黑电平消除可以在图像处理流水线的不同阶段执行，或者在一些情况下可以省略(例如，如果没有添加基值)。
59.在图7的项目150，动态地选择传感器数据146表示的像素值子集，如参考图3至图5所述。这生成了表示像素值子集的选定传感器数据152。使用与图6所示类似或相同的带通滤波处理来处理选定传感器数据152。在本示例中，带通滤波处理包括水平ar滤波器154和竖直ar滤波器156。水平ar滤波器154被布置为对来自传感器像素阵列的多个列的像素值进行过滤。竖直ar滤波器156被布置为对来自传感器像素阵列的多个行的像素值进行过滤。水平和竖直ar滤波器154、156均为例如不同维度中的一维(1d)滤波器。例如，水平ar滤波器154可以具有对应于从k个不同列中的传感器像素获取的像素值的第一维度(例如，x或水平方向)的k(k是整数)个条目的宽度和第二维度(例如，y或竖直方向)的长度1。相反，竖直ar滤波器156可以具有第一维度的宽度1和第二维度的对应于从m个不同列中的传感器像素获取的像素值的m(m是整数)个条目的长度。例如，竖直ar滤波器154可以是3
×
1维度张量，竖直ar滤波器156可以是1
×
3维度张量。使用水平和竖直ar滤波器154、156作为带通滤波处理的部分允许从选定传感器数据152表示的图像获取更多对比度信息(例如，相比仅使用水平ar滤波器154或仅使用竖直ar滤波器156)。
60.在图7的示例中，利用水平ar滤波器154按照光栅顺序依次处理多个行的选定传感器数据152。例如，可以逐行处理与多个行或多条线的像素值有关的选定传感器数据152。换言之，水平ar滤波器154可以一次处理一行像素值的选定传感器数据152。但是，将明白的
是，可以不处理给定行的一些像素值，例如，如果这些像素值不是在项目150处选择的像素值子集的部分。尽管如此，在其他情况下，没有被选择的像素值可以被水平ar滤波器154处理，但是通过利用参考图5所述的掩码处理这些像素值，这些像素值可以取默认或预定值(例如，零)。利用水平ar滤波器154处理选定传感器数据152还可以包括按照光栅顺序从对于流水线144来说可访问的存储部提取选定传感器数据152(或传感器数据146)。
61.可以逐行获取水平ar滤波器154的输出。但是，竖直ar滤波器156一般包括对来自多个行的像素值子集进行处理，对这些像素值子集进行处理包括例如针对多个行中的每行累加竖直ar滤波器156的输出。
62.可以将水平ar滤波器154生成的数据存储在诸如在流水线144本地或者对于流水线144来说可访问的存储部中。为了减少存储需求，图7的示例流水线144包括利用水平ar滤波器154按照光栅顺序依次处理多个行的选定传感器数据152，以生成定点数据格式的多组第一数据。每组第一数据对应于多个行中的相应行。定点数据格式(有时称为定点数据类型)表示小数点后面(有时是小数点前面)存在固定位数的数字。定点数据格式可以表示使用相对较大位数(例如，41位)的第一数据。尽管这可以提高第一数据的处理的精确度，但是这种数据的存储要求会相应地高。因此，在图7的项目160，可以将多组第一数据的格式从定点数据格式转换为浮点数据格式，以生成第二数据。浮点数据格式通过用某个数目(例如，5)的位来表示指数并用另一数目的位(例如，10)来表示有效数而表示有效数x基数
指数
格式的数字来近似数字。基数可以是固定的(例如，基数10)，还可以使用一个位来表示数字的符号，从而可以表示负数。这使得可以高效地表示非常小和非常大的数字。通过将多组第一数据的格式从定点数据格式转换为浮点数据格式，可以减少用于表示多组第一数据的位数。换言之，第二数据在大小上可以小于第一数据。例如，第二数据的大小可以为16位，而每组第一数据的大小可以为41位。
63.在图7的项目162，将第二数据存储在存储部中，该存储部为例如流水线144的本地存储部。第二数据相比第一数据降低了存储需求，并且相比在不将第一数据转换为浮点数据格式的条件下存储第一数据的情况可以被更高效地存储和提取。
64.可以顺序地从存储部获取第二数据的至少一部分。可以在利用水平ar滤波器154处理多个行中的至少第一行的选定传感器数据之后获取第二数据的该部分。在图7的项目164，将第二数据的至少该部分的格式从浮点数据格式转换为定点数据格式，以生成第三数据。然后，可以利用竖直ar滤波器156处理第三数据。通过处理定点数据格式的第三数据，可以在不舍入、提高处理精度的条件下获取竖直ar滤波器的输出。在一些情况下，可以使用竖直ar滤波器156逐行处理水平ar滤波器154针对给定行输出的多组第一数据。在这些情况下，可以将应用到给定组的第一数据的竖直ar滤波器156的输出从定点数据格式转换，存储在存储部中，并且后续提取用作对于竖直ar滤波器156的后续迭代的输入(竖直ar滤波器156还接收例如来自后续行的一组第一数据作为输入)。竖直ar滤波器156的后续迭代的输出本身可以被从定点数据格式转换为浮点数据格式，被存储在存储部中，并且随后被从存储部中提取并转换为定点数据格式。类似的处理随后可以由竖直ar滤波器156针对进一步的处理迭代重复。
65.在项目166，fir滤波器166对由ar滤波器(在这种情况下，水平和竖直ar滤波器154、156)输出的数据(可以被称为第三数据)进行处理，以生成过滤数据。在图7中，fir滤波
器166的输出是滤波器数据，该滤波器输出随后被进一步处理以获取过滤数据。然而，在其他示例中，fir滤波器166的输出可以为过滤数据本身。fir滤波器166为例如二维滤波器。fir滤波器166可以包括至少三条线(例如，在竖直维度)，因而fir滤波器166的维度至少为n
×
3，其中n是整数。这样的维度已经被发现生成了对于对比度的变化敏感的滤波器输出。在一些情况下，fir滤波器166包括多条线的滤波器系数，并且第一条线和第n条线之间的第二条线的滤波器系数均为零。通过包括一些零系数，fir滤波器166对数据的处理可以更高效地执行。另外，通过在第二条线(例如，中间线)中包括零系数，fir滤波器166可以适当地充当带通滤波器。在一些情况下，fir滤波器166的不止一条线(例如，fir滤波器166的不是fir滤波器166的最顶部的线和最下部的线的至少两条线)可以在其所有或一些条目中包括零系数。
66.fir滤波器可以包括对来自多个列的像素值进行过滤的水平fir滤波器和对来自多个行的像素值进行过滤的竖直fir滤波器(类似于水平和竖直ar滤波器154、156)。水平和竖直fir滤波器的顺序可以彼此相同或不同。
67.水平和竖直ar滤波器154、156以及fir滤波器166的示例在图8中示意性地示出。术语x(m,n)表示具有m列、n行的阵列形式的像素值子集。水平ar滤波器154在这种情况下是k阶水平ar滤波器，竖直ar滤波器156是m阶竖直ar滤波器，并且fir滤波器166是m
×
n阶2d fir滤波器，其中，k、m、和n均为整数。值a1_h
…
ak_h表示水平ar滤波器154的滤波器系数，值a1_v
…
am_h表示竖直ar滤波器156的滤波器系数，并且值b00
…
b0n，b10
…
b1n，bm0
…
bmn表示fir滤波器166的滤波器系数。表示水平延迟，表示竖直延迟。
68.从图8可以看出，在本示例中由fir滤波器166处理的第一行是在不进行缓存的条件下直接从竖直ar滤波器156的加法运算接收的(其中，加法运算在图8中被指示为圆圈中的加号)。因此，在这种情况下，不需要存储第一行。在这些输出被其他组件处理之前，还可以执行一些位操作(例如，丢弃水平ar滤波器154和/或竖直ar滤波器156的输出的最高和/或最低有效位)(尽管图8未示出)。
69.从存储部(例如，从相应的延迟线缓冲器)提取由fir滤波器166处理的后续行。这些后续行在存储之前可以进行从定点数据格式到浮点数据格式的转换，并且可以在从存储部提取之后并且在fir滤波器166处理之前进行从浮点数据格式到定点数据格式的转换。
70.在fir滤波器166针对至少一行的滤波器系数为零(例如，fir滤波器166的第一行和最后一行之间的所有行的滤波器系数均为零)的示例中，竖直ar滤波器156针对与fir滤波器166的这些行相关联的行的输出不需要从存储部提取，因为fir滤波器166针对这些行的输出被假定为零。这可以减少处理需求。
71.返回参考图7，在生成对比度数据之前，可以丢弃滤波器输出168的至少一个最低有效位(lsb)。这可以用来使得滤波器输出168(以及使用滤波器输出168生成的过滤数据)的位大小匹配选定传感器数据152的位大小，可以利用过滤数据对选定传感器数据152进行处理来生成对比度数据。通过丢弃至少一个lsb，可以减小滤波器输出的位大小，而不会影响或减少可以从滤波器输出获取到的对比度信息。
72.在项目170，将滤波器输出168裁剪到感兴趣区域(roi)。例如，这可以包括保留由滤波器输出168表示的对应于特定区域的传感器像素(例如，对应于图像中的roi的传感器像素的区域)的过滤值。然而，在一些情况下可以省去项目170，例如，如果传感器数据146表
示图像的roi而不是整个图像或者roi对应于整个图像。
73.在项目172对经过裁剪的滤波器输出求平方，并且在项目174对它们求和。这包括例如对roi的经过滤波的像素值(动态选择的像素值子集)进行求平方。然后，将像素值的平方值相加在一起。可以针对整个图像、整个roi、或图像或roi的子集(例如，图像区)执行求和。可以获取图像的多个图像区中的每个图像区的和值。通过以这种方式处理滤波器输出，可以生成过滤数据。然而，这仅是示例，并且在其他情况下可以向滤波器输出应用不同处理来生成过滤数据。在图7的项目176，可以将过滤数据的数据格式从定点数据格式转换为浮点数据格式。然后，可以将过滤数据存储在对于图像捕捉设备来说可访问的存储部(例如，图像捕捉设备的本地存储部)中。在一些示例中，可以认为过滤数据对应于对比度数据本身。在这些情况下，可以在将对比度数据存储在对于图像捕捉设备来说可访问的存储部中之前，将对比度数据从定点数据格式转换为浮点数据格式。在生成定点数据格式的对比度数据(例如，省去了图7的项目176)的其他情况中，还可以在将对比度数据存储在对于图像捕捉设备来说可访问的存储部中之前，将对比度数据从定点数据格式转换为浮点数据格式。
74.类似于项目170、172、176、176的处理可以应用于选定传感器数据152而不是滤波器输出168。可以用相同的参考标号来标记这些项目，并且将采用对应的说明。通过以这种方式处理选定传感器数据152，可以获取表示图像的至少一部分的基于强度的特性的强度特性数据。在图7的项目176，可以将强度特性数据转换为浮点数据格式。然而，将明白的是，在其他情况下，可以对选定传感器数据152应用其他处理来生成强度特性数据(该强度特性数据表示例如图像的强度或其他基于强度的特征)。
75.在图7中，使用过滤数据和强度特性数据生成对比度数据178。在这种情况下，强度特性数据表示像素值子集被求平方然后被求和(其可以被表示为i2)，并且过滤数据表示针对被求平方然后求和的每个像素值的、带通滤波处理的输出(可以表示为e2)。通过将过滤数据除以强度特性数据，即计算e2/i2来生成对比度数据。然而，这仅是示例。在其他情况下，可以省去强度特性数据的生成，并且可以使用过滤数据作为不包括强度特性数据的对比度数据。另外，将明白的是，可以分别针对划分为图像区域(称为图像区)的图像的每个图像区或针对整个roi或图像生成对比度数据。
76.在本示例中，可以生成浮点数据格式的对比度数据178，这使得对比度数据178可以被高效地存储在对于流水线144来说可访问的存储部中。
77.在针对图像捕捉设备的给定聚焦设置生成对比度数据178之后，可以针对至少一个进一步的聚焦设置生成其他对比度数据。可以使用对比度数据178和其他对比度数据来确定图像捕捉设备的聚焦设置，如参考图1和图2或图9至图16所述。例如，可以使用对比度数据178表示的值作为针对给定聚焦设置的聚焦度量的值，或者可以进一步处理对比度数据178表示的值以获取聚焦度量的值。
78.使用对比度数据确定聚焦设置
79.图9是示出根据示例的确定图像捕捉设备的聚焦设置的方法的流程图。在项目168，图9的方法包括针对多个图像区中的每个图像区，使用利用图像捕捉设备的第一聚焦设置捕捉的第一图像针对相应图像区获取聚焦度量的第一值。可以通过任意适当的方式将第一图像划分为多个区。图10示意性地示出了划分为图像区172的图像170的示例。在图10
中标记出了第一图像区172a和第二图像区172b，但是将明白的是，将图像170划分为多个图像区(统一用参考标号172指代)。在图10中，每个图像区172的大小彼此相等，因为使用具有正方形元素的网格对图像170进行划分。但是，在其他示例中，一些图像区与其他图像区的大小不同。例如，可以基于图像170的处理将图像170划分为图像区，例如，以识别至少一个roi。
80.返回参考图9，在项目174，对于多个图像区中的每个图像区，利用图像捕捉设备的第二聚焦设置捕捉的第二图像针对相应图像区获取聚焦度量的第二值。参考图3至图8所述的获取的对比度数据可以表示例如聚焦度量。但是，在其他情况下，可以利用不同的聚焦度量(例如，使用不同于图3至图8的基于对比度的特性得出的聚焦度量)执行图9的方法。
81.在图9的项目176，针对多个图像区中的每个图像区，处理第一值和第二值以获取相应图像区的估计聚焦设置。如参考图11至图15进一步描述的，可以通过各种不同方式处理第一和第二值来获取估计聚焦设置。
82.在图9的项目178，通过针对多个图像区中的至少两个图像区的估计聚焦设置执行加权求和来确定聚焦设置。加权求和可以例如考虑多个图像区中的至少两个图像区的不同图像特性，例如，以使得对应于roi的图像区接收比其他图像区更高的权重。
83.图11是示出根据一些示例的执行项目178的加权求和的特征的流程图。在图11的项目180，获取离散度量。离散度量表示在图9的项目176获取的多个图像区的估计聚焦设置的离散程度。离散程度是例如估计聚焦设置的分布的分散程度的量度，例如，标准差、方差、或四分位间距。
84.图11的项目182包括基于分散度量识别将从加权求和中排除的至少一个估计聚焦设置。例如，可以从加权求和中删除具有与估计聚焦设置的分布的中心值之间的距离大于给定阈值的值的估计聚焦设置。这样，针对加权求和可以使用估计聚焦设置的子集，而不是所有估计聚焦设置。这可以获取到对离群值不太敏感的更合适的聚焦设置。
85.可以使用至少两个估计聚焦设置(在一些情况下使用多个估计聚焦设置中的所有估计聚焦设置)来获取例如对应于估计聚焦设置的分布的中心值的平均估计聚焦设置。平均估计聚焦设置可以是例如平均值、众数、或中位数。根据图11的项目182，平均估计聚焦设置可以在排除离群值之前被获取，并且随后在这些离群值被从分布中移除之后被重新计算。在其他情况下，可以省去图11的项目182。在任意情况下，执行加权求可以包括基于相应的估计聚焦设置和平均估计聚焦设置之间的差，对多个图像区中的至少两个图像区的至少两个估计聚焦设置中的估计聚焦设置进行加权。这样，相比距离平均估计聚焦设置较近的离群值，可以利用较小值对距离平均估计聚焦设置较远的离群值进行加权。这进一步减少了没有反映出要使用的适当聚焦设置的离群值(例如，有噪声的图像区或对应于图像背景的图像区)对所获取的聚焦设置的任何不当影响。
86.在一些情况下，可以随着时间监控至少一个图像区的估计聚焦设置。这使得不可靠的图像区可以被识别出来并且被移除或者标示为不可靠。例如，如图2所示，聚焦度量的值在聚焦设置在给定方向改变时增大到峰值，然后在聚焦设置在给定方向进一步改变时开始减小(该给定方向是例如减小镜头和图像传感器之间的距离的方向)。然而，如果聚焦度量的值增大、减小、然后开始再次增大，这表明图像区是不可靠的。类似地，如果聚焦度量的值继续减小而不增大，这也表明图像区是不可靠的。诸如这种的不可靠的图像区可以被从
图9的项目178的加权求中删除或者可以利用较小的权重值进行加权。例如，对于给定图像区，可以基于第一值与第二值之间的比较确定该图像区的估计聚焦值将被从加权求中排除。
87.将明白的是，图9的方法可以扩展到针对多个图像区中的每个图像区，使用利用图像捕捉设备的不同的相应聚焦设置捕捉的图像获取聚焦度量的多个值。可以使用聚焦度量的多个值来获取多个图像区中的每个图像区的估计聚焦设置。通过测试图像捕捉设备的更多数目的不同聚焦设置，可以更精确地确定用于未来的图像捕捉的适当聚焦设置。例如，可以针对图像捕捉设备的预定的一组不同的聚焦设置获取聚焦度量的多个值。在其他情况下，图9的方法可以应用于获取不同聚焦设置的聚焦度量的值，直到已经针对预定比例数目的图像区获取到估计聚焦设置为止。例如，一旦找出了整个图像或者图像的子区域(例如，roi)的至少70％的图像区的估计聚焦设置，该方法即可以停止获取进一步聚焦设置的聚焦度量的值。
88.在一些情况下，可以使用有限状态机执行对于图像区的估计聚焦设置的监控。例如，可以使用有限状态机确定某图像区的估计聚焦设置将被从加权求中排除。有限状态机是例如系统状态的模型，该状态机在给定时间可以处于有限数目的状态之一。图12示意性地示出了有限状态机184的示例。有限状态机184包括start(开始)状态186、end(结束)状态188、以及介于start状态和end状态之间的各种不同状态。在这种情况下，系统基于给定图像区的聚焦度量的值的变化而在不同状态之间变换。使用实线指示聚焦度量的值的增大，使用点线指示聚焦度量的值的小于或等于阈值降低的减小，并且使用虚线指示聚焦度量的值的大于阈值降低的减小。
89.在获取到聚焦度量的第一值后，系统开始于start状态186。如果聚焦度量的第二值增大，则系统移到good 1(良好1)状态190。如果该值进一步增大，则系统移到good 2(良好2)状态192，并且在该值继续增大时保持在good 2状态。如果系统处于good 2状态并且聚焦度量的值减小大于阈值降低的数量，则系统移到end状态188。如果系统处于good 2状态并且聚焦度量的值减小了小于或等于阈值降低的数量，则系统移到nearly(将近)状态194并且在聚焦度量的值继续减小的情况下保持在nearly状态194。如果系统处于nearly状态194并且聚焦度量的值减小了大于阈值降低的数量，则系统移到end状态188。如果系统达到end状态188，则可以确定可以从所获取的聚焦度量的值估计出可靠的聚焦设置。
90.但是，如果系统处于start状态186并且聚焦度量的值减小了小于或等于阈值降低的数量，则系统移到warning(报警)状态198并且在聚焦度量的值继续减小的情况下保持在warning状态198。如果系统处于warning状态198并且聚焦度量的值减小了大于阈值降低的量，则系统移到reject(拒绝)状态200。随后可以由于不可靠而拒绝该图像区。如果系统处于warning状态198并且聚焦度量的值增大，则系统移到ok(准许)状态202。如果系统处于ok状态202并且聚焦度量的值减小，则系统移到reject状态200并且该图像区可以被拒绝。但是，如果系统处于ok状态202并且聚焦度量的值增大，则系统移到good 2状态194。
91.如果聚焦度量的值增大然后开始减小或者增大、减小、然后再次开始增大，则看起来可靠的图像区随后可以被拒绝。例如，如果系统处于good1状态190并且聚焦度量的值随后减小，则系统转换到warning状态198。类似地，如果系统处于nearly状态196并且聚焦度量的值随后增大，则系统转换到reject状态200。
92.将明白的是，图12的有限状态机仅是示例，并且在其他示例中可以使用其他有限状态机。
93.类似于图9至图12的方法可以被适配为获取用于捕捉包括多个深度处的对象的场景的图像的聚焦设置。例如，这样的场景可以在前景中包括对象，该对象比场景的背景中的其他对象更靠近图像捕捉设备。图13的流程图示出了用于获取这种情况下的聚焦设置的示例方法。
94.在应用图13的方法之前，例如，使用图9至图12的方法，获取多个图像区的估计聚焦设置。可以对图像区的聚焦度量值的上升和下降进行计数，以获取每个图像区的波动计数。然后，可以获取表示多个图像区的波动计数的波动图。波动计数表示例如聚焦度量值的变化方向中的变化数目。例如，如果给定图像区的聚焦度量值增大然后减小，则波动计数可以为1。类似地，如果另一图像区的聚焦度量值增大、减小、然后再增大，则波动计数可以为2。
95.可以针对图像捕捉设备的多个不同聚焦设置(例如，不同镜头位置)中的每个聚焦设置获取聚焦度量的值。这可以被执行，直到针对预定的多个不同聚焦设置中的每个聚焦设置都获取到聚焦度量值，或者直到针对预定数量或比例的图像区(例如，至少55％的图像区)获取到估计聚焦设置。
96.此时，不同的图像部分几何图形(例如，行、列、或3
×
3图像块)可以覆盖在多个图像区上。可以选择满足指示几何图形可以对应于场景的前景(或者场景中与其他部分处于相对于图像捕捉设备不同位置的部分)的某个标准的每个几何图形用于进一步处理。例如，可以选择针对预定比例的图像区(例如，2/3)尚未获取到估计聚焦设置的每个几何图形。如果这些几何图形中的任意一个几何图形相对较暗(例如，具有预定比例，例如，2/3的图像区太暗，例如，具有小于预定阈值的强度值)，可以取消对这些几何图形的选择。类似地，如果给定几何图形的波动计数满足或超过给定阈值，例如，如果波动计数类似于已经获取到聚焦度量值的不同聚焦设置的数目，则也可以取消对该几何图形的选择。
97.如果在该处理后没有几何图形保持被选择，则可以如参考图9至图12所述地获取多个图像区的聚焦设置。然而，如果选择了至少一个几何图形，则对应于所选择的至少一个几何图形的图像区可以被组合为图像子区域。可以例如通过继续获取图像捕捉设备的进一步的多个不同聚焦设置的聚焦度量值，对于图像子区域执行用于获取估计聚焦设置的处理。该处理可以与参考图9至图12所述的处理相同，并且可以继续到针对比在图像区上覆盖图像部分几何图形之前更大的比例(例如，95％而不是55％)获取到估计聚焦设置为止。
98.随后可以将估计聚焦设置聚集为多个集群，例如，以使得可以将类似的估计聚焦设置组合到集群中。这样，可以识别出包括多个图像区的第一集合的第一图像子区域和包括多个图像区的第二集合的第二图像子区域。第一和第二图像子区域是例如非重叠的并且可以彼此相邻或者彼此相隔至少一个进一步的图像区。在识别出第一和第二图像子区域后，可以应用图13的方法。
99.在图13的项目202，使用多个图像区中的第一集合的估计聚焦设置，确定第一图像子区域的第一平均估计镜头位置。
100.在图13的项目204，使用多个图像区中的第二集合的估计聚焦设置，确定第二图像子区域的第二平均估计镜头位置。可以针对多个不同的图像子区域执行项目204，每个图像
子区域对应于相应集群的估计聚焦设置值(如果存在多个集群)。
101.在图13的项目206，确定第一平均估计镜头位置大于第二平均估计镜头位置。例如，可以确定第一平均估计镜头位置大于对应于其他集群的多个其他平均估计镜头位置中的任意一个。将明白的是，可以使用任何适当的平均方法，例如，平均值、中位数、众数的计算。这样，可以确定第一图像子区域对应于场景的前景，场景的前景比场景的其他部分更靠近图像捕捉设备。
102.在图13的项目208，通过针对多个图像区中的第一集合的估计聚焦设置执行加权求和来确定聚焦设置，如参考图9的项目178所述。
103.在一些情况下，如果多个图像区中的第一集合满足指示其可靠并有可能精确对应前景的某个标准，则可以执行项目208。例如，如果第一集合包括少于两个图像区，则可以不执行项目208。如果第一集合的镜头位置和第二集合的镜头位置之间的距离小于给定阈值，也可以不执行项目208，因为这指示第一和第二集合可以包括场景的到图像捕捉设备的距离类似的部分。如果第一集合的镜头位置的离散程度满足或超过离散阈值，则也可以省去项目208，因为这表明这些镜头位置可能不可靠，或者第一集合可能包括场景中的处于相对图像捕捉设备的较大距离范围内的部分，而不是对应于前景。
104.在省去项目208的情况下，可以通过对包括第一集合(例如，第一和第二集合结合在一起)外部的图像区的图像区或者从图像划分出的多个图像区中的每个图像区(或者已经找到了估计聚焦设置的每个图像区)执行估计聚焦设置的加权求和来执行对图像捕捉设备的聚焦设置。
105.图像捕捉设备的传感器像素捕捉的光强一般取决于图像捕捉设备的聚焦设置。因此，改变聚焦设置可以改变所捕捉的光强。这是因为例如，图像捕捉设备的镜头的缩放效果，这意味着每个图像区倾向于在镜头处于聚焦在无穷远处的对象的位置处将收集到更多光子(相比镜头处于聚焦在更靠近镜头的对象的位置处)。例如，当镜头移动从而远离图像捕捉设备的图像传感器时，图像视场会增大。这意味着入射到镜头上的光被镜头投射到图像传感器的更小面积上，从而会增加聚焦到给定传感器像素上的光量。这种影响在一些聚焦度量中可能不明显，例如上面讨论的e2度量，或相对独立于光强的其他聚焦度量，和/或对于某些光照条件。例如，由于e2度量相对于i2度量占主导地位，场景被良好照亮，聚焦度量e2/i2，在此情况下这个影响是不可感知的。但是，当所捕捉的图像相对较暗或者有噪声(例如，i2相对于e2占主导地位)时，这种影响是可以感知的。这是可以感知的，因为图像捕捉设备所捕捉的潜在光强随着镜头位置的增大而增大。于是，可在聚焦度量的逐渐增大的曲线上(其中，该逐渐增大对应于随着镜头位置增大而增大的光强)见到如突起的基于对比度的特征。
106.图14是示出可以用来抵消该影响从而补偿由于所捕捉的光强的整体或总体变化导致的聚焦度量的值的变化(而不是指示对比度变化的变化)的方法的示例的流程图。
107.在图14的项目210，获取强度数据，该强度数据表示图像捕捉设备利用第一聚焦设置和第二聚焦设置捕捉的光强的差。可以通过图表的形式捕捉该差。例如，可以针对多个图像的至少一部分利用不同的各个聚焦设置获取聚焦度量图表。聚焦度量的值可以间接地表示利用第一和第二聚焦设置捕捉的光强的差。在其他情况下，可以直接从例如分别利用第一和第二聚焦设置捕捉的图像的图像强度来确定利用第一和第二聚焦设置捕捉的光强。图
像强度是指例如图像或图像部分的像素值的总和或平均值。
108.图15示意性地示出了聚焦度量图表218的示例，其中在本示例中聚焦度量是e2/i2。图15的图表218示出了聚焦度量对于光强的依赖，为镜头位置的函数。对于聚焦度量e2/i2，e2度量相对于镜头的位置不变。但是，i2度量(其对应于图像或图像部分的至少像素子集的像素值平方和)至少在某些情况下(例如，在低光条件下)对于镜头位置可能是敏感的。例如，i2会随着聚焦位置减小，这意味着i2的倒数增大。虚线224示出了i2的倒数增加对于实际聚焦度量e2/i2的贡献，这在图15中用实线226示出。图表218的x轴220对应于镜头位置(在本示例中，镜头位置是聚焦设置)，图表218的y轴222对应于聚焦度量e2/i2的值。图表218具有突起227，其对应于图像捕捉设备的最佳镜头位置。但是，使用所述方法，由于图像强度随着镜头位置的增大的潜在增大，从图表218获取的用于图像捕捉设备的未来操作的镜头位置(例如，该镜头位置对应于最大图像强度)可能被计算为无穷远而不是对应于突起227的位置。
109.返回参考图14，在图14的项目212，处理强度数据，以确定要应用于聚焦度量以补偿光强的差的补偿措施。补偿措施是例如抵消由于聚焦设置的变化导致的总图像强度的改变的反函数。这可以包括例如获取图像强度的图表或者根据图像强度，对图表的直线部分进行直线函数拟合，并使用直线函数作为补偿措施或获取补偿措施。
110.例如，如果假定i2的减小是线性的，则作为镜头位置p的函数的值i2可以表示如下：
111.i2(p)＝(mp+1)i2
′
112.其中，i2是测量出的光强，p是镜头位置，i2’是经校正强度(其是例如随着镜头位置的改变恒定或者基本恒定的强度)，并且m是由于改变镜头位置对光强影响而导致的曲线的斜率。据此，经校正i2’值可以如下获取：
[0113][0114]
这使得可以通过将测量出的i2值除以确定因素，而从测量出的i2值获取经校正i2’值。可以在给定图像传感器的校准期间获取m，或者可以使用镜头和图像传感器之间的分离距离计算m。
[0115]
将明白的是，这可以是经校正和未校正图像强度值之间的潜在关系的简化，该潜在关系可能比实际关系更容易确定。例如，实际关系可能是非线性的，这种非线性关系计算起来可能更昂贵。
[0116]
在图14的项目214，获取未校正聚焦数据，该未校正聚焦数据表示利用图像捕捉设备的第二聚焦设置捕捉的第二图像的至少上述部分的聚焦度量的未校正值。
[0117]
在图14的项目216，使用补偿措施处理未校正聚焦数据，以生成表示聚焦度量的第二值的第二聚焦数据。这样，可以降低或消除由于镜头和图像捕捉设备之间的距离增加导致的图像强度的潜在增加的影响，从而可以确定更精确的聚焦度量。
[0118]
可以在例如图像捕捉设备的校准处理期间，通过捕捉相对较暗的场景执行图14的项目210和212。这比在图像捕捉设备的操作期间重复执行这个处理更高效(尽管在一些情况下也可以这样执行)。在其他情况下，强度数据可以是例如从图像捕捉设备的预测或预期性能获取的预测强度数据。尽管在图9至图13的用于获取图像捕捉设备的估计聚焦设置的
上下文中描述了图14，但是将明白的是，可以利用确定图像捕捉设备的聚焦设置的其他方法和/或利用不同于本文所述的其他聚焦度量来执行图14的方法。
[0119]
图16是示出根据进一步示例的确定图像捕捉设备的聚焦设置的方法的流程图。在图16的项目228，利用图像捕捉设备的第一聚焦设置捕捉的第一图像的至少一部分，获取第一聚焦数据，该第一聚焦数据表示聚焦度量的第一值。参考图3至图8所述获取的对比度数据可以表示例如聚焦度量。但是，在其他情况下，图16的方法可以利用不同的聚焦度量(例如，使用不同于图3至图8的基于对比度的特性得出的聚焦度量)执行。第一图像的该部分可以是例如第一图像的多个图像区中的某个图像区，或者第一图像的诸如roi的其他部分。在一些情况下，第一聚焦数据表示针对整个第一图像的聚焦度量的第一值。
[0120]
在图16的项目230，使用标准化(normalization)系数对聚焦度量的第一值进行标准化，以生成聚焦度量的经过标准化的第一值。标准化系数可以是固定或恒定数。然而，在一些情况下，标准化系数对应于聚焦度量的第一值。
[0121]
在图16的项目232，针对利用图像捕捉设备的第二聚焦设置捕捉的第二图像的至少一部分，获取第二聚焦数据，该第二聚焦数据表示聚焦度量的第二值。
[0122]
在图16的项目234，使用标准化系数对聚焦度量的第二值进行标准化，以生成聚焦度量的经过标准化的第二值。
[0123]
在图16的项目236，处理聚焦度量的经过标准化的第一值和聚焦度量的经过标准化的第二值，以确定图像捕捉设备的聚焦设置。
[0124]
在一些情况下，可以针对多个图像区中的每个图像区找出聚焦度量的经过标准化的第一和第二值。在这种情况下，可以如参考图9至图13所述地处理经过标准化的第一和第二值，以确定聚焦设置(例如，使用至少一些图像区的经过标准化的第一和第二值的加权求和)。
[0125]
在其他情况下，处理聚焦度量的经过标准化的第一值和聚焦度量的经过标准化的第二值可以包括将对经过标准化的第一值和经过标准化的第二值进行多项式函数拟合，并且使用多项式函数来确定图像捕捉设备的聚焦设置。例如，该方法可以包括确定多个不同的聚焦设置的聚焦度量的经过标准化的值，例如，直到达到预定数目的聚焦设置或者看起来聚焦度量的经过标准化的值在收敛。例如，该方法可以包括一旦聚焦度量的最近获取到的经过标准化的值和聚焦度量的前一个经过标准化的值之间的差满足或超过给定阈值即停止调查进一步的聚焦设置。例如，如果最近经过标准化的值比前一个经过标准化的值至少小3％，则可以使用所获取的经过标准化的值确定聚焦设置，而不需要获取进一步的经过标准化的值。
[0126]
这些情况下的多项式函数是聚焦设置的函数。多项式函数的阶可以取决于已为其获取了聚焦度量的经过标准化的值的不同聚焦设置的数目。例如，如果针对至少四个不同的聚焦设置获取了经过标准化的值，则可以对经过标准化的值拟合三阶多项式。如果已经针对三个不同的聚焦设置获取到了经过标准化的值，则可以对经过标准化的值拟合二阶多项式。如果已经针对两个不同的聚焦设置获取到了经过标准化的值，则用于图像捕捉设备的后续操作的聚焦设置可以被设置为默认或预定值。例如，图像捕捉设备的镜头的镜头位置可以被设置为使得该镜头聚焦到距离该镜头无限距离处的对象。在其他情况下，如果在这个阶段已经针对两个不同的聚焦设置获取到经过标准化的值，则该方法可以包括获取附
加的不同聚焦设置的进一步的经过标准化的值，以尝试至少获取至少三个不同聚焦设置的经过标准化的值。
[0127]
在拟合多项式函数之后，可以将对应于多项式的最大值的聚焦设置作为聚焦设置(例如，镜头位置)。
[0128]
在一些情况下，根据图16的方法可以包括对针对图像区域(例如，roi)中的多个图像区中的每个图像区的经过标准化的第一值进行累加。在给定roi中，可以类似地累加不同于第一聚焦设置的其他聚焦设置的经过标准化的值。可以对累加值而不是单个图像区的经过标准化的值进行多项式函数拟合，这可以更高效地确定适当的聚焦设置。
[0129]
图像处理系统
[0130]
本文所述的示例可以使用诸如图17中示意性地示出的图像处理系统238实现。
[0131]
图10的图像处理系统238包括诸如以上所述的图像传感器240。图像传感器240包括用于捕捉光的传感器像素242。在图像传感器240处接收到的光被转换为图像数据。图像数据被传输到图像信号处理器244，该图像信号处理器一般被配置为生成表示输出图像的至少一部分的图像数据。输出图像数据在被传输到其他组件以例如用于存储或进一步处理之前，可以经由编码器246进行编码。图像信号处理器244一般包括被配置为对图像数据执行各种处理以生成输出图像数据的多个单元。诸如图17的图像信号处理器244的图像信号处理器可以包括被设计为执行本文所述的功能的微处理器、通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其他可编程逻辑器件、离散门或晶体管逻辑、离散硬件组件、或它们的任意组合。处理器也可以被实现为计算设备的组合，例如，dsp和微处理器、多个微处理器、结合dsp核的一个或多个微处理器、或者任何其他这样的配置的组合。
[0132]
图17的示例中的图像信号处理器244被布置为计算如本文所述的聚焦度量的值，因此可以被认为包括聚焦度量计算单元248。用在聚焦度量计算单元248中或者作为聚焦度量计算单元248的部分生成的数据可以被存储在图像处理系统238的存储部250中。存储部250可以包括易失性存储器(例如，随机存取存储器(ram))和非易失性存储器(例如，只读存储器(rom)或诸如闪存的固态驱动(ssd))中的至少一者。存储部250是例如可以被图像信号处理器244相对快速地存取的片上存储器或缓冲器。然而，在其他示例中，存储部250可以包括进一步的存储设备，例如，磁、光、或磁带介质、压缩盘(cd)、数字多功能盘(dvd)、或其他数据存储介质。存储部250可以是可以从图像处理系统238移除或不可移除的。图17中的存储部250通信地耦合到图像信号处理器244，以使得数据可以在存储部250和图像信号处理器244之间传输。例如，存储部250可以存储表示图像的至少一部分的图像数据(例如，去马赛克处理之前的图像数据)以及在计算聚焦度量的值期间生成的数据(例如，如上所述的数据)。
[0133]
图像信号处理器244还可以包括用于对用在聚焦度量计算248中的图像数据进行去马赛克处理的去马赛克系统252。去马赛克系统252被布置为执行灰度消隐，以从获取自图像传感器的数据(该数据是例如贝尔数据)获取相应像素位置处的灰度强度。例如，去马赛克系统252不需要获取rgb数据，并且可以替代地获取灰度数据。在这种情况下，用于确定聚焦设置的传感器数据可以是由去马赛克系统252获取的灰度数据，该灰度数据可以被认为对应于灰度强度平面y中的值。然而，在其他情况下，用于确定聚焦设置的传感器数据可
以是贝尔数据本身，并且可以在进行去马赛克处理之前被从传感器像素获取。
[0134]
图17的图像处理系统238还包括用于控制图像传感器240的特征或特性的控制器254。控制器254可以包括硬件或软件组件或者硬件和软件的结合。例如，控制器254可以包括固件256，该固件包括用于对控制器254的操作进行控制的软件。固件256可以被存储在控制器254的非易失性存储器中或者存储部250(该存储部对于控制器254来说是可访问)中。图17的控制器254还包括自动图像增强系统258，该自动图像增强系统被配置为执行例如确定是否需要对图像处理系统238做出调整以提高图像质量的处理。例如，自动图像增强系统258可以包括自动曝光模块(例如，被布置为执行基于对比度的自动聚焦)、自动白平衡模块、和/或自动聚焦模块。例如，自动图像增强系统258可以包括诸如基于对比度的自动聚焦控制器的聚焦控制器。在其他情况下，聚焦控制器可以是控制器254的单独单元，和/或自动图像增强系统258可以被省去。控制器254还包括用于控制图像传感器240的操作的驱动器260。例如，驱动器260可以控制图像传感器240的配置(例如，镜头位置)，以使得图像传感器240处于对应于特定聚焦设置的配置中。
[0135]
可以使用诸如控制器254或图像信号处理器238的硬件的硬件(例如，通过可以基于包括图像信号处理器238的图像捕捉设备获取的图像数据获取统计数据(例如，对比度数据))来执行可以被称为统计数据收集处理的数据收集处理。
[0136]
可以使用诸如控制器254的固件256或与图像信号处理器244相关联的固件的固件，来执行例如参考图9至图16所述的对统计信息的处理，以确定图像捕捉设备的聚焦设置。然而，这并不意图限制，可以使用软件、硬件、或软件和硬件的组合来确定聚焦设置。
[0137]
可以使用系统总线相互连接图像信号处理器244的组件，这使得数据可以在各种组件之间传输。
[0138]
使用片上系统的数据处理
[0139]
如参考图17所述，可以转换数据格式，以提高数据的存储效率。图18是示出根据这样的示例的数据处理方法的流程图。
[0140]
在图18的项目262，获取定点格式的输入数据。输入数据是例如从表示图像的图像数据得到的。但是，这仅是示例。
[0141]
在图18的项目264，将输入数据的格式从定点格式转换为浮点格式，以生成压缩数据。
[0142]
在图18的项目266，将压缩数据存储在存储部中。存储部是例如本地存储部(例如，片上系统的片上存储部)。
[0143]
在图18的项目268，从存储部提取压缩数据。
[0144]
在图18的项目270，在处理压缩数据之前，将压缩数据的格式从浮点格式转换为定点格式。处理压缩数据包括例如把处理压缩数据作为图像处理流水线的一部分。
[0145]
图18的方法是与直觉相反的，但是可以使得数据被更高效地存储和/或处理。另外，在可以包括诸如专用集成电路(asic)的集成电路的一般片上系统中，将要处理的数据可以被以固定的位大小的格式存储，以使得由asic处理的所有数据具有相同的位大小。这种方法包括将数据转换为浮点格式，该浮点格式可以具有不同位大小，这取决于将要转换的数据。这使数据可以被更高效地存储，但是包括了在处理前将数据转换回定点格式的进一步的处理步骤。尽管如此，图18的方法也是更高效地，因为压缩数据通常具有比定点格式
的数据更低的存储要求。因此，压缩数据可以被更高效地存储并从存储部中提取。例如，可以减小存储带宽和/或存储区域。
[0146]
以上示例将被理解为说明性示例。可以预见到进一步的示例。
[0147]
将理解的是，与任意一个示例相关联地描述的任意特征可以单独或者结合所描述的其他特征使用，并且还可以结合任意其他示例的一个或多个特征或者任意其他示例的任意组合使用。另外，在不偏离所附权利要求的范围的条件下，还可以采用上面没有描述的等同和修改。