用于对焦的方法

专利名称：用于对焦的方法
技术领域：
本发明涉及相机中的自动对焦和相机视图中的焦点区域选择。
背景技术：
捕获相机视图的感兴趣部分中焦点未对准的静止视频或运动视频可能会令人很烦扰。这可能例如是由于相机对焦于相机视图的不同部分或相机根本没有对焦于相机图像视图的任意物体或对象。已开发和提议出相当多的自动对焦方案来解决这个问题。两个主要的方法分别被称为主动自动对焦和被动自动对焦。主动自动对焦方案包括测量距待捕获的对象的距离并相应地调节相机的焦点。测量一般通过发射例如超声波或红外线来执行。被动自动对焦方案一般包括被动分析来自进入相机的图像视图的光。被动自动对焦方案可以基于相位检测或对比度检测。大多数对比度检测方案包括计算所捕获的相机视图的焦点值，即焦点测量值，然后确定焦点值是否指示清晰图像。在大多数焦点方案中，过程包括计算多个不同镜头距离下的多个焦点值，并且基于该多个或数据点确定在哪个镜头距离下实现了指示清晰图像的焦点值。该过程通常迭代。镜头距离是相机的焦平面与相机镜头的透镜之间的空间关系。因此，镜头距离是在相机/镜头的焦点从附近的物体改变到更远的物体时改变并且反之亦然的镜头属性。用于查找最佳清晰度的一个普遍使用的方法是用于查找曲线的最大值或最小值的叫做线搜索的一维搜索方法。这在处理自动对焦时非常有利，因为物镜会沿着镜头位置轴查找产生最大焦点值的镜头距离。应用于自动对焦方案的线搜索方法导致需要很少迭代并且稳定的方案。存在许多线搜索方法，这些方法确保在有效和相当低数目的迭代内收敛。 两个这种快速方法为黄金分割搜索和斐波那契搜索。这些方法通过逐渐缩小比较边界点与内部点所获得的间隔，然后以迭代方式将边界点移动到内部点的一系列过程来工作。用于查找导致最清晰图像的镜头距离的频繁使用的另一同类方法为具有自适应步长的爬山算法。爬山算法通过以连续方式步进通过曲线来操作。步长经常根据焦点值阈值来调节，使得对焦马达在最大值附近时采取较小的步长。

发明内容
本发明的目的在于提供一种改进的相机和改进的对焦方法。该目的通过根据权利要求1所述的用于在相机中选择焦点区域的方法、根据权利要求11所述的在相机中进行对焦的方法以及根据权利要求13所述的相机来实现。本发明的更多实施例呈现在从属权利要求中。具体来说，根据本发明的一个实施例，一种用于在相机视图中选择焦点区域的方法，其中在相机视图中定义多个焦点区域，所述方法包括通过将所述相机的镜头距离设置为不同的镜头距离值，来重复设置所述相机的焦点距离以对焦于不同的距离处；响应于设置镜头距离，确定所设置的镜头距离值下每个焦点区域的焦点值；在已确定出多个焦点值和镜头距离值对时，针对多个焦点区域估计至少二维的函数，其中所述函数以镜头距离值的函数表示焦点值；针对函数已被估计的每个焦点区域，计算所述函数的局部最大值点，所述局部最大值点具有镜头距离值；基于所述焦点区域的局部最大值点的镜头距离值和所述焦点区域之间的空间距离，对焦点区域进行分组；对从焦点区域的分组而得到的焦点区域组进行评级；并且基于所述对焦点区域组进行评级来选择焦点区域。该实施例的一个优点在于，其能够仅仅利用少数不同的镜头距离来找到焦点的局部最大值。其原因在于，用于估计这种函数的算法仅仅需要少数点，并且这些点可以比在仅使用普通爬山算法的情况下间隔更远。因此，本发明的方法较快地找到局部焦点最大值，因为设置新的镜头距离所需的时间段相对于处理器周期较长。而且，需要镜头距离的少数设置的事实使被布置为控制镜头的焦点的对焦马达比在利用现有技术方法的实施方式中持续更长时间。进一步，通过基于焦点区域中局部最大值点的镜头距离值对焦点区域进行分组，可以在很大程度上改善对焦，因为与感兴趣的物体相关的焦点值不会由于离相机更远或更近的物体而偏斜。根据另一实施例，镜头距离的焦点值利用对比度测量方法来确定，这使得可以利用例如包括普通图像传感器和运行分析代码的处理装置的简单硬件配置来测量焦点值。在一个实施例中，估计函数的动作是估计多项式，这使得可以非常快速地估计局部焦点最大值。在另一实施例中，估计函数的动作是估计样条函数，其具有使得局部焦点最大值的预测更精确的潜能，但与利用多项式估计的方法相比可能会稍微损失速度。根据另一实施例，所述对焦点区域进行分组包括利用每个焦点区域的镜头距离值以及从每个焦点区域到所有其它焦点区域的空间距离，对所述焦点区域应用图像分割算法。图像分隔算法被用于快速查找图像中感兴趣的物体。通过对焦点区域使用这些算法， 可以快速地产生一个或多个焦点区域组，每个组包括可能包括相同物体的图像信息的焦点区域。在一个实施例中，所使用的图像分割算法为图论聚类算法。由于一次计算产生多个例如按照大小减小的顺序排序的物体，因此该算法在本申请中具有优势。因而该方法比在利用其它图像分割算法时变得更快。而且，因为仅仅需要考虑少数变量，因此算法的适配简单。根据另一实施例，所述对焦点区域组进行评级是基于所述组的大小对所述焦点区域组进行评级，较大的焦点区域组相对于较小的焦点区域组被评级为优选的。基于大小进行评级的优点在于，大小的度量容易处理，并且在许多应用中会是感兴趣物体的最明显的特征。因此，增加了选择包括在感兴趣的物体中的焦点区域的机会。根据又一实施例，所述对焦点区域组进行评级是基于所述焦点区域组在相机视图内的位置来对所述焦点区域组进行评级，位置较接近于预定位置的焦点区域组相对于位置在离预定义位置较远距离下的焦点区域组被评级为优选的。基于位置进行评级的优点在于，在许多应用中可以预测感兴趣的物体会出现在哪里。因此，增加了选择包括在感兴趣物体中的焦点区域的机会。将以上提及的这两种评级特征进行结合更会增加选择正确的焦点区域的机会。根据一个实施例，所述评级通过分配得分来执行，较优选的焦点区域组比不是同样优选的焦点区域组得到更多的得分，并且其中所述选择焦点区域是选择包括在已得到可利用得分的一半以上的焦点区域组中的焦点区域。通过如上所述的基于得分选择焦点区域，在相对于时间进行平均时，选择过程变得更快，这是因为该过程不需要在选择焦点区域之前分配所有的得分。而且，可能不需要针对所有区域查找所有的最大值，从而需要的处理减少。根据一个实施例，所述评级通过分配得分来执行，较优选的焦点区域组比不是同样优选的焦点区域组得到更多的得分，并且其中所述选择焦点区域是选择包括在已得到比留待分配的得分更多得分的焦点区域组中的焦点区域。通过如上所述的基于得分选择焦点区域，在相对于时间进行平均时，选择过程变得更快，这是因为该过程不需要在选择焦点区域之前分配所有的得分。而且，可能不需要针对所有区域查找所有的最大值，从而需要的处理减少。根据另一实施例，所述用于在相机视图中选择焦点区域的方法被用在用于在相机中进行对焦的方法中。在选择焦点区域时，该方法运行焦点搜索算法，以在所选择的焦点区域中开始搜索计算出的焦点值的局部最大值的镜头距离值，并且将所述镜头距离值设置成由所述焦点搜索算法找到的镜头距离值。在对焦方法或自动对焦方法中使用焦点区域选择方法的优点在于，焦点区域选择方法在以下过程中利用较少的镜头距离改变步骤实现表示良好焦点值的镜头距离，该过程即使在基于焦点区域选择中所实现的镜头距离应用精细调整过程时也使得对焦过程更快。 因此，该对焦过程可以实现快速且精确的自动对焦操作。根据另一实施例，所述焦点搜索算法限于在包括所选择的焦点区域的焦点区域组中的焦点区域内操作。通过将焦点搜索限制到焦点区域组，在焦点值的计算中仅需考虑感兴趣的区域的焦点，从而限制了非相关图像信息的量。因此，可以显著增加焦点值的质量和镜头距离。根据本发明的另一方面，一种相机包括相对于所述相机的相机视图而定义的多个焦点区域；用于将所述相机的镜头距离重复设置为不同镜头距离值的装置；用于响应于设置镜头距离，确定所设置的镜头距离值下每个焦点区域的焦点值的装置，其特征在于，被布置为在确定出多个焦点值和镜头距离值对时，针对每个焦点区域估计至少二维的函数的函数估计器，其中所述函数以镜头距离值的函数表示焦点值；用于针对每个焦点区域，计算所述函数的局部最大值点的装置，所述局部最大值点包括镜头距离值；被布置为基于每个焦点区域的局部最大值点的镜头距离值和所述区域之间的空间距离，对焦点区域进行分组的区域分组装置；被布置为对从焦点区域的分组而得到的焦点区域组进行评级的评级装置；以及被布置为基于所述对焦点区域组进行评级来选择焦点区域的焦点区域选择器。这些设备和装置的优点与实施针对上述方法所公开的相应功能的优点相对应。本发明的更多应用范围从下面给出的详细描述中将变得明显。然而，应当理解，由于在本发明范围内的各种改变和修改对于本领域技术人员来说从该详细描述中将变得明显，因此将仅通过示例的方式给出示出本发明优选实施例的详细描述和特定示例。


从以下参照附图的目前优选实施例的详细描述中，本发明的其它特征和优点将变得明显，附图中图1示出根据本发明一个实施例的相机的示意性框图，图2示出如何针对具体的相机视图限定出焦点区域的示例，图3a_c示出根据本发明一个实施例的在相机中用于选择焦点区域并进行对焦的方法的流程图，图4示出根据本发明一个实施例的用于初始查找镜头距离和相对应的焦点值，从而能够估计函数曲线的方法的流程图，图5示出根据本发明一个实施例的用于精细调整镜头距离，以便基于之前计算的局部焦点最大值查找最佳焦点值的方法的流程图。
具体实施例方式在详细描述本发明之前，应当理解，本发明不限于所描述设备的具体组成部分或所描述方法的具体步骤，这是因为这种设备和方法可以改变。还应当理解，此次使用的术语仅仅用于描述具体实施例的目的，而并不意在进行限制。必须注意，如在说明书和所附权利要求中所使用的那样，冠词、不定冠词和“所述”及其变体意在意味着存在一个或多个元件， 除非上下文另外清楚地进行指示。因此，例如，对“一个传感器”或“所述传感器”的引用可以包括若干传感器等。此外，词“包括”不排除其它元件或步骤。而且，在附图中，相同的附图标记在若干幅图中始终指代相同或相应的部件。图1中示出被布置为执行本发明的一个实施例的相机10。相机10包括外壳12、 镜头14、用于记录相机视图的图像的图像传感器16、用于进行初始图像处理的图像处理单元18、用于总体控制并执行程序代码的中央处理单元20、用于临时存储信息的易失性存储器22、用于永久存储信息的非易失性存储器M以及用于通过网络接收和/或传输指令、信息和图像数据的网络接口 26。而且，中央处理单元20被布置为实现区域分组装置30、函数估计器32、用于根据函数计算局部焦点最大值的装置33、焦点值计算器34、用于对区域进行评级的评级装置36、用于基于评级选择区域的焦点区域选择器38以及自动对焦控制器 40。这些功能可以由中央处理单元20通过布置在运行时执行这些设备的功能的程序代码来实现。进一步，本领域技术人员理解，这些设备的功能也可以使用逻辑电路或其它硬件配置来实施。自动对焦控制器40被布置为控制镜头14处的对焦马达42，以便调节镜头14的镜头距离，从而调节图像16所捕获的相机视图的焦点。在由中央处理单元20所控制时，自动对焦控制器可以被布置为将相机的镜头距离重复设置为不同的镜头距离值，以便能够在不同的镜头距离设置下采样多个焦点值。镜头距离为相机的焦平面与相机镜头的透镜之间的空间关系。因此，镜头距离是在相机/镜头的焦点从附近的物体改变到更远的物体时改变并且反之亦然的镜头属性。焦点值计算器34被布置为针对当前的镜头距离计算焦点值。焦点值计算器可以被布置为针对基本上整个相机视图计算焦点值，或者它可以被布置为针对每个焦点区域计算焦点值。如果针对每个区域计算焦点值，则这些值可以被累积或增加到针对基本上整个相机视图的焦点值。函数估计器32被布置为估计表示多个焦点值-镜头位置对的至少二维的函数。下面将公开该设备的详细功能。区域分组装置30被布置为对焦点区域进行分组，如以下在相应功能的描述中所描述的那样。评级装置36被布置为对焦点区域组进行评级，如在下面的过程中所描述的那样。 焦点区域选择器38被布置为基于焦点区域组的评级选择至少一个焦点区域。根据一个实施例，提供一种用于查找可能包括处于焦点对准的影像的焦点区域的方法。焦点区域为相机视图的子范围。在一个实施例中，为相机视图100定义多个焦点区域101-115，参见图2。焦点区域被布置为覆盖基本上整个相机视图，而彼此不重叠。换句话说，如果焦点区域的范围被叫做Pi，其中i为从1到为相机视图100定义的焦点区域 101-115的数目，则范围Pi不相交，并且P1 U P2 U ... U Pn= Ω，其中Ω基本上对应于全相机视图范围，并且η为焦点区域101-115的数目。在图2中，描绘出15个焦点区域，然而，本发明并不考虑限于这个数目的焦点区域 101-115，因为附图仅表示示例，并且本领域技术人员将会理解，焦点区域的数目可以依赖于应用的特点和/或执行环境而改变。而且，图2的焦点区域101-115被定义为矩形面积。本领域技术人员应当认识到， 焦点区域本质上可以是任意形状，只要焦点区域的边界基本上追踪邻近焦点区域的边界即可。然而，使用矩形或正方形焦点区域的一个优点在于，它便于并简化区域的使用以及与区域相关的数学计算。参见图3a_b，在用于选择相机视图中的焦点区域的方法的一个实施例中，过程响应于事件而开始，即该过程等待步骤202中自动对焦操作的触发。触发自动对焦算法以查找对焦更好的镜头位置的事件或条件可以根据下列方法中的任意一种来实施在基本上整个图像范围上连续计算焦点值，并且如果焦点值低于与初始的“稳定状态”-焦点值相关的预定阈值，则触发自动对焦。在基本上整个图像范围上连续计算多个区域的像素强度的平均值。如果任意平均强度与初始平均强调之间的绝对差大于预定的阈值，则触发自动对焦。连续计算在相机视图中定义的每个焦点区域的焦点值，从而也计算图像范围中的焦点值。如果属于焦点物体的焦点区域的焦点测量值以某一预定值改变，则该焦点区域从其被编组的焦点物体中删除，将焦点区域分组成焦点物体将在以下描述。然后，对图像视图的焦点物体进行重新评级，如果当前处于焦点对准中的焦点物体不再被认为是感兴趣的物体，则触发自动对焦。这后来的进程类似于首先提议的过程，但在焦点区域水平上而不是在图像面积的每个独立像素上操作，并且利用与分组的物体相关的信息。当在步骤202中已触发自动对焦操作时，在步骤204检查与前一自动对焦操作相关的焦点物体是否存储在存储器中。如果在步骤206处，这种焦点物体存在于存储器中， 则在步骤208处，该过程检查存储器中的焦点物体是否仍然处于焦点对准中。检查可以通过针对一个焦点区域、针对多个焦点区域或针对焦点物体的所有焦点区域来计算焦点值， 并将该焦点值与预定的阈值进行比较来执行。可以使用任意已知方法，例如基于梯度、基于相关性、基于统计、基于变换或基于边缘的焦点测量来进行计算，更多信息请参见由YiYao、Besma R. Abidi 和 Mongi A. Abidi 于 2007 年 2 月发表在 Journal of multimedia (多媒体杂志)第 2 卷第 1 期的"Extreme Zoom Surveillance :System Design and Image Restoration (极度缩放监控系统设计和图像恢复)”。如果在步骤210处确定焦点物体仍然处于焦点对准中，则该过程返回步骤202处等待自动对焦触发的进程。然而，如果确定焦点物体不处于焦点对准中，则开始选择焦点区域或待对焦的焦点物体的过程。焦点物体可以包括一个或多个焦点区域。选择过程通过在步骤212处由相机指令镜头将镜头距离设置为新值而开始。在步骤214，针对目前镜头距离下的基本上整个相机视图来计算焦点值。计算出的焦点值被存储，并且当针对不同镜头距离而计算出的多个焦点值可用时，在步骤216，评估不同镜头距离下的包括至少两个焦点值的一系列焦点值。如果焦点值被考虑为镜头距离的函数，则可以构建焦点曲线图，并且该焦点值曲线图中的最大值指示至少与相邻镜头距离相比高度对焦的镜头距离。如果在步骤218，焦点值序列指示在设置新的镜头距离值时还未通过这种焦点值高点，则该过程返回步骤212，针对镜头设置新的镜头距离值。然而，如果在步骤218，焦点值序列指示已通过这种焦点值高点，则该过程已发现相机视图的图像范围最可能在从焦点值序列的最新镜头距离到前一镜头距离的范围内的镜头距离下具有处于焦点对准中的特征。步骤212设置镜头距离、步骤214计算焦点值、步骤216评估焦点序列、然后只要在步骤218处序列未指示出焦点值顶点就返回步骤212的过程，可以例如实施为线搜索或通过爬山算法来实施。该过程这一初始部分的结果的精度不是非常重要，而是快速地自动导向顶点，并利用极少的镜头距离改变，以便节约对焦时所涉及的对焦马达和机械部件。因此，两个连续的镜头距离设置之间的差可以很大，例如两个连续的镜头距离设置之间的距离可以是在十五次镜头距离改变内指示为最高的焦点值的大小。现在参见图北，当已实现在特定镜头距离范围内指示局部焦点值最大值时，在步骤220，该过程通过基于离每个焦点区域不同镜头距离下的至少三个焦点值来估计至少二维的函数。然后，在步骤222，使用所估计的函数的特点，将焦点区域分组为焦点区域组，即基于所估计的与每个焦点区域相关的函数的特点将焦点区域分组为焦点区域组。根据一个实施例，在给定每个焦点区域的函数的局部焦点最大值的镜头距离，并且考虑焦点区域之间的欧几里德几何距离的情况下，焦点区域的分组利用图像分割方法来执行。可以使用的一个图像分割方法例如是被称为图论聚类的方法，该方法在下面并且在2003年I^entice Hall 的 “Computer Vision, A Modern Approach (计算机视觉、现代方式)”第 317-323 页 (由位于伯克利的加利福利亚大学的David A. Forsyth和位于厄乌尔班纳-尚佩恩的伊利诺伊大学的Jean Ponce所著)中进一步描述。当在步骤222执行焦点区域的分组时，在步骤224，评估所得到的焦点区域组，并且基于该评估给予每个焦点区域组等级或得分。评估可以考虑诸如焦点区域组的尺寸(例如包括在焦点区域组中的焦点区域的数目)、焦点区域组与相机视图中的特定点的接近度 (例如到图像视图的中央、到门、窗户的距离)之类的焦点区域组特征，从相机到物体的距离等。评估也可以考虑焦点区域组是否包括特定特征，例如人脸。这种特征可以使用存在于相机中的资源来检测。然后，在步骤2 检查新获得的焦点区域组的得分以及与所存储的来自前一焦点区域分组但在同一焦点区域选择会话期间的焦点区域组相关联的得分，以便找出是否任意焦点区域组已获得其它焦点区域组不可能取得更好得分的大小的得分。可以在检查步骤226中考虑迄今为止在该会话中识别出的所有焦点区域分组，并且如果使用固定的得分范围，则即使在焦点区域组未获得大部分得分的情况下也可以选择焦点区域组。 因此，如果剩下用于分配的得分小于一个单个焦点区域组的得分，则可以选择焦点区域组。
根据一个实施例，使用归一化的得分系统，并且如果得分范围为1，则在下列情况下选择焦点区域组
「00521 Srorp1 - V Srnrp
ι_νν" _」'-focus region group 丄 ^ wv^wj- v^other focus region groups这也就意味着，如果焦点区域组的得分大于0. 5，则选择该焦点区域组。如果在步骤228，焦点区域组的得分不足以被选择，则在步骤230，该过程通过存储已识别的焦点区域组的得分而继续。然后，该过程返回步骤212，以便识别其他焦点区域组来考虑选择。然而，如果焦点区域组的得分足够，则在步骤2 处选择该焦点区域组，并且在步骤232处，焦点区域组作为所选择的焦点区域组而输出。该进程的一个优点在于，不需要查找、分析和评级存在于图像视图中的所有焦点区域组，因为只要具体的焦点区域组在得分方面很明显不能被超过，该过程就通过选择焦点区域组来继续。在一个实施例中，不需要输出整个焦点区域组，而只要输出包括在所选择的焦点区域组中的一个焦点区域或焦点区域的子集。这种焦点区域的选择可以实施为选择具有最大焦点值、焦点区域组内最中央位置等的区域。而且，所选择的焦点区域组、焦点区域可以输出给被布置为精细调整相机的镜头距离的焦点精细调整过程，参见图3c。根据一个实施例，在步骤240处，该精细调整过程通过基于从所选择的焦点区域组中选择的焦点区域或从所选择的焦点区域组中选择的多个焦点区域的估计的焦点值函数的局部最大值，设置相机的初始镜头距离而开始。然后，通过在步骤242处将相机的镜头距离设置为新值来再次开始改变镜头距离的过程。然后，在步骤M3，针对处于当前镜头距离下的当前相机视图计算焦点值。计算出的焦点值被存储，并且当针对不同镜头距离计算出的多个焦点值可用时，在步骤244评估不同镜头距离下的包括至少两个焦点值的焦点值序列。考虑表示焦点值镜头距离的曲线图，则该焦点值曲线图中的顶点指示了表示至少与相邻的镜头距离相比高度对焦的镜头距离。如果在步骤M6，焦点值序列指示在设置新的镜头距离值时还未通过这种焦点值高点，则该过程返回步骤M2 针对镜头设置新的镜头距离值。在精细调整过程中，两个连续设置的镜头距离值之差小于在步骤212中设置的两个镜头距离值之差。根据一个实施例，精细调整的两个连续设置的镜头距离值之差为在步骤212中设置的两个连续的镜头距离值之差的1/10到1/100。步骤 242-246的精细调整的步骤例如可以利用爬山算法或线搜索来实现。如果在步骤246中指示出焦点值函数的局部最大值，则已找出当前相机视图的合适的镜头距离，并且在步骤M8中设置该镜头距离。该镜头距离可以被设置为与最大焦点值相对应的镜头距离，即之前到最新计算出的焦点值，或者它可以被设置为两个最新焦点值的镜头距离之间的镜头距离。当镜头距离被设置，因而相机视图被再次正确对焦时，该过程返回步骤202等待触发新的焦点设置的另一事件。根据一个实施例，通过使用很少的迭代来实施用于查找所建议的焦点最大值的第一迭代过程，即图3a中的步骤212-218，以快速识别出处于可能是焦点最大值的范围中的镜头距离值。这可以通过图4的过程实现，该过程由步骤402将镜头距离设置为合适的开始搜索值xO而开始。开始搜索值可以依赖于该过程是否在自动对焦会话中第一次运行或该过程是否已从识别焦点区域组返回但还不能做出选择而改变。在该过程在自动对焦会话中第一次运行的情况下，镜头距离开始值可以被设置为与相机非常接近的镜头距离，并且在该过程从识别焦点区域组返回时，镜头距离开始值&可以被设置为所存储的镜头距离值加上预先设置的连续镜头距离之间的距离，连续镜头距离之间的距离将在下面被称为步进距离S。步进距离的值可以在迭代期间改变，如果当前镜头距离χ下的焦点值f(x)基本上为零，即无焦点，则s表示比在步骤404中所计算的焦点值f(x)基本上不为零的情况大的步长haw。在步骤405，f(x)基本上不为零的步进距离被称为smediUffl。根据一个实施例，步进距离Smediim为较大步长Slmge的距离的大约一半。然而，本领域技术人员理解，Sfflediim步进距离可以为导致所需要的步骤较少并且记录最大值周围的足够多的焦点值以用于多项式的估计的任意值。然后，该过程通过在步骤407将第一次迭代i = 1的镜头距离设置为与前一镜头距离值Xh加上步进距离S即Xi = XH+S相对应的值而继续，对于第一迭代，这与X1 = h+s相对应。在步骤408处，使用之前提及的焦点测量计算方案来计算新镜头距离的焦点值f (Xi)并进行记录，然后检查焦点值以便以与在步骤404、405中相同的方式在步骤410、 411中确定步进距离s的大小。然后，在步骤412中，重复从步骤406中设置镜头距离的步骤到确定步进大小s的步骤，直到最新的焦点值f (Xi)小于前一焦点值f(Xi_i)，即f(Xi) < f (Xi^1)。当这种情况出现时，该过程指示已找到顶点，并且该过程可以继续图北中的步骤 220。可以以与查找所建议的焦点最大值的过程类似的方式来实施用于进行精细对焦的精细调整过程，即图3c中的步骤对0-对6。然而，精细调整过程的目的在于查找焦点最大值和极其接近于最可能的焦点最大值的镜头距离以及焦点区域或焦点区域组的镜头距离。 由于通过根据之前估计的函数计算局部最大值而实现的焦点最大值可能接近于真实的最大值，因此精细调整过程可能很简单。图5中示出这种精细调整过程，该过程在步骤502处以下述步骤开始将初始镜头距离％设置为由所估计的所选择焦点区域的函数的局部最大值给出的镜头距离值，或者设置为根据包括在所选择焦点区域组中的焦点区域的镜头距离值计算出的平均镜头距离值， 并且针对镜头距离计算焦点值f (y0)。在步骤504，镜头距离步进s被设置为小值的步进值ssmall，以便实现可接受的最终对焦精度。然后，通过将初始镜头距离增加或缩减步进值s来设置第二镜头距离。为了便于理解该过程，仅示出增加初始镜头距离的实施方式。因此，在步骤506处，第二镜头距离yi 被设置为Y1 = yo+s。然后，比较初始镜头距离&的焦点值f 和第二镜头距离Y1的焦点值f (Y1)，以便确定是否要减少或增加镜头距离来使得镜头距离接近于焦点最大值的镜头距离。由于第二镜头距离yl被选择为大于初始镜头距离y0，因此可以通过比较第二焦点值 f(yi)和第一焦点值f(yo)来决定方向。如果第二焦点值f(yi)小于第一焦点值f(yci)，则焦点最大值位于较小的镜头距离值处，因此用于下一焦点值计算的镜头距离值将小于第一组两个镜头距离值Y1^ci，另外，焦点最大值位于较大的镜头距离值处，因此用于下一焦点值计算的镜头距离值大于第一组两个镜头距离值yi、％。这在步骤508中被检查，并且在步骤510或512中设置步进方向，如果镜头距离将被减少，则在步骤510处将变量d设置为负值，而如果镜头距离将被增加，则在步骤512处将变量d设置为正值。在步骤514中，用于识别不同镜头距离和焦点值的计数i被设置为1，然后，在步骤 516处，计数加一以指示将处理下一焦点值。然后，在步骤518处，通过将与方向变量d相乘的步进距离s增加到前一镜头距离y"上来计算新的镜头距离在步骤520处，利用镜头距离Yi来计算新的焦点值f (Yi)。然后，在步骤522中，重复从步骤516中增加计数i的步骤的过程，直到找到小于前一焦点值的焦点值，即f (yi) < f (Yi^1)。当找到这种焦点值时，在步骤524中，该焦点值为最大焦点值，并且镜头距离是将在相机中使用的镜头距离。现在，该过程返回图3c中的步骤248设置相机的镜头距离。为了实现被动自动对焦，可以根据任意种类的焦点测量，例如基于梯度、基于相关性、基于统计、基于变换和基于边缘的方法，来执行焦点值的计算，如较早讨论的。基于梯度的方法涉及通过微分或高通滤波器来估计图像梯度。一个这种梯度方法是被叫做Tenenbaum梯度的方法，参见由加拿大斯坦福的斯坦福大学计算机科学系的 J.M. iTenenbaum 博士于 1970 年发表的"Accommodation in Computer Vision (计算机视觉中的自适应调节)”。该方法基于分别利用水平和垂直Sobel内核来对图像进行卷积并将它们的平方求和以形成焦点值。其它可能的方法为拉普拉斯滤波器(Laplacian filter)或一维微分计算的使用。 另外可能的方法为利用被称为中频离散余弦变换运算器(Midfrequency Discrete Cosine Transform Operator)的滤波器内核，其由 S. Lee、Y. Kumar、J. Cho, S. Lee 和 S. Kim 根据在图像的离散余弦变换中确定本底频率而推导出，参见由Sang-Yong Lee、Yogendra Kumar、 Ji-man Cho> Sang-Won Lee 禾口 Soo-Won Kim 于 2008 年 9 月发表在 IEEE Transactions on Circuits and Systems for Video ^Technology (用于视频技术的电路和系统)第18卷第 9 期上的"Enhanced Autofocus Algorithm Using Robust Focus Measure and Fuzzy ReaSOning(使用鲁棒性焦点测量和模糊推理的改进的自动对焦算法)”。更多的方法通过基于相关性的测量而给出，其通过简单的乘法给出相邻像素之间的依赖性的量。一个方法可以用于计算自相关性函数的一个样本，参见由A. Santos、 C. Ortiz De Solorzano、J. J. Vaquero> J. M. Pena、N. Malpica 禾口 F. Del Pozo 于 1997 年 12月发表在Journal of Microscopy (显微镜学杂志)第188卷第3期第沈4_272页的 "Evaluation of autofocus functions in molecular cytogenetic analysis ( 生成分析中的自动对焦功能的评估)”。由P. T. Yap和P. Raveendran建议的另一方法利用像素与 Chebyshev 力矩(Chebyshev moments)之间的相关性,参见 P. T. Yap 禾口 P. Raveendarn 于 2004 年 4 月发表在 IEEE proc. -Vis. Image Signal Process 第 151 卷第 2 期的"Image focus measure based on Chebyshev moments (基于 Chebyshev 力矩的图像焦点测量)，，。基于统计的方法的示例为由Shirvaikar示出的Absolute Central Moment (绝对中心力矩)，参见位于USA TX 75799泰勒的得克萨斯州立大学电机工程系的Mukul V. Shirvailar 于 2004 发表的"An Optimal Measure for Camera Focus and Exposure (用于相机对焦和曝光的光学测量)”，其相对于诸如灰度级变化之类的基于直方图的其它测量，在对焦和曝光方面具有良好的辨别力。这些方法均涉及像素值之差的求和并对所有像素值的平均。另一简单的测量被定义为最大和最小灰度级之差，参见由Yi Yao,Besma R. Abidi 和Mongi A. Abidi于2007年2月发表在Journal of multimedia (多媒体杂志)第2卷第 1 期的"Extreme Zoom Surveillance :System Design and Image Restoration(极度缩放监控系统设计和图像恢复)”。还存在若干基于熵的测量，例如图像灰度级的相对频率的熵，参见由 A. Santos、C. Ortiz De Solorzano、J. J. Vaquero> J. M. Pena、N. Malpica 禾口 F. Del Pozo于1997年12月发表在Journal of Microscopy (显微镜学杂志)第188卷第 3 期第 264-272 页的"Evaluation of autofocus functions in molecular cytogenetic analysis(分子细胞生成分析中的自动对焦功能的评估)”，以及最近提议的利用通过对图像进行的归一化余弦变换的贝叶斯熵函数，参见由斯洛文尼亚卢布尔雅那1001 Trzaska 25 卢布尔雅那大学电机工程系的 Matej Kristan, Janez Pers, Matej Perse 和 Manislav Kovacic 于 2005 年发表的"A Bayesspectral-entropy-based measure of camera focus using a discrete cosine transform(利用离散余弦变换的基于贝叶斯光谱熵的相机焦点测量)”，其将基于统计的方法与基于频率的方法进行结合。而且，基于变换的方法是基于利用FFT、DCT或小波将图像变换到频域，然后在大多数情况下，测量所选择的频率系数集的能量，参见由Yi Yao, Besma R. Abidi和Mongi A. Abidi于2007年2月发表在Journal of multimedia(多媒体杂志)第2卷第1期的"Extreme Zoom Surveillance :System Design and Image Restoration (极度缩放监控系统设计和图像恢复)”，以及由Ge. Yang和Nelson，B. J.在“Intelligent Robots and Systems (智能机器人和系统)，2003. (IROS 2003) · Proceedings. 2003 IEEE/RSJ International Conference on" % 2143-2148 1 ^ "Wavelet-based autofocusing and unsupervised segmentation of microscopic images (显微图像的基于小波的自动对焦和未监控分割)”。基于边缘的测量利用阶梯型边缘看起来像的理想模型，包括作为对比度、方位和比例的参数，参见由美国夏普实验室数字视频部的Xin Li于2002年发表的“Blind Image Quality Assessment (盲图像质量评估)，，。用于选择焦点区域或焦点区域组的方法包括针对相机视图的每个焦点区域估计至少二维的函数的动作，参见图北中的步骤220。函数的估计可以利用几个不同的方法来执行。这些方法具有共同的特点，其在于它们使用多个焦点值-镜头距离对，即在特定镜头距离下计算的焦点值。因此，该系统必须至少临时存储这种对。这些方法之一包括利用多项式，例如在下列示例中示出的二次多项式，对点进行插值。即使示例针对二维多项式示出，本领域技术人员也理解，可以对较高次多项式进行插值。在该示例中，三个最新的镜头距离[Xl，X2, X3]具有相对应的计算出的焦点值[y” I2, y3]。这些点将利用一些二次多项式来进行插值，即yt = axxf + a2Xi + α3这导致线性方程系统
\
权利要求
1.一种用于对相机进行对焦的方法，其中在相机视图中定义多个焦点区域，所述方法包括通过将所述相机的镜头距离设置为不同的镜头距离值，来重复设置所述相机的焦点距离以对焦于不同的距离处；响应于设置镜头距离，确定所设置的镜头距离值下每个焦点区域的焦点值；在已确定出多个焦点值和镜头距离值对时，针对多个焦点区域估计至少二维的函数， 其中所述函数以镜头距离值的函数表示焦点值；针对函数已被估计的每个焦点区域，计算所述函数的局部最大值点，所述局部最大值点具有镜头距离值；基于所述焦点区域的局部最大值点的镜头距离值和所述焦点区域之间的空间距离，对焦点区域进行分组；对从焦点区域的分组而得到的焦点区域组进行评级；并且基于所述对焦点区域组进行评级来选择焦点区域；运行焦点搜索算法，以在所选择的焦点区域中开始搜索计算出的焦点值的局部最大值的镜头距离值；并且将所述镜头距离值设置成由所述焦点搜索算法找到的镜头距离值。
2.根据权利要求1所述的用于对相机进行对焦的方法，其中镜头距离的焦点值利用对比度测量方法来确定。
3.根据权利要求1-2中任一项所述的用于对相机进行对焦的方法，其中估计函数的动作是估计多项式。
4.根据权利要求1-2中任一项所述的用于对相机进行对焦的方法，其中估计函数的动作是估计样条函数。
5.根据权利要求1-4中任一项所述的用于对相机进行对焦的方法，其中所述对焦点区域进行分组包括利用每个焦点区域的镜头距离值以及从每个焦点区域到所有其它焦点区域的空间距离，对所述焦点区域应用图像分割算法。
6.根据权利要求5所述的用于对相机进行对焦的方法，其中所使用的图像分割算法为图论聚类算法。
7.根据权利要求1-5中任一项所述的用于对相机进行对焦的方法，其中所述对焦点区域组进行评级是基于所述组的大小对所述焦点区域组进行评级，较大的焦点区域组相对于较小的焦点区域组被评级为优选的。
8.根据权利要求1-7中任一项所述的用于对相机进行对焦的方法，其中所述对焦点区域组进行评级是基于所述焦点区域组在相机视图内的位置来对所述焦点区域组进行评级， 位置较接近于预定位置的焦点区域组相对于位置在离预定义位置较远距离下的焦点区域组被评级为优选的。
9.根据权利要求7-8中任一项所述的用于对相机进行对焦的方法，其中所述评级通过分配得分来执行，较优选的焦点区域组比不是同样优选的焦点区域组得到更多的得分，并且其中所述选择焦点区域是选择包括在已得到可利用得分的一半以上的焦点区域组中的焦点区域。
10.根据权利要求7-8中任一项所述的用于对相机进行对焦的方法，其中所述评级通过分配得分来执行，较优选的焦点区域组比不是同样优选的焦点区域组得到更多的得分， 并且其中所述选择焦点区域是选择包括在已得到比留待分配的得分更多得分的焦点区域组中的焦点区域。
11.根据权利要求1所述的用于对相机进行对焦的方法，其中所述焦点搜索算法限于在包括所选择的焦点区域的焦点区域组中的焦点区域内操作。
12.—种相机，包括相对于所述相机的相机视图而定义的多个焦点区域；用于将所述相机的镜头距离重复设置为不同镜头距离值的装置；用于响应于设置镜头距离，确定所设置的镜头距离值下每个焦点区域的焦点值的装置；被布置为在确定出多个焦点值和镜头距离值对时，针对每个焦点区域估计至少二维的函数的函数估计器，其中所述函数以镜头距离值的函数表示焦点值；用于针对每个焦点区域，计算所述函数的局部最大值点的装置，所述局部最大值点包括镜头距离值；被布置为基于每个焦点区域的局部最大值点的镜头距离值和所述区域之间的空间距离，对焦点区域进行分组的区域分组装置；被布置为对从焦点区域的分组而得到的焦点区域组进行评级的评级装置；以及被布置为基于所述对焦点区域组进行评级来选择焦点区域的焦点区域选择器。
13.根据权利要求12所述的相机，其中所述函数估计器被布置为基于所确定的多个焦点值和镜头距离值对来估计多项式。
14.根据权利要求12-13中任一项所述的相机，其中所述区域分组装置被布置为通过利用每个焦点区域的镜头距离值和从每个角度区域到所有其它焦点区域的空间距离，对所述焦点区域应用图像分割算法来对所述区域进行分组。
全文摘要
本发明涉及一种用于在相机视图中选择焦点区域的相机和方法，其中在所述相机视图中定义多个焦点区域。所述方法包括通过将所述相机的镜头距离设置为不同的镜头距离值，来重复设置所述相机的焦点距离以对焦于不同的距离处；响应于设置镜头距离，确定所设置的镜头距离值下每个焦点区域的焦点值；在已确定出多个焦点值和镜头距离值对时，针对多个焦点区域估计至少二维的函数，其中所述函数以镜头距离值的函数表示焦点值；针对函数已被估计的每个焦点区域，计算所述函数的局部最大值点，所述局部最大值点具有镜头距离值；基于所述焦点区域的局部最大值点的镜头距离值和所述焦点区域之间的空间距离，对焦点区域进行分组；对从焦点区域的分组而得到的焦点区域组进行评级；并且基于所述对焦点区域组进行评级来选择焦点区域。
文档编号G03B13/36GK102455568SQ201110324330
公开日2012年5月16日 申请日期2011年10月17日 优先权日2010年10月28日
发明者丹尼斯·尼尔森, 西蒙·莫林 申请人:安讯士有限公司