具有置信度量的自动聚焦的制作方法

专利名称：具有置信度量的自动聚焦的制作方法
技术领域：
本发明一般地涉及图像获取，更具体地涉及自动图像聚焦机制。
背景技术：
相机和其他光学装置通常提供用于对对象获得正确聚焦的自动化机构。通常响应 于部分地按下快门触发器(例如一半)而进行自动聚焦(AF)。在一些情况下，自动聚焦特 征在捕获图像之前或者在捕获图像序列或视频期间持续保持聚焦。将会认识到，在自动聚焦期间，相机镜头自动在三维景物上聚焦并且聚焦是针对 深度来控制的。本领域中已知许多自动聚焦机制。一种传统的自动聚焦方案搜索自动聚焦 曲线的峰值。在一个实施例中，相机利用来自图像梯度的自动聚焦曲线。随着分析区域变 得越聚焦，图像梯度变得越大。自动聚焦算法的目的是在需要最小数目的相机聚焦位置的 同时达到自动聚焦曲线的峰值。然而，现有的机制可能永远不收敛于适当的焦点，并且它们 经常是缓慢的或者可能持续“搜寻”适当的焦点位置。用于捕获所需图像的一个重要量度是适当地聚焦。已开发了许多系统来估计或获 得适当的相机聚焦。因为相机镜头系统具有多个相关的元件和特性，因此随后对这些元件 和它们的相关特性进行简要讨论。一般而言，拍摄镜头的两个主要光学参数是最大光圈(maximum aperture)和焦长 (focal length)。焦长决定了对于与对象相距给定距离(物距)情况下图像相对于物体 (对象)的大小和视角。最大光圈(f数(f-number)或f光圈(f-stop))限制了对于给定 的设置(焦长/有效光圈)而言可用的图像亮度和最快快门速度，较小的数字表示更多的 光被提供给焦平面，焦平面通常可被看作是简单的数码相机中的图像传感器的面。一种形式的典型简单镜头(在技术上是具有单个元件的镜头)具有单个焦长并 且也被称为“定焦镜头(prime lens)”。在使用单焦长镜头来对相机聚焦时，镜头与焦平面 之间的距离改变，这使得变动了焦点，拍摄对象图像在该焦点投向焦平面。这样，虽然单焦 长镜头具有固定的光学关系和焦长，但是它在相机中用于在一段调焦范围跨度聚焦在对象 上。因此，不应当将镜头的固定焦距与使用该镜头的相机上可获得的焦距范围相混淆，从 而，调整该镜头相对于焦平面的位置就变动了焦距。在使用单焦长镜头时，将调整光圈以针对所需的快门速度来选择光量，然后根据 物距(也称为焦距)调整聚焦并随后捕获图像。在其他的单焦长镜头上，宏观设置(macro setting)通常设有不同的焦长选择，用于拍摄特写镜头。远摄(tel印hoto)镜头以高倍率 提供非常窄的视角，用于为画面帧(frame)填充来自远距物体的图像。多焦长镜头通常被称为“变焦”镜头，因为图像倍率随着情况的可能而可以是“变 焦的”或者“未变焦的”。变焦镜头允许用户选择对象的倍率量，或者说是对象填充画面帧 的程度。了解到这些镜头或相机镜头系统的变焦功能在概念上与聚焦控制和光圈控制二者 是分开的这一点是重要的。不管是利用单焦长镜头还是利用多焦长镜头，都有必要针对给定的物距来适当地聚焦镜头。对于给定的聚焦设置，可接受的聚焦范围被称为“景深”，其是对物体空间或对象 空间中的可接受锐度的深度的度量。例如，在15英尺的物距的情况下，高清晰度相机的可 接受聚焦范围可以是约为几英寸，而最佳的聚焦可能要求更高的精度。将会认识到，随着聚 焦从中间距离向外朝着“无限远”(例如拍摄远处的山、云等的图像)移动，景深增大，在该 范围上当然具有无限制的景深。对于单焦长镜头，在给定的光圈设置下，对于从相机到对象的给定距离(物距)将 存在单个最佳聚焦设置。比相机的焦距更近或更远的对象部分将在所捕获的图像中显示出 受到某种程度的模糊，这取决于影响景深的许多因素。然而，在多焦镜头中，对于镜头可获 得的每个镜头倍率(镜头焦长)都存在最佳的焦点。为了提高实用性，镜头制造者大大降 低了对响应于变焦设置而重新聚焦的需要，但是重新聚焦的必要性取决于所使用的特定相 机镜头系统。另外，光圈设置可能需要响应于不同的变焦倍率水平而改变。最初，相机聚焦仅仅可以响应于操作者的识别和手动聚焦调整而被确定和校正。 然而，由于聚焦对结果的重要性，已经采用了聚焦辅助。最近，成像装置(imaging device) 通常提供自动聚焦在对象上的能力，这是目前一般称为“自动聚焦”的功能。因为诸多的现 有自动聚焦机制各自存在缺点和折衷，所以聚焦仍然是密集的技术开发点。存在两种一般类型的自动聚焦(AF)系统，主动自动聚焦和被动自动聚焦。在主动 自动聚焦中，一个或多个图像传感器被用来确定离焦点的距离，或者以其他方式在图像捕 获镜头系统外部检测聚焦。主动AF系统可以执行快速聚焦，但是它们通常不会通过窗口来 聚焦，或者在其他特定应用中由于声波和红外光被玻璃和其他表面反射而通常不会聚焦。 在被动自动聚焦系统中，使用所观看的图像的特性来检测和设置聚焦。多数高端SLR相机目前使用透过镜头型(through-the-lens)光学AF传感器，这 些光学AF传感器例如可被用作测光计。这些现代AF系统的聚焦能力通常比通过普通取景 器而手动获得的精度更高。一种形式的被动AF例如通过以下方式利用相位检测将通过分束器的入射光分 成多对图像并且在AF传感器上对它们进行比较。两个光学棱镜捕获来自镜头的相反两侧 的光线并且将其转向到AF传感器，从而创建基线与镜头直径相同的简单测距仪。响应于对 类似的光强度图案和相位差进行检查来确定聚焦，其中相位差的计算是为了确定物体被认 为在焦点前面还是在适当聚焦位置后面。在另一类型的被动AF系统中，在通过镜头的传感器区域内进行对比度测量。该系 统调整聚焦以使得相邻像素之间的强度差最大化，这种情况大致表示出正确的图像聚焦。 因此，执行聚焦直到获得最大对比度水平为止。这种形式的聚焦慢于自动AF(尤其当在暗 光下操作时)，但却是低端成像装置中利用的常见方法。被动系统在低对比度条件下进行聚焦判定是非常差的，特别是在大的单色表面 (固体表面、天空等等)上或者在低光照条件下更是如此。被动系统依赖于对对象的某种程 度的照明(不管是自然的还是其他)，而主动系统在必要时即使在完全黑暗的条件下也可 以正确地聚焦。因此，存在对以更确定的方式来控制相机聚焦的系统和方法的需要。这些需要和 其他需要在本发明中得以满足，本发明克服了以前开发的自动聚焦系统和方法的不足。

发明内容
本发明教导了一种图片匹配自动聚焦方法，该方法能够比现有机制更容易且更准 确地获得适当的聚焦。发明人的相关自动聚焦系统之一是利用最近的深度估计结果来确定 下一镜头位置的相关双图片匹配方法。该方法在匹配曲线光滑时很好地工作。然而，当匹 配曲线有频繁发生的噪声时，聚焦准确性和速度性能下降。本发明教导了一种新的克服了 这些缺点的自动聚焦方法。本发明不是基于两张图片的关系来提供聚焦，而是利用如下新 颖手段在自动聚焦过程中将当前的和先前的(例如，用于该图片的所有深度估计)深度估 计结果相结合，以基于统计模型和置信度量来确定下一镜头位置。本发明大大改善了聚焦 准确性和速度，即使当匹配曲线有噪声时也是如此。本发明通过以下方式扩展了自动聚焦 方法在真实世界条件下的可用性(1)使用当前的和先前的(例如，用于该图片的所有先前 预测)预测镜头位置而不是仅最近的一个镜头位置，来改善预测的准确性，以及( 在自动 聚焦期间生成对预测镜头位置的置信度量。本发明可用多种方式来体现，包括但不限于以下描述。本发明的一个实施例是一种用于控制自动聚焦的设备，其包括(a)计算机处理 器，被配置来控制成像装置和相关联的聚焦控制元件；(b)耦合到计算机处理器的存储器； (c)存储器上的可被计算机处理器执行以实现包括以下步骤的自动聚焦过程(c) (i)捕获 物体图像，(C) (ii)估计所捕获的图像对之间的深度，(C) (iii)覆盖当前的和先前的对于 该图像所收集的图像对来确定深度的加权平均和方差，(C)(iv)响应于深度的加权平均来 调整聚焦，以及(C) (ν)重复上述步骤直到方差达到如下的值为止该值表明对于已获得了 适当聚焦有足够的置信。因而，本发明响应于将所有先前的深度估计结果相结合而不是只 使用最近的深度估计，来在每次重复程序步骤时调整聚焦。另外，本发明的至少一个实施例 被优选的配置来对检测到过多数目的镜头聚焦运动作出响应，并且终止聚焦过程、向估计 结果指派大的方差、重置重复的次数并且继续自动聚焦、丢弃当前的深度估计值并且拍摄 要根据其来计算新的深度估计值的另一对图片、或者执行为了获得适当聚焦的其他替代方 式。根据本发明，基于确定用于估计实际深度的图像对的两张图片之间的模糊差别 量，在所捕获的图像对之间估计深度，所述对中的每个图像是以不同的焦距拍摄的。在本发 明的至少一个实施例中，利用对象深度的最大似然估计(MLE)来估计深度。在至少一个实 施例中，利用由下式给出的加权平均来估计深度，
权利要求
1.一种用于控制自动聚焦的设备，包括(a)计算机处理器，被配置来控制成像装置和相关联的聚焦控制元件；(b)耦合到所述计算机处理器的存储器；以及(c)存储在所述存储器中的程序，该程序可被所述计算机处理器执行以实现包括以下 步骤的自动聚焦过程(i)捕获物体图像；( )估计所捕获的图像对之间的深度以得出深度估计值；(iii)确定深度估计值的加权平均和方差，该确定过程覆盖了过去的和当前的深度估 计这两者；(iv)利用响应于所述深度估计值的加权平均而执行的聚焦运动来调整聚焦；以及(ν)重复步骤(i)至(iv)，直到所述方差达到如下的值为止该值表明对于已获得适当 聚焦位置有足够的置信。
2.如权利要求1所述的设备，还包括可在所述计算机处理器上执行以实现包括以下在 内的步骤的程序确定过多数目的聚焦运动已被执行；以及在当前聚焦位置处终止所述自动聚焦过程。
3.如权利要求1所述的设备，还包括可在所述计算机处理器上执行以实现包括以下在 内的步骤的程序确定过多数目的聚焦运动已被执行；以及向估计结果指派大的方差并且继续执行自动聚焦步骤。
4.如权利要求1所述的设备，还包括可在所述计算机处理器上执行以实现包括以下在 内的步骤的程序确定过多数目的聚焦运动已被执行；以及丢弃深度估计值并且捕获另一对物体图像，从这一对物体对象进行另一深度估计并且 继续所述自动聚焦过程。
5.如权利要求1所述的设备，其中，通过将当前的和先前的深度估计相结合而不是仅 利用最近的深度估计，来响应于所述自动聚焦过程的每次重复而调整聚焦。
6.如权利要求1所述的设备，其中，所述深度估计是在所捕获的图像对之间执行的，这 些图像对中的每个图像是在不同的聚焦位置处拍摄的，并且基于确定图像对内的捕获图像 之间的模糊差别量来估计实际深度。
7.如权利要求1所述的设备，其中，所述深度估计是利用对象深度的最大似然估计 (MLE)而执行的。
8.如权利要求1所述的设备，其中，所述深度估计是响应于由下式给出的加权平均5而确定的，
9.如权利要求1所述的设备，其中，所述方差包括置信度量，该置信度量是由可在所述 计算机处理器上执行的所述程序响应于对所述自动聚焦过程期间进行的所有深度估计的 考虑而生成的。
10.如权利要求1所述的设备其中，所述方差包括置信度量，该置信度量是由可在所述计算机处理器上执行的所述 程序响应于在所述自动聚焦过程期间预测的深度估计而生成的；并且其中，所述方差被确定为由下式给出的加权平均其中N表示在所述自动聚焦过程期间执行的无偏的深度估计的数目，并且σΡ是第i深 度估计的方差。
11.如权利要求1所述的设备，其中，所述设备是静态图像相机的组件。
12.一种用于以电子方式捕获图像的设备，包括(a)成像装置；(b)聚焦控制元件，该聚焦控制元件耦合到所述成像装置并且向所述成像装置提供聚 焦范围；(c)计算机处理器，该计算机处理器耦合到所述成像装置和所述聚焦控制元件；(d)耦合到所述计算机处理器的存储器；以及(e)存储在所述存储器中的程序，该程序可在所述计算机处理器上执行以实现包括以 下步骤的自动聚焦过程(i)捕获物体图像；( )估计所捕获的图像对之间的深度以得出深度估计值；(iii)覆盖当前的和过去的所收集的图像对来确定深度估计值的加权平均并且确定方差；(iv)响应于所述深度估计值的加权平均来调整聚焦；以及(ν)重复聚焦过程中的步骤(i)至(iv)，直到所述方差达到如下的值为止该值表明对 于已获得适当聚焦有足够的置信。
13.如权利要求12所述的设备，其中，所述设备是静态图像相机的组件。
14.如权利要求12所述的设备，其中，可在所述计算机处理器上执行的所述程序被配 置成响应于聚焦匹配模型来估计所捕获的图像对之间的深度，该聚焦匹配模型基于响应于 对比度改变而确定的模糊差别，所述对比度改变是在正在捕获其图像的物体的物距在所述 成像装置的聚焦范围的至少一部分上改变时检测到的。
15.如权利要求12所述的设备，其中，可在所述计算机处理器上执行的所述程序被配 置成响应于确定所述自动聚焦过程已被执行了过多的次数而停止所述自动聚焦过程。
16.如权利要求12所述的设备，其中，可在所述计算机处理器上执行的所述程序被配 置成当确定在所述方差未达到预定阈值的情况下所述自动聚焦过程已被执行了过多的次 数时，向所述方差指派大的值。
17.如权利要求12所述的设备，其中，可在所述计算机处理器上执行的所述程序被配 置成当确定在所述方差未达到预定阈值的情况下所述自动聚焦过程已被执行了过多的次 数时，丢弃当前深度估计并且捕获另一对物体图像，深度估计将从这另一对物体图像来进 行。
18.一种自动调整相机聚焦的方法，包括(a)通过相机装置捕获第一物体图像；(b)通过所述相机装置捕获另一物体图像；(c)响应于将所捕获的物体图像之间的模糊差别值输入到聚焦匹配模型中而估计所捕 获的图像对之间的深度，所述聚焦匹配模型被求解以生成深度估计值；(d)覆盖过去的和当前的深度估计来确定深度估计值的加权平均和方差；(e)响应于所述深度估计值的加权平均，在自动聚焦过程中利用相机聚焦运动来调整 相机聚焦位置；以及(f)重复步骤(b)至(e)，直到所述方差达到如下的值为止该值表明对于实现所述相 机装置的适当聚焦有足够的置信。
19.如权利要求18所述的方法，其中，所述方法是在静态图像相机中执行的。
20.如权利要求18所述的方法，还包括确定过多数目的聚焦运动已被执行；以及通过执行从包括以下各项的一组动作中选择的动作来改变所述自动聚焦过程在当前聚焦位置处终止所述自动聚焦过程；向方差指派大的值并且继续所述自动聚焦过程；以及放弃当前的深度估计值并且捕获一个或多个另外的物体图像，新的深度估计将从这些 另外的物体图像来进行。
全文摘要
本发明涉及具有置信度量的自动聚焦。在每次聚焦调整迭代，响应于先前的模糊差别深度估计值的加权和而执行自动聚焦。方差也是覆盖过去的和当前的估计而确定的，从而提供对给定图片的当前聚焦位置的置信度量。聚焦调整被调整，直到方差足够低从而表示出已获得了适当聚焦的置信为止。该方法提供了比基于最佳当前深度的技术所获得的聚焦更准确和快速的聚焦，这些基于最佳当前深度的技术例如是那些利用最近的深度估计来确定下一镜头位置的技术。与此相比，本发明的装置和方法将自动聚焦过程中所有先前深度估计结果相结合，以基于统计模型和置信度量来确定下一镜头位置。
文档编号G03B13/36GK102103248SQ20101060891
公开日2011年6月22日 申请日期2010年12月21日 优先权日2009年12月21日
发明者李平山 申请人:索尼公司