专利名称：焦点控制设备、图像感测设备及其控制方法
技术领域：
本发明涉及一种具有焦点控制功能的焦点控制设备、一种包括焦点控制设备的图像感测设备及其控制方法。
背景技术：
在对视频相机等的自动聚焦(AF)控制中，所谓TV-AF系统是最常见的一种方式， 其用于产生AF评估值(其指示由图像传感器产生的视频信号的锐度(对比度状态))并搜索AF评估值处于其最大值的聚焦透镜的位置。然而，在拍摄人物的情况下，例如，存在以下问题无法聚焦到作为主要对象的人物，并且在背景包括高的特定频率的对象的情况下，反而聚焦到背景上。为了解决所述问题，公知的是具有面部识别功能的图像感测设备。例如，提出了一种图像感测设备(例如，日本专利特开第2006-227080号)，其中，在包括识别的面部区域的区域中设置用于检测焦点状态的焦点检测区域以在设置的焦点检测区域中执行焦点检测， 并且，提出了一种图像感测设备(例如，日本专利特开第2001-215403号)，其中，检测人的眼睛以执行对于眼睛的焦点检测。然而，在上述利用面部识别功能的焦点检测中，例如，取决于在人物把脸转过去、 人物将他/她的眼睛闭上等情况下面部特征变化的影响或相机抖动的影响，可能无法稳定地识别面部。因此，聚焦的稳定性可能会降低。此外，在对象图像的大小变化或对象图像的大小小的情况下，聚焦的稳定性可能会降低。具体说来，在运动图像的情况下，由于人很可能总在运动，所以发现上述影响相当显著。如果总是识别人的面部，则当在人的面部区域被指定为焦点检测的区域的情况下执行聚焦时，对人的聚焦更加稳定。然而，在面部可能会或者可能不被识别的状况下，用于焦点检测的区域将根据面部是否被识别而改变，AF评估值将变化，由此稳定的聚焦无法被实现。此外，当从中取得AF评估值的区域根据对象图像的大小变化而变化时，或者，当从中取得AF评估值的区域在小的对象图像的情况下过小时， 无法稳定地获得AF评估值信号，并且可能由此难以实现聚焦。此外，在主要对象不是人的情况下，在基于检测对象的结果来设置焦点检测区域以执行焦点检测的情况下，也会出现类似的问题。
发明内容
考虑到上述状况提出了本发明，其目的在于提供一种焦点控制设备、一种图像感测设备及其控制方法，其即使在利用对象检测功能在运动图像中聚焦到将被聚焦的对象上的情况下，也能够维持稳定的对焦状态。根据本发明，通过提供一种焦点控制设备来达到上述目的，所述焦点控制设备包括检测装置，用于从感测图像检测将被聚焦的对象图像；设置装置，用于在感测图像中设置AF评估值检测区域；以及焦点检测装置，用于基于来自AF评估值检测区域的信号输出来获取用于调整拍摄光学系统的焦点状态的AF评估值，其中，设置装置设置第一 AF评估值检测区域和第二 AF评估值检测区域，其中，第一 AF评估值检测区域对应于由检测装置检测的对象图像，第二 AF评估值检测区域包含第一 AF评估值检测区域并大于第一 AF评估值检测区域，其中，焦点检测装置使用在第一 AF评估值检测区域和第二 AF评估值检测区域中的信号输出来执行计算，以获取用于调整拍摄光学系统的 焦点状态的AF评估值。根据本发明，还通过提供一种焦点控制设备来达到上述目的，所述焦点控制设备包括检测装置，用于从感测图像检测将被聚焦的对象图像；设置装置，用于在感测图像中设置AF评估值检测区域；以及焦点检测装置，用于基于来自AF评估值检测区域的信号输出来获取用于调整拍摄光学系统的焦点状态的AF评估值，其中，设置装置设置跟踪由检测装置检测的对象图像的第一 AF评估值检测区域以及不跟踪由检测装置检测的对象图像的第二 AF评估值检测区域，其中，焦点检测装置使用在第一 AF评估值检测区域和第二 AF评估值检测区域中的信号输出来执行计算，以获取用于调整拍摄光学系统的焦点状态的AF评估值。此外，还通过提供一种图像感测设备来达到上述目的，所述图像感测设备包括图像感测装置，用于光电转换由拍摄光学系统形成的对象图像，以输出感测图像；记录装置， 用于实行控制，以使得通过使用图像感测装置获得的感测图像被记录在记录介质上；以及上述焦点控制设备中的一个。此外，还通过提供一种用于焦点控制设备的控制方法来达到上述目的，其中，当获取指示拍摄光学系统的对焦状态的AF评估值时，设置第一 AF评估值检测区域以及第二 AF 评估值检测区域，其中，所述第一 AF评估值检测区域对应于从感测图像检测的、将被聚焦的对象图像，所述第二 AF评估值检测区域包含第一 AF评估值检测区域并大于第一 AF评估值检测区域，以及通过使用在第一 AF评估值检测区域和第二 AF评估值检测区域中的信号输出执行计算来获取用于调整拍摄光学系统的焦点状态的AF评估值。此外，根据本发明，还通过提供一种用于焦点控制设备的控制方法来达到上述目的，其中，当获取指示拍摄光学系统的对焦状态的AF评估值时，设置跟踪从感测图像检测的、将被聚焦的对象图像的第一 AF评估值检测区域以及不跟踪检测的对象图像的第二 AF 评估值检测区域，以及通过使用在第一 AF评估值检测区域和第二 AF评估值检测区域中的信号输出执行计算来获取用于调整拍摄光学系统的焦点状态的AF评估值。此外，通过以下(参照附图)对示例性实施例的描述，本发明的特征将变得清楚。
图1是示出根据本发明实施例的视频相机的配置的框图；图2是示出根据本发明实施例的由相机AF微计算机进行的处理的流程图；图3A到图3D是示出根据本发明实施例的设置AF框的控制的示图；以及图4是示出具有可交换式透镜的视频相机的配置的框图。
具体实施方式
将参照附图来详细描述本发明的优选实施例。〈设备的描述〉 图1示出作为本发明实施例的视频相机的配置。应注意尽管在本实施例中描述的是视频相机，但是本发明可应用于其它设备，诸如数字静止相机或显微镜。在图1中，标号101、102和103分别指示第一固定透镜、沿着光轴移动并执行变焦的变焦透镜以及光圈。此外，标号104和105指示第二固定透镜和聚焦补偿器透镜(以下，称为聚焦透镜)，其具有随着变焦来校正焦面位移的功能以及聚焦(焦点控制)功能。 第一固定透镜101、变焦透镜102、光圈103、第二固定透镜104和聚焦透镜105构成拍摄光学系统。标号106表示包括CXD传感器或CMOS传感器的作为光电转换元件的图像传感器。 由图像传感器106对由拍摄光学系统形成的对象图像进行光电转换。标号107指示CDS/AGC 电路，其对来自图像传感器106的信号输出进行采样，并对所述信号输出进行增益调整。标号108指示相机信号处理电路，其对来自⑶S/AGC电路107的信号输出进行各种图像处理以产生视频信号。标号109表示包括IXD等的监视器，其显示来自相机信号处理电路108的视频信号。标号115指示记录设备，其将来自相机信号处理电路108的视频信号记录在记录介质上，所述记录介质诸如磁带、光盘或半导体存储器。标号110指示用于移动变焦透镜102的变焦驱动源。标号111指示用于移动聚焦透镜105的调焦驱动源。变焦驱动源110和调焦驱动源111均包括致动器，诸如，步进马达、 DC马达、振动马达和音圈马达。标号112指示AF门，在来自⑶S/AGC电路107的用于所有像素的信号输出中，所述AF门仅允许将被用于焦点检测的区域的信号通过。AF信号处理电路113从已经通过AF门112的信号提取高频分量、亮度差分量(已经通过AF门112的信号的亮度电平的最大值与最小值之间的差)等，以产生AF评估值。AF 评估值被输出到相机/AF微计算机114。AF评估值指示基于来自图像传感器106的信号输出产生的视频的锐度(对比度状态)，但是其结果产生指示拍摄光学系统的焦点状态的信号，这是因为锐度根据拍摄光学系统的焦点状态而变化。相机/AF微计算机114控制整个视频相机的操作，并还基于AF评估值，执行AF控制，其中，调焦驱动源111被控制以移动聚焦透镜115并执行焦点控制。面部检测单元116对感测图像进行已知的面部识别处理，并在感测图像屏幕中检测人的面部信息。检测结果被发送到相机/AF微计算机114。相机/AF微计算机114基于检测结果将信息发送到AF门112，从而将被用于焦点检测的区域被添加到感测图像屏幕中包括面部区域的位置。此外，作为面部识别处理，例如，存在这样一种方法，其中，从由图像数据表示的每个像素的灰度级颜色提取肤色区域，以根据肤色与预先准备好的面部轮廓图版的匹配程度来检测面部。此外，还公开了几种方法，诸如，通过使用公知的模式识别技术提取面部特征 (诸如眼睛、鼻子、嘴等)来执行面部检测的方法。在多个面部被检测到的情况下，与其它面部相比在面部检测中具有较大的大小、位于更加靠近屏幕中心的位置、且以较高的可靠性被检测到的面部被确定为主要对象(主要面部)。<AF控制流程>
接下来，将参照图2来描述由相机/AF微计算机114执行的AF控制。根据存储在相机/AF微计算机114中的计算机程序来执行该AF控制。步骤S201表示处理的开始。在步骤S202，从面部检测单元116提取面部信息(面部的位置、面部的大小和面部检测的可靠性)。在步骤S203确定面部检测单元116成功进行面部检测的情况下，处理进行到步骤S204 ；否则，处理进行到步骤S208。 在步骤S204，与由面部检测单元116检测的面部信息相应的面部AF框以及中心被固定而大小被放大的普通AF框被设置为AF框(AF评估值检测区域)，其中，图像中的面部 AF框的中心可以是作为检测的主要对象的主要面部的中心或眼睛的中心，并且基于检测的主要面部的大小来确定面部AF框的垂直和水平尺寸WID。响应于面部信息，基于需要来更新面部AF框，并设置面部AF框来跟踪面部，而将普通AF框的大小放大以包含面部AF框，并设置普通AF框。在步骤S205，获取用于面部AF框和普通AF框的AF评估值。在步骤S206， 以预定的比率对每个AF评估值进行相加(计算)以产生AF评估值。在步骤S207，在步骤 S206产生的AF评估值被用于执行AF控制(即，控制移动聚焦透镜，以便在AF框中总是保持对焦状态)。另一方面，在步骤S208，确定在无法识别面部之后是否过去了特定时间段，在特定时间段尚未过去的情况下，处理进行到步骤S209，或者，在特定时间段已经过去的情况下， 处理进行到步骤S211。在步骤S209，将普通AF框维持为与用于先前成功进行面部检测的情况的大小和位置相匹配，在步骤S210，获取用于普通AF框的AF评估值。然后，在步骤S207， 在步骤S210获取的AF评估值用于执行AF控制。另一方面，在步骤S211，将普通AF框设置为初始大小。在步骤S212，获取用于普通AF框的AF评估值。然后，在步骤S207，在步骤S212获取的AF评估值用于执行AF控制。<AF框的设置〉接下来，将参照图3A到图3D来描述AF框的设置。在初始状态下，靠近图3A所示的屏幕的中心来设置普通AF框。确定这一设置，因为拍摄者通常倾向于将对象定位于屏幕的中心。如图3B所示，当将面部AF框设置在感测图像屏幕中由面部识别处理检测的面部位置时，普通AF框在其中心位置被固定的情况下被放大，直到它包含面部AF框。按照将面部 AF框包括在普通AF框中的方式来重叠所述框，从而当面部识别的失败促使面部AF框消失而只留下普通AF框时，减少AF评估值的变化。应注意在多个面部被检测的情况下，设置用于各个面部的面部AF框。或者，设置如上所述的用于主要对象(主要面部)的面部框。接下来，在如图3C所示的那样不再检测面部的情况下，停止使用面部AF框。在按照原样维持普通AF框直到特定时间段过去的情况下，使用的AF评估值不大可能很突然地变化，这是因为曾经作为面部AF框的区域被包含在普通AF框中。接下来，如图3D所示，当没有检测到面部的状态持续特定时间段时，将普通AF框复位到面部检测之前的初始大小， 从而允许实现中心优先AF。在如上设置框的情况下，通常将优先性给予运动图像中处于中心的对象。然后，在面部被识别的情况下，设置普通AF框的大小，并且以预定的比率将用于设置的普通AF框和面部AF框的AF评估值相加，以基于结果产生的AF评估值来执行AF控制。这允许聚焦在面部被识别的人上，并且即使在没有面部被识别的情况下也能够维持稳定的对焦状态。具体说来，设置普通AF框和面部AF框，并将用于这两个框的AF评估值相加以使用结果产生的AF评估值，这允许即使在用于面部AF框的AF评估值显示出不同于用于面部的焦点的结果(诸如无穷远)时也聚焦在普通AF框中捕获的对象上。<其它实施例>在上述实施例中， 将普通AF框设置为包含面部AF框并在没有改变中心位置的情况下进行放大。然而，本发明并不受限于此，因此，例如，如设置AF框的以下示例(1)到(3) 中那样，也可通过设置普通AF框和面部AF框并基于用于两个框的AF评估值来执行AF控制，而在运动图像中维持稳定的对焦状态。(1)将普通AF框设置为包含可从中检测面部的整个区域。该普通AF框是独立于面部检测结果设置的固定区域。另一方面，将面部AF框设置在感测图像屏幕中通过先前所述的面部识别处理检测的面部的位置。更具体地说，设置跟踪面部的不断改变的面部AF框以及不跟踪面部的普通AF框。因此，面部AF框相对于普通AF框的大小根据拍摄的场景而变化。在主要对象的面部大小较小的情况下，面部AF框相对于普通AF框的大小的比率较小。因此，在将用于普通AF框的AF评估值与用于面部AF框的AF评估值相加的情况下，用于面部AF框的AF评估值具有较小的影响。换言之，面部AF框较慢地反应于主要对象的运动。另一方面，在主要对象的面部大小较大的情况下，面部AF框相对于普通AF框的大小的比率较大。因此，在将用于普通AF框的AF评估值和用于面部AF框的AF评估值相加的情况下，用于面部AF框的AF评估值具有较大的影响。换言之，面部AF框较快地反应于主要对象的运动。(2)假设普通AF框将在多个阶段产生大小上的变化(例如，较大的框和较小的框)。普通AF框的大小根据面部检测结果(诸如面部的位置和大小)而切换，从而包含检测的面部。此外，将面部AF框设置在感测图像屏幕中通过先前所述的面部识别处理检测的面部的位置。该设置在面部AF框中捕获拍摄者期望的主要对象的面部，同时，该设置减少了诸如由于差错而聚焦在背景上的失误，这是因为，即使在无法在面部AF框中获取指示用于面部的对焦状态的信息的情况下，也会在普通AF框中捕获到主要对象。(3)将面部AF框设置在感测图像屏幕中通过先前所述的面部识别处理检测的面部的位置。假设面部AF框在跟踪检测的面部的同时，基于需要在位置和大小方面被更新。 此外，普通AF框大于面部AF框，并被设置为包含面部AF框。该设置在面部AF框中捕获拍摄者期望的主要对象的面部，并减少了诸如由于差错而聚焦在背景上的失误，这是因为，即使在无法在面部AF框中获取指示用于面部的对焦状态的信息的情况下，也会在普通AF框中捕获到主要对象。如上所述，可在以下情况下维持对焦状态面部识别用于在运动图像中聚焦在作为对象的人上的情况、以及面部识别不稳定、面部区域变化或面部区域小的情况。应注意尽管在上述实施例中，检测的面部被完全地包含在普通AF框中，但本发明并不限于这种配置。例如，当面部的一部分被包含在普通AF框中时，可获取面部中的锐度(对比度状态)，从而允许聚焦在拍摄者期望的面部上。此外，在该实施例中，将该实施例的运动AF评估值产生区域定位在感测图像屏幕中的所检测的面部的位置。然而，可通过其它图像检测来检测具体对象。例如，还考虑从背景捕获和检测对象图像。此外，可从外部输入装置输入感测图像屏幕中的位置，或者，可检测通过取景器进行查看的拍摄者的视线以确定感测图像屏幕中的所述位置。
此外，如图4所示，拍摄光学系统可以是可交换式透镜。在图4的示例中，将由AF 信号处理电路113产生的AF评估值输出到透镜/AF微计算机401。透镜/AF微计算机401 基于AF评估值执行AF控制，在AF控制中，控制调焦驱动源111以移动聚焦透镜115并执行焦点控制。此外，相机微计算机402从面部检测单元116接收感测图像屏幕中人的面部信息，并且基于检测结果，将信息发送到AF门112，从而，将被用于焦点检测的区域添加到感测图像屏幕中包括面部区域的位置。在这种情况下，AF控制的流程如下。 以下将描述由透镜/AF微计算器401和相机微计算机402执行的AF控制。根据存储在透镜/AF微计算机401和相机微计算机402中的计算机程序来执行所述AF控制。首先，相机微计算机402从面部检测单元116取入面部信息(面部的位置、面部的大小、面部的可靠性)。在面部检测单元116成功进行面部检测的情况下，将与由面部检测单元116检测的面部信息相应的面部AF框和中心被固定而大小被放大的普通AF框设置为AF框(焦点检测区域)。然后，AF信号处理电路113获取用于面部AF框和普通AF框的AF评估值。然后，以预定比率将每个AF评估值相加以产生AF评估值。然后，将该AF评估值发送到透镜 /AF微计算机401。透镜/AF微计算机401使用接收的AF评估值来执行AF控制。另一方面，在面部检测单元116无法检测面部的情况下，确定在无法识别面部之后是否已经过去特定时间段。在特定时间段尚未过去的情况下，将普通AF框维持为与用于先前成功进行面部检测的情况的大小和位置相匹配，并在AF信号处理电路113中获取用于普通AF框的AF评估值。在特定时间段已经过去的情况下，将普通AF框设置到初始大小， 并获取用于普通AF框的AF评估值。然后，将所述AF评估值发送到透镜/AF微计算机401。 透镜/AF微计算机401使用接收的AF评估值来实行AF控制。应注意在图4中，与图1相同的元件由相同的标号来指示，省略对所述元件的描述。尽管参照示例性实施例描述了本发明，但是应理解本发明并不受限于公开的示例性实施例。所附权利要求的范围与最宽泛的解释一致，从而包括所有的这种修改和等同的结构与功能。
权利要求
1.一种焦点控制设备，包括检测装置，用于从感测图像检测将被聚焦的对象图像；设置装置，用于在感测图像中设置AF评估值检测区域；以及焦点检测装置，用于基于来自AF评估值检测区域的信号输出来获取用于调整拍摄光学系统的焦点状态的AF评估值，其中，设置装置设置第一 AF评估值检测区域和第二 AF评估值检测区域，其中，第一 AF 评估值检测区域跟踪由检测装置检测的对象图像，第二 AF评估值检测区域不跟踪由检测装置检测的对象图像，并且其中，第二 AF评估值检测区域与第一 AF评估值检测区域重叠，并且焦点检测装置使用在第一 AF评估值检测区域和第二 AF评估值检测区域中的信号输出来执行计算，以获取用于调整拍摄光学系统的焦点状态的AF评估值。
2.如权利要求1所述的焦点控制设备，其中，在检测装置没有检测到将被聚焦的对象图像的情况下，在第二 AF评估值检测区域中的信号输出被单独用于获取用于调整拍摄光学系统的焦点状态的AF评估值，或者，在检测装置没有检测到将被聚焦的对象图像的状态转移到由检测装置检测到将被聚焦的对象图像的状态的情况下，使用在第一 AF评估值检测区域和第二 AF评估值检测区域中的信号输出来执行计算，以获取用于调整拍摄光学系统的焦点状态的AF评估值。
3.如权利要求1所述的焦点控制设备，其中，第二AF评估值检测区域的中心位置是固定的。
4.如权利要求1所述的焦点控制设备，其中，焦点检测装置以预定的比率将基于在第一 AF评估值检测区域中的信号输出产生的AF评估值和基于在第二 AF评估值检测区域中的信号输出产生的AF评估值相加，以获取用于调整拍摄光学系统的焦点状态的AF评估值。
5.如权利要求1所述的焦点控制设备，其中，检测装置从感测图像检测面部信息，作为将被聚焦的对象图像。
6.如权利要求1所述的焦点控制设备，还包括所述拍摄光学系统；以及控制装置，用于基于用于调整拍摄光学系统的焦点状态的AF评估值来控制拍摄光学系统的运动。
7.如权利要求1所述的焦点控制设备，其中，第二AF评估值检测区域大于第一AF评估值检测区域并且包含第一 AF评估值检测区域。
8.如权利要求7所述的焦点控制设备，其中，在检测装置没有检测到将被聚焦的对象图像的第一状态改变为由检测装置检测到将被聚焦的对象图像的第二状态的情况下，如果在第一状态下第二 AF评估值检测区域的大小小，则所述设置装置放大第二 AF评估值检测区域的大小以包含第一 AF评估值检测区域以便包含检测的对象图像。
9.如权利要求8所述的焦点控制设备，其中，当在对象图像已被检测到之后，自所述检测装置未能检测到对象图像以来所述设定装置将所述第二 AF评估值检测区域的经放大的大小维持预定时间段。
10.一种图像感测设备，包括图像感测装置，用于光电转换由拍摄光学系统形成的对象图像，以输出感测图像； 记录装置，用于实行控制，以使得通过使用图像感测装置获得的感测图像被记录在记录介质上；以及如权利要求1所述的焦点控制设备。
11. 一种用于焦点控制设备的控制方法，包括从感测图像检测将被聚焦的对象图像；设置第一 AF评估值检测区域和第二 AF评估值检测区域，第一 AF评估值检测区域跟踪从感测图像检测的将被聚焦的对象图像，第二 AF评估值检测区域不跟踪检测的对象图像； 以及通过使用在第一 AF评估值检测区域和第二 AF评估值检测区域中的信号输出来执行计算，获取用于调整拍摄光学系统的焦点状态的AF评估值，其中，第二 AF评估值检测区域与第一 AF评估值检测区域重叠。
全文摘要
本发明公开了焦点控制设备、图像感测设备及其控制方法。该焦点控制设备包括检测装置，设置装置，以及焦点检测装置，其中，设置装置设置第一AF评估值检测区域和第二AF评估值检测区域，其中，第一AF评估值检测区域跟踪由检测装置检测的对象图像，第二AF评估值检测区域不跟踪由检测装置检测的对象图像，并且其中，第二AF评估值检测区域与第一AF评估值检测区域重叠，并且焦点检测装置使用在第一AF评估值检测区域和第二AF评估值检测区域中的信号输出来执行计算，以获取用于调整拍摄光学系统的焦点状态的AF评估值。
文档编号H04N5/232GK102360150SQ20111037089
公开日2012年2月22日 申请日期2008年7月9日 优先权日2007年7月10日
发明者保田仁志 申请人:佳能株式会社