图像处理设备及其控制方法与流程

本发明涉及用于检测摄像对象的被摄体检测设备及其检测方法以及图像处理设备。

背景技术：

近年来，数字照相机包括用于控制调焦透镜的驱动以将被摄体聚焦在由照相机自动选择的焦点检测区域的自动调焦(af)功能。另外，用于通过检测作为摄像对象的主被摄体来自动选择焦点检测区域并且自动选择与主被摄体相对应的焦点检测区域的技术是已知的。

wo2014/109125讨论了如下的主被摄体检测方法：针对各焦点检测区域检测与从照相机到被摄体的距离有关的距离信息的时间变化，从而针对各焦点检测区域检测物体的接近移动和远离移动。此外，当与焦点检测区域相对应的被摄体正在移动时，将该被摄体检测为主被摄体。

根据wo2014/109125中讨论的方法，将移动被摄体检测为主被摄体，从而控制调焦透镜的驱动使得移动被摄体被聚焦。

然而，在wo2014/109125中讨论的方法具有如下问题：在如下所述的某些情况下，不能准确地检测到焦点检测区域中的物体的运动。例如，靠近被摄体轮廓的焦点检测区域同时包括被摄体和背景。在这种情况下，从焦点检测区域检测到的距离信息的可靠性低，并且基于该距离信息判断移动物体的精度劣化。此外，例如，由于焦点检测中的误差，诸如背景等的静止部分可能被判断为移动物体。另外，例如，在摄像面相位差焦点检测中，在从未被聚焦的部分检测到的焦点检测结果中可能发生误差，这可能导致使用基于焦点检测结果的距离信息判断移动物体的精度劣化。在例如由于上述原因而在不能准确地检测物体的运动的情况下，如果错误地将静止被摄体检测为移动被摄体，则调焦透镜的驱动被控制为对实际上不正在移动的被摄体进行聚焦。

因此，本典型实施例旨在提供一种即使在焦点检测的精度可能劣化的情况下也能够准确地检测移动物体的图像处理设备及其控制方法以及存储介质。

技术实现要素：

根据本发明的方面，一种图像处理设备，包括：焦点检测单元，其被配置为从多个焦点检测区域中的各焦点检测区域获得焦点检测结果，要获得的各焦点检测结果与特定时刻相对应；分组单元，其被配置为基于所获得的多个焦点检测结果之间的比较，生成至少两组，各组包括至少一个焦点检测区域；以及判断单元，其被配置为基于与第一组相对应的焦点检测结果和与第二组相对应的焦点检测结果，来判断与所述第一组和所述第二组相对应的物体是否正在移动，其中所述第一组是基于与第一时刻相对应的焦点检测结果生成的，所述第二组是基于与第二时刻相对应的焦点检测结果生成的，所述第二时刻晚于所述第一时刻。

根据本发明的方面，一种图像处理设备的控制方法，包括：从多个焦点检测区域中的各焦点检测区域获得焦点检测结果，要获得的各焦点检测结果与特定时刻相对应；基于所获得的多个焦点检测结果之间的比较，生成至少两组，各组包括至少一个焦点检测区域；以及基于与第一组相对应的焦点检测结果和与第二组相对应的焦点检测结果，来判断与所述第一组和所述第二组相对应的物体是否正在移动，其中所述第一组是基于与第一时刻相对应的焦点检测结果生成的，所述第二组是基于与第二时刻相对应的焦点检测结果生成的，所述第二时刻晚于所述第一时刻。

通过以下参考附图对典型实施例的描述，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明典型实施例的数字照相机的结构示例的框图。

图2是示出根据第一典型实施例的移动物体检测处理的流程图。

图3是示出根据第一典型实施例的自动调焦(af)框整合处理的流程图。

图4是示出根据第一典型实施例的af框整合处理的说明图。

图5是示出根据第一典型实施例的识别处理的流程图。

图6是示出根据第一典型实施例的移动判断处理的流程图。

图7是示出根据第二典型实施例的移动物体检测处理的流程图。

图8是示出根据第二典型实施例的移动判断处理的流程图。

具体实施方式

下面将参考附图描述本发明的优选典型实施例。下面描述的本发明的各实施例可以被单独地实现或作为多个实施例的组合来实现。此外，在必要时或者在单个实施例中组合来自各个实施例的元素或特征是有益的情况下，可以组合来自不同实施例的特征。

<摄像系统的结构>

图1是示出根据本发明典型实施例的数字照相机100的结构示例的框图。本典型实施例示出使用镜头可更换摄像系统的示例。然而，数字照相机100可以包括固定镜头。此外，可以使用诸如个人计算机(pc)等的图像处理设备，并且可以从外部设备获得与要由数字照相机100获得的图像信号相对应的信息。

参考图1，镜头单元150是具有所安装的可更换摄像镜头的镜头单元。

镜头单元150包括由多个透镜组成的透镜组。然而，在这种情况下，简化了镜头单元150的图示，并且仅示出了调焦透镜103。通信端子6是被镜头单元150用于与数字照相机100通信的通信端子。通信端子10是被数字照相机100用于与镜头单元150通信的通信端子。镜头单元150经由通信端子6和10与系统控制单元50通信，并且使镜头单元150中包括的镜头系统控制电路4通过光圈驱动电路2控制光圈1。此外，镜头单元150经由通信端子6和10与系统控制单元50通信，并且通过自动调焦(af)驱动电路3使调焦透镜103的位置移位，从而进行调焦操作。

自动曝光(ae)传感器17通过镜头单元150测量被摄体的亮度。

焦点检测单元11包括用于相位差焦点检测的专用传感器(未示出)。焦点检测单元11通过使用该专用传感器对通过已知的二次成像光学系统接收的光进行光电转换，并基于输出的视差信号执行相位差焦点检测。在相位差焦点检测中，基于视差信号计算图像偏移量，并基于图像偏移量计算散焦量。焦点检测单元11将通过相位差焦点检测获得的散焦量输出到系统控制单元50。系统控制单元50基于散焦量来控制镜头单元150。

在曝光、实时取景摄像和运动图像拍摄期间，响应于来自系统控制单元50的指示，通过致动器(未示出)使快速返回镜12(以下称为镜12)上升和下降。镜12是用于使从包括调焦透镜103的透镜组入射的光束在取景器16和摄像单元22之间进行切换的镜。镜12通常被布置成将光束引导至取景器16使得反射光束。在摄像或实时取景显示的情况下，镜12向上翻转以将光束引导至摄像单元22并从光束内部退避(镜向上)。镜12被配置为使光束部分地透射通过镜12的中央部分的半反射镜，并且镜12使光束的一部分透射并入射在用于进行焦点检测的焦点检测单元11上。

通过经由五棱镜14和取景器16观察聚焦屏13，摄影者可以检查由镜头单元150获得的被摄体的光学图像的焦点和构图。

快门101是能够在系统控制单元50的控制下自由地控制摄像单元22的曝光时间的焦平面快门。

摄像单元22是包括例如电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)器件的、用于将光学图像转换成电信号的图像传感器。模数(a/d)转换器23将模拟信号转换为数字信号。a/d转换器23用于将从摄像单元22输出的模拟信号转换为数字信号。

图像处理单元24对从a/d转换器23供给的数据或从存储器控制单元15供给的数据进行诸如预定像素插值和缩小等的大小调整处理以及颜色转换处理。此外，图像处理单元24使用拍摄图像数据进行包括焦点检测的预定算术处理，并且系统控制单元50基于所获得的算术处理结果来进行曝光控制和焦点调节控制。因此，执行通过镜头(ttl)af处理、ae处理和闪光灯预发光(ef)处理。此外，图像处理单元24使用拍摄图像数据进行预定算术处理，并且还基于所获得的算术处理结果进行ttl自动白平衡(awb)处理。

现在将更详细地描述将由图像处理单元24执行的焦点检测控制。在本典型实施例中，图像处理单元24能够进行已知的摄像面相位差焦点检测。具体地，摄像单元22能够通过在全部或一些像素中提供可以在图像传感器上进行光瞳分割的焦点检测像素来获得视差信号。系统控制单元50基于从摄像单元22的图像传感器获得的视差信号来执行相位差焦点检测，从而计算散焦量。图像处理单元24将通过相位差焦点检测获得的散焦量输出到系统控制单元50。系统控制单元50基于散焦量控制镜头单元150。

要由焦点检测单元11或图像处理单元24执行的相位差焦点检测的一部分或全部可以由系统控制单元20执行。此外，焦点检测单元11或图像处理单元24可以执行用于基于散焦量来计算用于控制镜头单元150的透镜驱动量的处理，并且可以将透镜驱动量输出到系统控制单元50。可选地，系统控制单元50可以执行计算处理。

非易失性存储器56是电可擦除/可记录存储器。例如，电可擦除可编程只读存储器(eeprom)用作非易失性存储器56。非易失性存储器56存储系统控制单元50的操作所使用的常量和程序等。这里描述的程序是指用于执行根据本典型实施例在以下将描述的流程图中的各种处理的程序。

系统控制单元50是包括至少一个处理器的控制单元，并且控制数字照相机100的整体操作。系统控制单元50包括af框整合单元51、识别处理单元52和移动判断单元53。系统控制单元50执行上述非易失性存储器56上记录的程序，从而实现如下所述的根据本典型实施例的各处理。作为系统存储器55，使用随机存取存储器(ram)。将系统控制单元50的操作所用的常量和变量，以及从非易失性存储器56读取的程序等加载到系统存储器55中。此外，系统控制单元50通过控制存储器32、数模(d/a)转换器19和显示单元28等来进行显示控制。

af框整合单元51(也称为分组单元)通过基于从焦点检测单元11获得的散焦量对af框(各af框也称为焦点检测区域)进行整合来生成组。此外，af框整合单元51计算与通过对af框进行整合所获得的各组相对应的代表散焦量。所计算的代表散焦量被存储在系统存储器55中。af框整合单元51在数字照相机100的摄像期间连续地进行处理。

识别处理单元52进行用于将由af框整合单元51计算出的最新组中的代表散焦量与存储在系统存储器55中的先前组中的代表散焦量相关联的处理。由于对代表散焦量进行关联而获得的各代表散焦量的时间变化被存储在系统存储器55中。

移动判断单元53基于系统存储器55中的各代表散焦量的时间变化的存储来检测移动物体。系统控制单元50基于移动判断单元53检测到的移动物体来选择曝光控制对象和测距控制对象。移动判断单元53也被称为移动判断单元。

<移动物体检测处理的整体流程>

将参考图2所示的流程图和图4所示的说明图来描述在本发明的第一典型实施例中要执行的移动物体检测处理的整体流程。

首先，在图2所示的步骤s201中，系统控制单元50针对所有af框获得从焦点检测单元11或图像处理单元24获得的散焦量。各af框是划分为格子形状的区域，例如如图4中示出的区域401所示。在这种情况下，焦点检测单元11或图像处理单元24基于在特定时刻从检测单元11或摄像单元22获得的图像信号，从各af框获得散焦量。具体地，在步骤s201中，获得与该特定时刻相对应的多个焦点检测结果。

接着，在步骤s202中，af框整合单元51基于在步骤s201中获得的散焦量进行用于对af框进行整合的整合处理。结果，可以针对如图4中示出的区域403所示的构图中的各物体划分af框。下面将详细描述整合处理。包括至少一个af框的组在下文中也被称为“集群”。

在步骤s202中，系统控制单元50计算所生成的各集群的焦点检测结果的代表值。在本典型实施例中，例如，计算代表散焦量作为代表值。在本典型实施例中，计算各集群中包括的af框的散焦量的平均值作为代表散焦量。用于计算代表散焦量的方法不限于该示例，只要可以获得各集群中的焦点检测结果的代表值即可。例如，如果可以从各集群中包括的af框中检测到多个散焦量，则可以使用多个散焦量的中值或众数值。另外，集群的中央附近的af框的散焦量可以用作代表值。

由于在数字照相机100的摄像期间重复进行图2所示的一系列处理，因此将在步骤s201中计算出的代表散焦量依次存储在系统存储器55中。在前面的步骤s201之前的存储在系统存储器55中的各代表散焦量在下文中被称为先前集群中的代表散焦量。

在步骤s203中，识别处理单元52进行用于将af框整合单元51存储在系统存储器55中的最新代表散焦量与先前存储在系统存储器55中的先前集群中的代表散焦量相关联的处理。下面将详细描述识别处理。

在步骤s204中，系统控制单元50将由识别处理单元52相关联的所有集群中的代表散焦量的时间变化存储在系统存储器55中。

在步骤s205中，移动判断单元53基于系统存储器55中的代表散焦量的时间变化的存储来计算各集群的移动速度和移动方向的一致性，并判断各集群是否正在移动。下面将详细描述移动判断处理。

<af框整合处理>

现在将参考图3所示的流程图和图4所示的说明图详细描述图2所示的流程图中的af框整合处理(步骤s202)。

在图3所示的步骤s301中，系统控制单元50判断是否选择了所有af框。如果选择了所有af框(步骤s301中为“是”)，则处理进入步骤s308。如果存在任何未选择的af框(步骤s301中为“否”)，则处理进入步骤s302。

在步骤s302中，系统控制单元50从所有af框中选择一个af框。例如，从图4所示的区域401中的所有af框中选择图4所示的af框402。在这种情况下选择的af框在下文中也被称为第一af框。

在步骤s303中，系统控制单元50判断是否已经将与第一af框相邻的所有af框与第一af框进行了比较。如果已经比较了所有相邻af框(步骤s303中为“是”)，则处理进入步骤s301。如果存在尚未与第一af框进行比较的任何af框(步骤s303为“否”)，则处理进入步骤s304。

在步骤s304中，系统控制单元50从与第一af框相邻的所有af框中选择尚未比较的一个af框。作为要与第一af框进行比较的af框而被选择的af框在下文中也被称为第二af框。

在步骤s305中，系统控制单元50计算第一af框的散焦量与第二af框的散焦量之间的差。如果散焦量之间的差小于预定第一阈值(步骤s305中为“是”)，则处理进入步骤s307。如果差大于或等于第一阈值(步骤s305中为“否”)，则处理进入步骤s306。

根据第一阈值的大小，确定通过af框整合处理将af框整合到集群中的粒度(granularity)级别。如果第一阈值为小值，则与第一阈值为较大值的情况相比，生成较大数量的、由较小数量的af框组成的较小集群。如果第一阈值为大值，则与第一阈值为较小值的情况相比，生成较小数量的、由较大数量的af框组成的较大集群。另外，可以根据摄像期间的透镜焦距或摄像距离来设置第一阈值。例如，在摄像距离的情况下，当拍摄距离长时第一阈值减小，并且当拍摄距离短时第一阈值增大。例如，当焦距短时，将第一阈值设置为小值，并且当焦距长时，将第一阈值设置为大值。因此，即使在改变透镜焦距时也可以生成具有相同粒度的集群。

在步骤s306中，系统控制单元50将第一af框和第二af框分配给不同的集群。然而，如果第一af框和第二af框已经被整合到同一集群中，则不执行分配处理。在这种情况下，如果第一af框或第二af框不属于任何集群，则生成与不属于任何集群的af框相对应的新集群，并且将af框分配给所生成的集群。

在步骤s307中，系统控制单元50将第二af框所属于的集群中的包括第二af框在内的所有af框与第一af框所属于的集群进行整合。

在步骤s308中，系统控制单元50计算所生成的各集群的焦点检测结果的代表值。如上所述，例如，在本典型实施例中，计算代表散焦量作为代表值。针对各集群，根据属于各集群的af框的散焦量计算代表散焦量。在本典型实施例中，系统控制单元50通过计算属于各集群的af框的散焦量的平均值来计算代表散焦量。如上所述，用于计算各集群中的焦点检测结果的代表值的方法不限于该示例。例如，如果可以从各集群中包括的af框中检测到多个散焦量，则可以使用多个散焦量的中值或众数值。可选地，集群的中央附近的af框的散焦量可以用作代表值。

在步骤s308中，系统控制单元50计算各集群的位置。在本典型实施例中，例如，计算构成集群的af框在传感器上的位置的平均值，并且计算出的平均值被用作集群的位置。用于计算各集群的位置的方法不限于该示例，只要可以获得与各集群的位置相对应的值即可。

在步骤s309中，系统控制单元50判断当前集群的状态是否满足终止整合处理的条件。在本典型实施例中，将用于整合处理的第一阈值大于或等于第二阈值的条件设置为终止整合处理的条件。例如，通过将1fδ设置为第二阈值，在同等的焦深范围内具有聚焦状态的被摄体被视为同一被摄体，而位于彼此分开了该焦深范围以上的位置处的被摄体不被整合到同一集群中。如果第一阈值大于或等于第二阈值(步骤s309为“是”)，则判断为满足终止整合处理的条件，然后终止整合处理。如果第一阈值小于第二阈值(步骤s309为“否”)，则处理进入步骤s310。

在这种情况下，如果上述透镜组包括变焦透镜，则可以根据当前焦距来改变被设置为终止整合处理的条件的第二阈值的大小。更具体地，可以随着焦距的增加而减小被设置为终止整合处理的条件的第二阈值。这是因为，与设置第一焦距的情况相比，如果设置比第一焦距大的第二焦距，则对于1fδ的差而言绝对距离的差更大。

其它条件可以用作终止整合处理的条件。例如，可以使用各集群中的代表散焦量的方差的大小。如果各集群中的代表散焦量的方差充分大，则集群很可能是不同的被摄体。因此，整合处理终止。

在步骤s310中，系统控制单元50重新设置在步骤s305中要使用的第一阈值。此时所设置的第一阈值期望地充分大于在先前的整合处理中的在步骤s305中使用的第一阈值。

在完成步骤s310之后，系统控制单元50通过使用各集群的位置和代表散焦量来进行针对集群的整合处理，而不是针对af框的整合处理。换句话说，在集群生成处理之后，假设各集群是af框，针对各集群进行与对各af框进行的整合处理同样的处理。以这种方式，重复执行整合处理，直到在步骤s309中判断为满足终止整合处理的条件为止。

现在将描述改变阈值的有益效果。随着第一阈值的增加，可以更容易地对af框进行整合。然而，例如，在某些情况下，可能将多个物体切割为单个集群。因此，在本典型实施例中，通过改变被设置为初始值的第一阈值来重复处理，使得从比与最终要获得的整合度相对应的第一阈值小的值起，在步骤s310中增加第一阈值。结果，获得适合于最终要获得的整合度的整合处理结果。利用这种结构，例如，即使在如果从与最终要获得的整合度相对应的第一阈值起开始整合处理则将一个框中的远af框和近af框整合到同一集群中的场景中，af框也可以被整合到不同的集群中。

<识别处理>

现在将参考图5所示的流程图详细描述图2所示的流程图中的识别处理(步骤s203)。实际上连续进行图2所示的移动物体检测处理。因此，在先前移动物体检测处理期间，已经将代表散焦量的时间变化存储在系统存储器55中。在下文中将在af框整合处理中获得的最新集群组称为当前集群组，并且在下文中将与在先前移动物体检测处理中生成的代表散焦量的时间变化的存储相关联的先前集群组称为先前集群组。先前集群组中包括的各集群是基于在第一时刻从焦点检测单元11或摄像单元22获得的图像信号并且基于由焦点检测单元11或图像处理单元24获得的多个焦点检测结果而生成的集群。当前集群组中包括的各集群是基于在晚于第一时刻的第二时刻从焦点检测单元11或摄像单元22获得的图像信号并且基于焦点检测单元11或图像处理单元24获得的多个焦点检测结果而生成的集群。

在图5所示的步骤s501中，系统控制单元50判断是否选择了属于当前集群组的所有集群。如果选择了所有集群(步骤s501中为“是”)，则处理进入步骤s511。如果存在任何未选择的集群(步骤s501中为“否”)，则处理进入步骤s502。

在步骤s502中，系统控制单元50从当前集群组中选择一个集群。在下文中将所选择的集群称为第一集群。第一集群也称为第一组。

在这种情况下，如果构成第一集群的af框的数量小于阈值，则可以从当前集群组中删除第一集群，并且可以选择新的第一集群。af框的数量小于阈值的各集群对应于被摄体的可能性较小。因此，预期通过从后续处理中排除这样的集群，可以提高检测率并且可以减少错误检测。

在步骤s503中，系统控制单元50判断是否选择了属于先前集群组的所有集群。如果选择了所有集群(步骤s503中为“是”)，则处理进入步骤s508。如果存在任何未选择的集群(步骤s503为“否”)，则处理进入步骤s504。

在步骤s504中，系统控制单元50从先前集群组中选择一个集群。在下文中将所选择的集群称为第二集群。

在步骤s505中，系统控制单元50判断第一集群和第二集群是否类似。如果判断为第一集群和第二集群类似(步骤s505为“是”)，则处理进入步骤s506。如果判断为第一集群和第二集群不类似(步骤s505中为“否”)，则处理进入步骤s507。在本典型实施例中，判断集群之间的类似度，使得如果集群的位置之间的差、集群的代表散焦量之间的差以及构成集群的af框的数量之间的差各自小于阈值，则集群充分类似。用于判断集群之间的类似度的方法不限于该示例，只要可以判断第一集群是否与第二集群类似、或者第一和第二集群是否表示相应被摄体即可。例如，其它特征量和计算方法可以用于判断集群之间的类似度。

在步骤s506中，系统控制单元50将第二集群添加到候选集群组。候选集群组临时存储被假设为与第一集群相同的物体的集群。

在步骤s507中，系统控制单元50从先前集群组中选择尚未与第一集群进行比较的集群，并将所选择的集群设置为新的第二集群。

在步骤s508中，系统控制单元50判断是否存在被假设为与当前第一集群相同的物体的任何候选集群组。如果存在被假设为与当前第一集群相同的物体的任何候选集群(步骤s508为“是”)，则处理进入步骤s509。如果不存在被假设为与当前第一集群相同的物体的候选集群(步骤s508为“否”)，则处理进入步骤s510。

在步骤s509中，系统控制单元50从候选集群组中选择与第一集群最类似的集群，并且将与先前集群相关联的代表散焦量的时间变化的存储再次与第一集群相关联。本典型实施例示出选择与第一集群类似的一个集群的结构。然而，可以选择与第一集群类似的多个集群。候选集群组中的被选择为与第一集群最类似的集群也称为第二组。

在步骤s510中，系统控制单元50生成代表散焦量的时间变化的另一存储，并将该存储与第一集群相关联。具体地，通过将与在步骤s509中选择的集群相对应的代表散焦量和与代表散焦量相对应的时刻关联于第一集群，来存储该代表散焦量和该时刻。

在步骤s511中，系统控制单元50删除在步骤s509中与当前集群中的任何集群都不匹配的先前集群组。不删除在系统存储器55中已存储的时间段小于阈值的先前集群，并且在随后的移动物体检测处理中，将该先前集群视为先前集群组的一部分。

<移动判断处理>

现在将参考图6所示的流程图详细描述图2所示的流程图中的移动判断处理(步骤s205)。

在图6所示的步骤s601中，系统控制单元50判断是否确认了属于当前集群组的所有集群。如果确认了所有集群(步骤s601为“是”)，则移动判断处理终止。如果存在任何未确认的集群(步骤s601为“否”)，则处理进入步骤s602。

在图6所示的步骤s602中，系统控制单元50从与代表散焦量的时间变化的存储相关联的当前集群组中选择一个未确认的集群。在步骤s603中，系统控制单元50判断在步骤s602中选择的集群的代表散焦量的时间变化的存储是否已经持续了预定时间段以上。如果所选择的集群的代表散焦量的时间变化已经持续了预定时间段以上(步骤s603为“是”)，则处理进入步骤s604。如果所选择的集群的代表散焦量的时间变化的存储尚未持续预定时间段以上(步骤s603为“否”)，则处理返回到步骤s601。本典型实施例示出了如下示例：如果从生成与所选择的集群相关联的集群的时刻起经过了预定时间段以上，则判断为所选择的集群的代表散焦量的时间变化的存储已经持续了预定时间段以上。用于判断代表散焦量的时间变化的存储是否已经持续了预定时间段以上的方法不限于该示例，只要可以累积充分大量的代表散焦量的时间变化即可。例如，如果累积了与所关联的集群相对应的预定数量以上的所检测到的散焦量，则可以判断为代表散焦量的时间变化的存储已经持续了预定时间段以上。

在步骤s604中，系统控制单元50计算与所选择的集群相对应的被摄体的移动速度。在本典型实施例中，对所选择的集群的代表散焦量的时间变化的存储进行简单回归分析(simpleregressionanalysis)，以获得回归系数，并且将该回归系数用作集群的移动速度。移动速度计算方法不限于该示例，只要可以计算与所选择的集群相对应的被摄体的移动速度即可。例如，可以通过将代表散焦量的移动量除以与该移动量相对应的时间来计算被摄体的移动速度。可选地，作为与所选择的集群相对应的被摄体的移动速度，可以获得作为在被摄体被聚焦的情况下的像面位置的移动速度的像面移动速度，或者可以获得被摄体的绝对速度。

在步骤s605中，系统控制单元50判断在步骤s604中计算出的移动速度是否大于或等于预定速度。如果移动速度大于或等于预定速度(步骤s605中为“是”)，则处理进入步骤s606。如果移动速度小于预定速度(步骤s605为“否”)，则处理返回到步骤s601。

在步骤s606中，系统控制单元50获得所选择的集群的代表散焦量的时间变化的存储的每单位时间的移动方向。检测两种移动方向，即接近方向和远离方向，并且获得在接近方向上的移动次数和在远离方向上的移动次数。

在步骤s607中，系统控制单元50基于在步骤s606中获得的在接近方向上的移动次数和在远离方向上的移动次数，判断所选择的集群是否在同一方向上正在移动。在本典型实施例中，获得在存储所选择的集群的代表散焦量的时间变化的时间段期间沿同一方向的移动的比率，并且判断该比率是否大于或等于预定比率。如果该比率大于或等于预定值(步骤s607为“是”)，则处理进入步骤s608。如果该比率小于预定值(步骤s607为“否”)，则处理返回到步骤s601。进行该判断是因为，如果构成集群的af框的可靠性低并且返回了错误的测距结果，则在接近方向和远离方向这两者上都出现误差。换句话说，如果错误的测距结果示出物体正在移动，则估计在接近方向和远离方向上的移动将随机出现。因此，认为呈现出在同一方向上移动比率低的集群是不合适的。本典型实施例示出基于同一方向上的移动比率来判断所选择的集群是否正在同一方向上移动的示例。然而，实际上，判断方法不限于该示例。例如，可以基于在同一方向上的连续移动的比率来进行判断。

在步骤s608中，系统控制单元50判断为与所选择的集群相对应的被摄体是移动物体。

如上所述，在本典型实施例中，对获得的af框进行整合处理以减少错误散焦量的不利影响，并且通过识别处理提取同一物体的散焦量的时间变化以减少错误检测，从而可以更准确地检测移动物体。

下面将参考图7所示的流程图描述根据本发明的第二典型实施例要执行的整体移动物体检测处理流程。第二典型实施例与第一典型实施例的不同之处在于：识别处理单元在af框的整合之后不将处理与特定时刻相关联，并且保持所有可能的代表散焦量的时间变化的存储，然后在移动判断处理的定时再次评价代表散焦量的时间变化的存储。省略第二典型实施例的与第一典型实施例的组件相同的组件的描述，并且下面将仅主要描述与第一典型实施例的不同之处。

在步骤s201和s202中，执行与以上在第一典型实施例中所述的处理同样的处理。

在图7所示的步骤s701中，系统控制单元50针对在步骤s202中生成的各当前集群生成代表散焦量的时间变化的存储。与在第一典型实施例中不同，不是针对各当前集群生成一个代表散焦的时间变化的存储，而是将所有先前集群彼此个别地关联，并且针对各当前集群生成多个代表散焦量的时间变化的存储。所生成的代表散焦量的时间变化的存储被存储在系统存储器55中。

在步骤s702中，除了基于系统存储器55中的代表散焦量的时间变化的存储而计算各集群的移动速度和移动方向的变化频度之外，移动判断单元53还判断各集群的运动是否有效。下面将详细描述移动判断处理。

<移动判断处理>

现在将参考图8所示的流程图详细描述图7所示的流程图中的移动判断处理(步骤s702)。

在步骤s601至s607中，执行与第一典型实施例的处理同样的处理，因此这里省略其描述。如果在步骤s607中在存储所选择的集群的代表散焦量的时间变化的时间段期间沿同一方向的移动比率超过阈值(步骤s607中为“是”)，则处理进入步骤s801。如果该比率未超过阈值(步骤s607为“否”)，则处理返回到步骤s601。

在图8所示的步骤s801中，系统控制单元50基于代表散焦量的时间变化的存储来判断时间变化对于物体的移动是否有效。例如，如果在步骤s701中不相关的集群彼此相关联，则代表散焦量的时间变化是出乎意料的显著变化，因此可以期望地判断为该时间变化对于物体的移动无效。在本典型实施例中，通过使用简单回归分析将物体的运动应用于直线，来基于确定系数判断有效性。与物体的运动相对应的回归模型也称为运动模型。

假设所存储的代表散焦量的时间变化由d＝{d1,…,dn}表示，并且获得各代表散焦量的时刻由t＝{t1,…,tn}表示，回归模型f(t)＝αt+β可以通过以下表达式获得：

其中，表示t的平均值，并且

其中，表示d的平均值。在这种情况下，通过以下表达式获得确定系数r²：

如果所选择的集群的确定系数r²大于阈值，则系统控制单元50判断为作为移动物体该集群有效，然后处理进入步骤s608。如果所选择的集群的确定系数r²小于或等于阈值，则判断为作为移动物体该集群无效，然后处理返回到步骤s601。

在本典型实施例中，线性回归模型f(t)＝αt+β用于判断作为移动物体的有效性。然而，实际上，要使用的回归模型不限于该示例。例如，如果移动物体处于线性匀速运动，则在这种情况下获得的散焦量的时间变化不遵循线性表达式。因此，例如，使用由f(t)＝αtⁿ+βt+γ表示的回归模型来进行多次回归分析，并且通过将确定系数与阈值进行比较来判断有效性。结果，可以在这样的场景中更准确地判断有效性。

如上所述，在本典型实施例中，在集群生成处理之后，各集群没有以一一对应的方式与先前集群相关联，这使得即使在不能稳定地整合af框的环境下(例如，在长距离拍摄图像或同时拍摄大量被摄体的图像的情况下)也可以准确地检测移动物体。

可以实现上述典型实施例的各种变形例。

例如，虽然第一典型实施例示出了根据图3所示的流程图进行用于针对各物体进行af框整合的处理的示例，但是本发明不限于该示例。本发明还可以通过不仅应用上述方法，而且还应用诸如k均值法(k-meansmethod)、相似性传播法(affinitypropagationmethod)和高斯混合法(gaussianmixturemethod)等的已知方法来执行。虽然上述典型实施例示出了将散焦量之间的差用于整合处理中的判断的示例，但是本发明不限于该示例。除散焦量以外，也可以使用特征量来执行本发明。特征量的示例包括颜色信息、方向梯度直方图(hog)特征量、矢量信息及其组合。

上述典型实施例中由系统控制单元50执行的各种控制操作可以由一个硬件执行，或者多个硬件(例如，多个处理器或电路)可以分担处理从而控制设备的整体操作。

此外，如果在上述典型实施例中检测到多个移动物体，则可以选择与主被摄体更类似的被摄体，并且可以控制调焦透镜的驱动以使被摄体聚焦。例如，可以选择位于多个所检测到的移动物体的中央的被摄体作为主被摄体。可选地，可以选择位于最近距离处的被摄体作为主被摄体。

虽然以上已经基于本发明的优选典型实施例详细地描述了本发明，但是本发明不限于特定的典型实施例。可以在不脱离本发明的主旨的情况下以各种方式修改本发明。此外，上述典型实施例仅是本发明的示例，并且可以适当地组合典型实施例。

虽然上述典型实施例示出了将本发明应用于相位差摄像设备的示例，但是本发明不限于该示例。本发明适用于能够在多个位置处进行测距处理的任何摄像设备。具体地，本发明适用于pc、个人数字助理(pda)、蜂窝电话终端、便携式图像查看器和游戏机等。

本发明还通过执行以下处理来实现。即，用于实现上述典型实施例的功能的软件(程序)经由网络或各种存储介质被提供给系统或设备，并且系统或设备的计算机(或中央处理单元(cpu)、微处理单元(mpu)等)读取程序代码并执行所读取的程序代码。在这种情况下，程序和存储该程序的存储介质可以构成本发明。

根据本发明的一方面，即使在焦点检测的精度可能劣化的情况下，也可以准确地检测移动物体。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

虽然已经参考典型实施例描述了本发明，但是应当理解，本发明不限于所公开的典型实施例。