摄像装置和脸检测方法

专利名称：摄像装置和脸检测方法
技术领域：
本发明涉及具有检测图像内的人物的脸的脸检测功能的数字照相机等的摄像装 置和脸检测方法。
背景技术：
近年，采用(XD、MOS型的固体摄像元件对被摄体进行摄像的数字照相机和数字摄 像机等，具有在静止图像或运动图像的摄影时自动检测作为被摄体的人物的脸的脸检测功 能。具有这样的脸检测功能的数字照相机等一般根据检测出的脸部分的区域(脸区域)的 图像信息来进行聚焦控制、曝光控制。另外，例如，公知有下述技术，如在日本专利申请2000-48184A中公开的那样，以 将任意的图像作为处理对象的脸检测(脸区域的检测)的处理的高速化和消除无用的检测 处理为目的，由使用者预先设定脸检测时的处理时间、检测人数和脸面积率(处理对象的 图像的面积和检测完的脸区域的总面积的比率)的各个最大值，在任一个值达到最大值的 时刻，结束检测处理。但是，在数字照相机等中，为了进行采用了上述技术的有效的脸检测，使用者(摄 影者)在摄影时被强制设定处理时间、检测人数、脸面积率等规定脸检测动作的多个参数 的复杂作业。

发明内容
本发明是针对上述实际情况而提出的，本发明的目的在于提供一种无需使用者进 行复杂的设定就能够进行与被摄体相对应的有效的脸检测的摄像装置和脸检测方法。为了实现上述目的，本发明的第1方面的摄像装置的特征在于，包括摄像单元， 其对被摄体进行摄像；脸检测单元，其从由所述摄像单元拍摄的被摄体图像中检测脸区域， 并且，作为动作模式具有脸区域的检测条件不同的第1脸检测模式和第2脸检测模式；和 模式控制单元，其在所述脸检测单元通过第1脸检测模式反复进行脸区域的检测动作的期 间，取得与所述第2脸检测模式的检测条件相关的规定的检测信息，并且在所取得的规定 的检测信息的内容是满足所述第2脸检测模式的检测条件的内容的情况下，将所述脸检测 单元的动作模式改变为第2脸检测模式。另外，本发明的第2方面的脸检测方法，从对被摄体进行摄像的摄像单元所拍摄 的被摄体图像中检测脸区域，其特征在于，该脸检测方法包括通过第1脸检测模式反复进 行从所述被摄体图像中检测脸区域的检测动作，并且在此期间，取得与第2脸检测模式的 检测条件相关的规定的检测信息的步骤，所述第2脸检测模式的脸区域的检测条件与所述 第1脸检测模式不同；和在所述取得的规定的检测信息的内容是满足所述第2脸检测模式的检测条件的内容的情况下，将从所述被摄体图像中检测脸区域的检测动作模式改变为所 述第2脸检测模式的步骤。按照本发明，无需使用者进行复杂的设定就能够进行与被摄体相对应的有效的脸 检测。


阅读下面的具体的描述和附图，会更加容易得出本发明的这些目的，其它的目的 和优点。图1为表示本发明的各实施方式共同的数字照相机的结构的方框图；图2为优先设定表格的概念图；图3为表示第1实施方式的脸检测所相关的动作内容的流程图；图4为紧接图3的流程图；图5为表示帧图像中的脸检索区域和与脸检测动作所采用的参数的说明图；图6A为表示显示了脸检测框的状态的直通图像的实例的图；图6B为表示显示了脸检测框的状态的直通图像的实例的图；图7为表示模式选择画面的图；图8A为表示1次的脸检测周期所需要的处理速度与所检测的脸尺寸之间的关系 的处理速度的特性图；图8B为表示1次的脸检测周期所需要的处理速度与要检测的脸的数量(人数) 之间的关系的处理速度的特性图；图9为表示第2实施方式的脸检测所相关的控制部的处理内容的流程图；图10为紧接图9的流程图。
具体实施例方式下面参照附图，对本发明的实施方式进行具体说明。在本实施方式中，对由数字照 相机来构成本发明的摄像装置的情况进行说明。(实施方式1)首先，对本发明的第1实施方式进行说明。图1为表示本实施方式的数字照相机 的基本结构的方框图。该数字照相机具有AE(自动曝光)、AF(自动聚焦)、脸检测的各功 能，主要由下面的各部分构成。S卩，数字照相机包括(XD2，该(XD2对通过光学系统1成像的被摄体的光学像进行 光电变换，将其作为摄像信号而输出。该CCD2基于根据定时发生器(TG)3所产生的定时信 号，由CXD驱动部4所产生的驱动信号而被驱动。(XD2的输出信号通过A/D变换器5变换 为数字信号，然后，传送给图像处理部6。上述光学系统1包括聚焦镜头和用于使其在光轴上移动的镜头马达。镜头马达按 照控制部7的指令由镜头驱动部8所产生的驱动信号而被驱动。由此，控制聚焦镜头在光 轴上的位置。上述图像处理部6对A/D变换后的摄像信号，进行下述处理，即生成按每个像素 的R、G、B的色成分数据(RGB数据)的RGB内插处理；按每个像素，根据RGB数据生成由亮度信号(Y)和色差信号(U，V)构成的YUV数据的YUV变换处理；自动白色平衡和轮廓强调 等用于提高画质的数字信号处理。由图像变换部6变换后的YUV数据依次存储于SDRAM9 中。另外，数字照相机包括由液晶监视器和其驱动电路构成的显示部10。在摄影用的 记录模式下，存储于SDRAM9中的YUV数据，每当在SDRAM9中累积了 1帧的量时在图像处理 部6中变换为视频信号。然后，经变换的视频信号作为直通(through)图像，显示于显示部 10(液晶监视器)的画面中。接着，在记录模式的摄影时，临时存储于SDRAM9中的图像数据 在JPEG变换部11中，按照JPEG方式进行压缩编码处理后，经由外部存储器I/F12，例如，作 为静止图像文件而记录于由例如各种存储卡构成的外部存储器13中。记录于上述外部存储器13中的静止图像文件，在再生模式下根据使用者的选择 操作而被适当地读出。另外，已读出的静止图像文件在JPEG变换部11中解压，作为YUV数 据在SDRAM9中展开。然后，在显示部10上作为静止图像而显示。操作部14包括电源键、进行作为数字照相机的基本的动作模式的上述记录模式 和再生模式的切换的模式切换键、MENU键、快门键等多个键。各键通过控制部7随时扫描 操作状态。另外，快门键具有由使用者进行摄影预告用的半按压位置、指示实际的摄影动作 用的全按压位置的2阶段的操作的所谓的半快门功能。脸检测处理部15针对由图像处理部6生成的1帧量的图像数据(在下面称为“帧 图像”)进行脸检测，即，对特征和与预先准备(存储)的人物的脸相关的轮廓和颜色等的 模型图案接近的脸部分。另外，脸检测处理部15生成与检测出的脸部分相对应的区域(在 下面称为脸区域)的坐标信息，将其发送给控制部7。更具体地说，脸检测处理部15由帧存 储器、图像处理电路和多个寄存器等构成，该帧存储器临时存储上述帧图像，该图像处理电 路用于进行脸检测动作所必需的各种图像处理，该多个寄存器存储在脸检测动作时使用的 参数。另外，在本实施方式中，作为脸检测处理部15中的脸区域的检测时的动作模式 (脸检测模式)，设定了脸区域的检测条件不同的速度优先模式和人数优先模式。脸检测处 理部15根据该脸检测模式进行脸检测处理。另外，使用者可适当切换脸检测模式的种类。控制部7由CPU和其周边电路等构成，进行数字照相机的各部分的控制、基于摄像 信号中包括的亮度信息的AE控制、基于对比度检测方式的AF控制、脸检测控制等。用于使 控制部7进行这些控制用的各种程序、各种控制所必需的各种数据存储于可改写存储数据 的作为非易失性存储器的闪存16中。另外，在本实施方式中，闪存16除了存储控制部7中运行用的程序之外，还存储为 了实现本发明所必需的各种数据。此外，在闪存16中，还存储由使用者设定的与数字照相 机的各种功能有关的设定信息等。图2是表示闪存16所存储的优先设定表格T的概念图。 优先设定表格T表示与上述的脸检测模式(速度优先模式和人数优先模式)相对应的设定 参数。在优先设定表格T中给出的设定参数是在脸检测时能够检测的最小的脸尺寸，即成 为脸尺寸的下限值的横向的像素尺寸Xmin和纵向的像素尺寸Ymin;与应检测的最大的脸 的数量，即作为脸检测数量的上限值的脸Max。控制部7将在优先设定表格T中给出的设定 参数作为初始值，设定在脸检测处理部15的寄存器中。在脸检测模式中，速度优选模式是以脸检测时的处理速度为优先(重视)的模式，人数优先模式是以脸检测数量即具体的脸检测为优先(重视)的模式。与双方的模式相对 应的设定参数的值成为与各个模式的优先内容(脸区域的检测条件)相对应的值。即，作 为脸检测数量的上限值的脸Max在速度优先模式下为“5人”，在人数优先模式下为“ 10人”。 另外，作为脸尺寸的下限值的脸尺寸(Xmin，Ymin)，在以帧图像的纵向的尺寸为100%时的 百分比(N% )(参照图6A)，在速度优先模式下为“16%”，同样在人数优先模式下为“10%” 的尺寸。另外，图2所示的像素尺寸(36pix，22pix)为与后述的脸检测有关的具体的动作 内容的说明相对应的方便的值。另外，在本实施方式中，上述设定参数的值鉴于下述方面而确定。S卩，通常，在脸检 测中，成为检测对象的图像(在下面称为“帧图像”)中的人物的数量、人物的脸的大小是不 确定的。因此，一边将应检测的脸的尺寸从较小尺寸慢慢地变为较大的尺寸，一边检测位于 帧图像内的脸(脸区域)。此时，对于1次的脸检测周期(cycle)所要求的处理速度，与从 中要检测的脸的数量(脸检测数量)和脸的大小(脸尺寸)之间具有密切的关系。图8A是表示在帧图像中有5个人物且每个人物的脸尺寸相同的情况下脸尺寸的 处理速度(时间)的图。对于1次的脸检测周期所需要的处理速度，检测越小的脸，该速度 越慢，另外，在想要检测某程度以上的较大的脸的情况下，脸的尺寸的不同几乎不对处理速 度造成影响。另外，图8B是表示位于帧图像中的全部的脸的尺寸为10%的情况下，处理速 度相对于脸检测数量的图。对于1次的脸检测尺寸所要求的处理速度，要检测的脸的数量 越少，速度越快。另外，图示的处理速度是方便取得的。1次的脸检测周期所需要的处理速度与从中要检测的脸的尺寸和数量，即作为图 案对照的对象的区域的尺寸和该区域的数量有关。即，可检测的脸的尺寸越大，成为图案对 照的对象的区域越大，其区域的数量越小。另外，随着能够检测的脸的尺寸的减小，构成图 案对照的对象的区域变小，其区域的数量变多。因此，用于对对象区域的图像是否为脸进行 检测的对照次数增加，处理速度显著降低。如上所述，1次的脸检测周期所需要的处理速度与从中要检测的脸的大小(脸尺 寸)和脸的数量(脸检测数量)有关。另外，不同于此，位于帧图像内的脸的尺寸和人数也 具有密切关系。即，在位于帧图像内的脸大的情况下，即使在脸密集的情况下，可位于帧图 像内的脸的数量页有限。因此，如果检测更小的脸，则能够检测的脸的数量必然增加，但是，另一方面，如果 仅仅检测较大的脸，则可检测的脸的数量也缩小。鉴于这一点，在本实施方式中，作为与速 度优选模式相对应的设定参数的值，脸Max(脸检测数的上限值)设定为“5人”，脸尺寸(检 测尺寸的下限值)设定为“16%”。另外，作为与人数优先模式相对应的设定参数的值，脸 Max设定为“ 10人”，脸尺寸设定为“ 10 % ”。下面对以上构成的数字照相机的脸检测所相关的动作进行说明。首先，对基本的 动作进行说明。在上述数字照相机中，控制部7在记录模式的摄影待机状态下，脸检测功能 被设定为启动时，将通过规定的帧速率的摄影动作取得的被摄体的图像数据(帧图像)作 为对象，使脸检测处理部15执行脸检测。控制部7每当脸检测处理部15的脸检测动作完 成时，将之后刚刚取得的新的帧图像发送给脸检测处理部15。脸检测处理部15若从控制部 7接收到新的帧图像，则与帧速率非同步地随时进行脸检测处理。在该情况下，脸检测处理 部15将上述帧图像中的除了外周部以外的几乎全部区域作为脸检索区域，针对该脸检索区域进行脸检测处理。另外，在以下的说明中，为了方便起见，该脸检索区域的尺寸为290 像素X 220像素(参照图5)。下面根据图3和图4的流程图，对具体的动作内容进行说明。如图3所示，在数字 照相机中，如果在记录模式下脸检测功能被设定为启动，或在脸检测功能被设定为启动的 状态下设定记录模式，则控制部7从闪存16中取得针对此时刻设定的(例如，上次的脸检 测功能的使用时设定的)脸检测模式种类的设定信息(步骤SAl)。接着，控制部7判断作为脸检测模式设定了速度优先模式和人数优先模式中的哪 一个(步骤SA2)。接着，控制部7从上述优先设定表格T (图2)中，读出与所设定的模式相 对应的设定参数，将其作为用于脸检测动作的初始值，设定在脸检测处理部15中。S卩，在判 定为设定了“速度优先模式”的情况下，控制部7设定“36，36”作为脸尺寸(Xmin，Ymin)，并 且脸检测数的上限值(脸Max)设定为“5”(步骤SA3)。另一方面，在判定为设定了 “人数 优先模式”的情况下，控制部7设定“22，22”作为脸尺寸(Xmin，Ymin)，并且脸检测数量的 上限值(脸Max)设定为“ 10” (步骤SA4)。然后，如果没有使用者进行的脸检测模式的切换操作或快门键的半按压操作(步 骤SA5、SA7均为“否”)，则每当通过控制部7将帧图像传送给脸检测处理部15时，在脸检 测处理部15中反复地进行基于图4的步骤SAlO SA23的处理的脸检测动作。图5是表 示帧图像100的脸检索区域101和脸检测动作中采用的参数的说明图。如图4所示，脸检测处理部15首先将应进行图案对照的脸检测区域102的尺寸 Xf, Yf作为由控制部7设定的初始值(XminJmin)(步骤SA10)。另外，脸检测处理部15使 检测计数器的值为“0”(步骤SA11)。另外，脸检测处理部15使脸检测区域102的起点Xs、 Ys的值为“0”，并且使脸检测区域102的终点Xe、Ye为与起点Xs、Ys和尺寸Xf、Yf相对应 的值(步骤SA12)。这样，脸检测处理部15进行参数的初始化处理。另外，上述起点Xs、Ys 和终点Xe、Ye为帧图像100的脸检索区域101内的坐标位置。然后，脸检测处理部15以上 述尺寸Xf、Yf的脸检测区域102为对象，进行基于图案对照的脸检测处理(步骤SA13)。接 着，脸检测处理部15 —边按照下述的顺序更新脸检测区域102的位置和尺寸，一边反复地 进行同样的脸检测处理。首先，脸检测处理部15设定此时刻的脸检测区域尺寸Xf、Yf的20%，作为脸检测 区域102的X方向和Y方向的位移单位ΔΧ、八￥(步骤5々17)。然后，脸检测处理部15更 新使脸检测区域102沿X方向移动上述位移单位Δ X的起点Xs和终点Xe (步骤SA18)。然 后，脸检测处理部15在X方向的终点Xe超过脸检索区域101的右端的坐标位置(在这里 为290)之前(在步骤SA19中为“否”)，每当通过同样的处理使脸检测区域102沿X方向 移动时，进行脸检测处理。另外，脸检测处理部15每当脸检测区域102的X方向的终点Xe超过脸检索区域 101的右端的坐标位置(290)时(在步骤SA19中为“是”)，使脸检测区域102沿Y方向移 动上述位移单位Δ Y，并且对应该将X方向的位置移动到左端的起点Xs、Ys和终点Xe、Ye 进行更新(步骤SA20)。接着，脸检测处理部15在Y方向的新的位置，一边反复进行X方 向的移动，一边在每次移动时进行脸检测处理。这样，脸检测处理部15在新的Y方向的终 点Ye超过脸检索区域101的下端的坐标位置(在这里为220)之前，反复地进行脸检测区 域102的移动(在步骤SA21，为“否”)。即，脸检测处理部15—边使脸检测区域102每次少量(每次按照位移单位ΔΧ、ΔΥ)地从脸检索单位区域101的左方朝右方，并且从上方朝 下方移动，一边反复进行脸检测处理。此外，脸检测处理部15每当脸检测区域102的Y方向的终点Ye超过脸检索区域 101的下端的坐标位置时(在步骤SA21，为“是”)，将此时刻的脸检测区域102的X方向和 Y方向的尺寸Xf、Yf分别放大到1. 2倍的尺寸(步骤SA22)。然后，脸检测处理部15将新 的尺寸(Xf、Yf)的脸检测区域102如上述那样，一边从脸检索单位区域101的左方朝右方， 并且从上方朝下方移动，一边反复进行脸检测处理(步骤SA23，为“否”)。另外，脸检测处理部15在反复进行上述脸检测处理的期间，每当检测出脸时(在 步骤SA14，为“是”)，使检测计数器的值递增(步骤SA15)。接着，脸检测处理部15，在上 述检测计数器的值即脸检测数量到达上限值(脸Max)(在步骤SA16中为“是”)，或在步骤 SA22中设定的脸检测区域102的尺寸(Xf，Yf)超过预定的最大尺寸(XmaX、Ymax)(在步骤 SA23，为“是”)的情况下，结束对帧图像100的脸检测动作。然后，处理返回到图3的步骤 SA5。如果没有脸检测模式的切换操作和快门键的半按压操作(步骤SA5，SA7均为 “否”)，则对新的帧图像反复进行上述图4的步骤SAlO SA23的脸检测动作。此外，虽然在流程图中未给出，但脸检测处理部15在上述脸检测动作的步骤SA15 中使检测计数器的值递增时，将此时刻的脸检测区域102的坐标信息(起点Xs，Ys和终点 Xe, Ye)发送给控制部7。控制部7根据发送来的坐标信息，逐次重叠地在直通图像上显示 表示脸区域的脸检测框。图6A、图6B是表示显示了在针对帧图像的脸检测动作即1个周期 的脸检测处理结束的时刻的脸检测框A的状态的直通图像110的实例的图。另外，上述脸检测框A的显示，通过控制部7对脸检测框A的0SD(0ri Screen Display)数据与存储于SDRAM9中的直通图像用的YUV数据进行合成来进行。另外，通过脸 检测处理部15检测到的脸区域，例如，用作通过控制部7进行AE控制时的测光区域，或用 作进行AF控制时的对比度值的取得区域(AF评价区域)。此外，如图3所示，在由使用者进行了脸检测模式的切换的情况下(在步骤SA5， 为“是”)，控制部7将在脸检测处理部15中设定的设定值，即脸尺寸(Xmin，Ymin)和脸检 测数量的上限值(脸Max)的值改变为与新的模式(速度优先模式或人数优先模式)相对 应的值(步骤SA6)。然后，脸检测处理部15根据变更后的设定值，进行上述脸检测动作。另外，在由使用者进行了模式设定(变更)用的规定的键操作的情况下，控制部 7响应于其操作，在显示部10上显示如图7所示的模式选择画面200。在模式选择画面 200中，如果使用者通过光标移动的操作等选择脸检测模式(速度优先模式，或人数优先模 式)，则控制部7将使用者所选择的模式设定为新的脸检测模式。还有，在由使用者半按压快门键的情况下(在步骤SA7，为“是”)，控制部7判断在 此时刻设定的脸检测模式是否为速度优先模式(步骤SA8)。接着，在判断为速度优先模式 的情况下(在步骤SA8,为“是”)，控制部7使脸检测处理部15中止此时刻的脸检测动作， 将在此时刻设定的脸尺寸(Xmin，Ymin)和脸检测数量的上限值(脸Max)的值临时地改变 为与人数优先模式相对应的值(步骤SA9)。然后，在半按压快门键的期间，控制部7根据人 数优先模式，进行针对帧图像的脸检测动作。另外，虽然在流程图中未示出，但在步骤SA9 中将上述设定值临时改变为与人数优先模式相对应的值的情况下，控制部7在快门键的半按压状态被解除的时刻，将上述设定值恢复到速度优先模式的设定值。然后，在摄影待机状 态下，在脸检测功能被设定为启动的期间，反复进行步骤SA5 SA23的动作。这里，在以上说明的本实施方式中，在设定速度优先模式作为脸检测模式时，脸检 测数量的上限值(脸Max)为“5”，并且脸检测区域102的尺寸的初始值设定在“36，36”(脸 尺寸为16%)。另外，在设定人数优先模式时，脸检测数量的上限值(脸Max)为“10”，并且 脸检测区域102的尺寸的初始值设定为“22，22”(脸尺寸为10% )。由此，在设定速度优先模式时，如果与人数优先模式相比较，虽然能检测的脸的数 量(脸检测数量)和脸尺寸等脸检测性能差，但是，1次的脸检测周期所需要的处理速度提 高，因此，在脸检测动作中能确保较高的反应性。即，在视角改变，或视角内的人物运动时， 能够立即使上述脸检测框A随之移动(图6A，图6B)。另一方面，在设定人数优先模式时， 如果与速度优先模式相比较，虽然反应性能差，但是仍可检测到远而小的脸，另外，还可检 测多个人的脸。即，可进行详细的脸的检测。如上所述，在本实施方式的数字照相机中，使用者(摄影者)仅仅通过选择脸检测 模式的种类，就能够使数字照相机进行与视角内的人数、脸的尺寸等被摄体的具体的内容 相对应的有效的脸检测。另外，在使用者分别设定了能检测的脸尺寸、能检测的脸检测数量这样的参数的 情况下，使用者需要熟悉这些设定(参数之间的值的组合)。例如，在仅仅想要快速地检测 较大的脸时，减小能检测的脸检测数量(上限人数)为好。在使用者不熟悉上述参数的设 定而较多地设定了上限人数的情况下，其结果是，无法取得想要的反应性能。相对该情况， 在本实施方式的数字照相机中，由于仅仅选择脸检测模式的种类即可，故任何人都能可靠 地使数字照相机进行与被摄体的具体内容相对应的有效的脸检测。此外，在从半按压快门键到该状态被解除的期间，与到此之前的脸检测模式无关 (强制地)将脸检测模式设定为人数优先模式。由此，在摄影时，始终通过具体的脸检测动 作进行适合的AF控制和AE控制。还有，伴随上述快门键的半按压的向人数优先模式的变更也可仅仅在半按压快门 键时临时地进行。即使在该情况下，仍可取得上述效果。再有，在本实施方式中，对脸检测模式仅仅为以脸检测时的处理速度为优先的速 度优先模式和以脸检测数量(详细的脸检测)为优先的人数优先模式这2种优先模式的情 况进行了说明，但是，预先设定的多个脸检测模式也可为3种以上。另外，在各个脸检测模 式中，根据2个以上的参数的值的组合而脸检测的检测条件不同即可。S卩，可以是以脸检测 时的处理速度或能检测的脸的数量以外的动作内容为优先(重视)这样的模式。另外，作为脸检测模式，在例如除了速度优先模式和人数优先模式之外还设置其 它模式的情况下，也与本实施方式相同，仅在从半按压快门键到该状态被解除的期间，从多 个脸检测模式中，设定脸检测区域的检测精度最高的模式，从而在摄影时能进行更适合的 AF控制、AE控制。(实施方式2)下面对本发明的第2实施方式进行说明。本实施方式是自动地进行上述脸检测模 式的设定(切换)的数字照相机。基本构成与第1实施方式相同，在上述闪存16中存储使 控制部7执行下述的处理用的程序。
下面，按照图9和图10的流程图，说明对控制部7的脸检测有关的处理内容。如图 9所示，如果控制部7在记录模式中将脸检测功能设定为启动，或在脸检测功能被设定为启 动的状态下设定记录模式，则首先进行将人数优先标记设定为OFF状态的初始化处理(步 骤SBl)。接着，控制部7设定人数优先模式作为脸检测模式。即，控制部7从上述预先设定 表格T(图2)中读出与人数优先模式相对应的设定参数，将其作为用于脸检测动作的初始 值，设定在脸检测处理部15中(步骤SB2)。接着，控制部7在脸检测处理部15中，进行与 第1实施方式相同的脸检测动作(步骤SB3)。然后，控制部7在脸检测处理部15针对帧图像的1个周期的脸检测处理结束为止 的期间(在步骤SB8，为“否”)，每当脸检测处理部15检测到脸时(在步骤SB4，为“是”)， 根据从脸检测处理部15接收的上述脸检测区域102 (参照图5)的坐标信息(起点Xs、Ys 和终点Xe、Ye)，分别判断所检测的脸的尺寸是否小于16%，以及检测出的脸的数量(脸检 测数量)是否达到了上限即人数优先模式的上限值(脸Max)的10人(步骤SB5，SB7)。在判定已检测的脸的尺寸小于16%，在帧图像内检测到了较小的脸的情况下(步 骤SB5，为“是”)，控制部7将人数优先标记设定在ON状态(步骤SB6)。然后，在脸检测数量达到上限的时刻(在步骤SB7，为“是”)，或在脸检测数量未到 达上限但1个周期的脸检测处理结束的时刻(在步骤SB8，为“是”)，控制部7根据到此为 止的期间内从脸检测处理部15发送来的全部的坐标信息，在直通图像中显示1个或多个脸 检测框(步骤SB9)。接着，如果人数优先标记为ON状态(在步骤SB10，为“是”)，则控制部7将其重新 暂时设定在OFF状态(步骤SB11)。然后，控制部7返回到步骤SB3，在人数优先模式的状 态下，在脸检测处理部15中，进行相对下一帧图像的脸检测处理(步骤SB3)。S卩，在可针对 最接近的帧图像而检测的1个或多个脸中，其尺寸小于16 %的脸包括1个的情况下的，可检 测的脸的尺寸为不满足速度优先模式的脸区域的检测条件的内容的情况下，控制部7在脸 检测处理部15中，继续人数优先模式的脸检测处理。于是，可进行与被摄体的具体的内容 相对应的有效的脸检测。相对该情况，在人数优先标记不是ON状态(在步骤SB10，为“否”)的情况下，如图 10所示，控制部7将脸检测模式从人数优先模式切换到速度优先模式(步骤SB12)。S卩，在 人数优先模式下，在从最接近的帧图像中检测出的脸的尺寸全部在16%以上的情况下，控 制部7将脸检测模式从人数优先模式切换到速度优先模式。控制部7从上述优先设定表格 T(图2)中读出与速度优先模式相对应的设定参数，将其作为脸检测动作用的初始值，在脸 检测处理部15中设定。同时，控制部7开始进行用于取得在此后的每规定时间(3秒)进 行1次动作的定时的定时计数动作(步骤SB13)。接着，控制部7使脸检测处理部15进行 基于速度优先模式的脸检测动作(步骤SB14)。然后，控制部7在脸检测处理部15中，在针对帧图像的1个周期的脸检测处理结 束之前的期间(在步骤SB17，为“否”)，每当在脸检测处理部15中检测到脸时(在步骤 SB15，为“是”)，随时判断到此时刻为止脸检测出的脸的数量(脸检测数量)是否到达上限， 即速度优先模式的上限值(脸Max)的5人(步骤SB16)。然后，在脸检测数量达到上限值的时刻(在步骤SB16，为“是”)，或在脸检测数量 未到达上限但1个周期的脸检测处理结束的时刻(在步骤SB17，为“是”)，控制部7根据到此为止的期间内从脸检测处理部15发送来的全部的坐标信息，在直通图像中显示1个或多 个脸检测框(步骤SB18)。接着，如果不是上述的每3秒1次的动作定时(在步骤SB19，为“否”)，则控制部 7返回到步骤SB14。S卩，控制部7在速度优先模式的状态下，使脸检测处理部15进行针对 下一帧图像的脸检测处理。由此，可进行与被摄体相对应的有效的脸检测。另一方面，在反复进行上述处理的期间，在每3秒1次的动作定时到来时(在步骤 SB19，为“是”)，控制部7返回到上述图9的步骤S2，将脸检测模式从速度优先模式切换到 人数优先模式。然后，控制部7进行到上述步骤SBlO为止的处理。接着，在上次人数优先模 式下进行了脸检测之后，例如，因视角内的某人物远离照相机或新的人物进入视角内这样 的被摄体的状态变化，而检测到小于16%的较小尺寸的脸的情况下(在步骤SB5，为“是”)， 控制部7将人数优先标记设定在ON状态(步骤SB6)。控制部7通过将人数优先标记设定 在ON状态，可在人数优先模式的状态下，使脸检测处理部15反复进行详细的脸检测处理。另外，在上述每3秒1次的人数优先模式下，在脸检测处理中完全未检测到小于 16%的较小尺寸的脸的情况下(步骤SB5 SB10)，控制部7将脸检测模式返回到速度优先 模式(步骤SB12)。然后，控制部7再使脸检测处理部15反复地进行高速的脸检测处理。如上所述，在本实施方式中，自动地设定脸检测模式的种类，由此，完全不会给使 用者(摄影者)造成负担，可进行与视角内的人数、脸的大小等被摄体的具体内容相对应的 有效的脸检测。而且，通过使脸检测处理从速度优先模式暂时变为人数优先模式，由此，根据人数 优先模式的脸检测结果，随时判断是否需要改变为人数优先模式。因此，在判定需要改变为 人数优先模式的情况下，自动地改变为人数优先模式，因此，即使在任意的时刻，被摄体的 具体的内容发生变化，都能立即应对该变化。此外，在本实施方式中，本发明的规定的检测信息是在人数优先模式下的脸检测 动作中检测到的脸的尺寸。在该规定的检测信息满足速度优先模式的检测条件的情况下， 将脸检测模式变为速度优先模式，但是，也可按下述方式执行。例如，可以当在人数优先模式下的脸检测动作中检测到的人数满足速度优先模式 的脸区域的检测条件时，将脸检测模式改变为速度优先模式。另外，也可以是在人数优先 模式下的脸检测动作中检测到的脸的尺寸或脸检测数量中的任意一个满足速度优先模式 的脸区域的检测条件的情况下，或在人数优先模式下的脸检测动作中检测的脸的尺寸和脸 检测数量的双方都满足速度优先模式的脸区域的检测条件的情况下，将脸检测模式改变为 速度优先模式。特别是在后者的情况下，可将脸检测模式更进一步可靠地控制为适合于被 摄体的具体的内容的模式。另外，在本实施方式中，说明了如下情况脸检测模式为速度优先模式和人数优先 模式，各模式的脸区域的检测条件为基于能检测的最小的脸尺寸(脸尺寸的下限值)和能 检测的最大的脸的数量(脸检测数量的上限值)等多个参数的值的检测条件。但是，脸检 测模式各自的脸区域的检测条件也可以不是基于单一参数的值。例如，各个脸检测模式，只要脸区域的检测条件不同，则也可以是检测条件仅基于 能检测的最小的脸尺寸的模式，或检测条件仅基于应检测的最大的脸的数量的模式。此外，各个脸检测模式的脸区域的检测条件并不限于基于单一或2个参数的值，也可以基于3种以上的参数。但是，该情况下，脸检测模式的种类越多，用于自动地判断是 否需要变更脸检测模式并仅在需要的情况下改变脸检测模式的具体动作越复杂。还有，作为脸检测模式，具有不同于上述速度优先模式和人数优先模式的模式的 情况下，就确定各模式的脸区域的检测条件的参数而言各模式也是不同的，但是，还可如下 述这样进行处理。即，在将脸检测模式从其中一方模式改变为另一方模式之后，不将脸检测 模式暂时改变为一方模式，而是在反复进行基于另一方模式的脸检测期间，根据在脸检测 处理时取得的规定的检测信息，随时判断是否需要改变为一方模式。这里，在判定为需要改 变模式的情况下，自动地将脸检测模式从另一方模式改变为一方模式。另一方面，在第1和第2实施方式中，说明了具备对帧图像进行脸检测并取得脸区 域的坐标信息的脸检测处理部15的数字照相机，但是，并不限于这样的数字照相机。例如， 本发明也可适合于不具有脸检测处理部15，而由控制部7执行对帧图像进行脸检测并取得 脸区域的坐标信息的处理这样的构成的数字照相机。另外，针对将本发明用于具有一般结 构的数字照相机的情况进行了说明，但是，并不限于此，只要是具有脸检测功能，则本发明 也可适用于内置于便携电话终端等的其它的信息装置中的数字照相机、数字摄像机等其它 摄像装置，以及具有脸检测功能的图像处理装置等其它装置中。在不脱离本发明的较宽的实质的范围的情况下可进行各种实施方式的变更。上述 实施方式用于说明本发明，并不构成对本发明的范围的限定。本发明的范围由权利要求而 不是实施方式给出。在本发明的权利要求及等同方式的含义范围内作出的各种实施方式可 视为在本发明的范围内。本申请基于2007年5月18日申请的日文专利申请2007-133353，包括说明书、权 利要求、附图和摘要。上述日本发明专利申请的内容在这里进行引用。
权利要求
一种摄像装置，其特征在于，包括摄像单元，其对被摄体进行摄像；脸检测单元，其从由所述摄像单元拍摄的被摄体图像中检测脸区域，并且，作为动作模式具有脸区域的检测条件不同的第1脸检测模式和第2脸检测模式；和模式控制单元，其在所述脸检测单元通过第1脸检测模式反复进行脸区域的检测动作的期间，取得与所述第2脸检测模式的检测条件相关的规定的检测信息，并且在所取得的规定的检测信息的内容是满足所述第2脸检测模式的检测条件的内容的情况下，将所述脸检测单元的动作模式改变为第2脸检测模式。
2.根据权利要求1所述的摄像装置，其特征在于，所述模式控制单元，在所述脸检测单元通过第2脸检测模式反复进行脸区域的检测动 作的期间，取得与所述第1脸检测模式的检测条件相关的规定的检测信息，并且在所取得 的规定的检测信息的内容是满足所述第1脸检测模式的检测条件的内容的情况下，将脸检 测单元的动作模式设定为第1脸检测模式。
3.根据权利要求1所述的摄像装置，其特征在于，所述模式控制单元，在所述脸检测单元以第2脸检测模式反复进行脸区域的检测动作 的期间，每隔一定期间，使所述脸检测单元进行基于第1脸检测模式的脸区域的检测动作， 在进行基于第1脸检测模式的所述脸检测单元的脸区域的检测动作时，取得与所述第2脸 检测模式的检测条件相关的规定的检测信息，并且在所取得的规定的检测信息的内容不是 满足所述第2脸检测模式的检测条件的内容的情况下，将脸检测单元的动作模式设定为第 1脸检测模式。
4.根据权利要求1所述的摄像装置，其特征在于，所述脸检测单元在第1脸检测模式和第2脸检测模式下，进行以多个尺寸的脸区域作 为检测对象的检测动作，在由所述模式控制单元取得的与所述第2脸检测模式的检测条件相关的规定的检测 信息中，包括由所述脸检测单元检测出的脸区域的尺寸。
5.一种脸检测方法，从对被摄体进行摄像的摄像单元所拍摄的被摄体图像中检测脸区 域，其特征在于，该脸检测方法包括通过第1脸检测模式反复进行从所述被摄体图像中检测脸区域的检测动作，并且在此 期间，取得与第2脸检测模式的检测条件相关的规定的检测信息的步骤，所述第2脸检测模 式的脸区域的检测条件与所述第1脸检测模式不同；和在所述取得的规定的检测信息的内容是满足所述第2脸检测模式的检测条件的内容 的情况下，将从所述被摄体图像中检测脸区域的检测动作模式改变为所述第2脸检测模式 的步骤。
全文摘要
本发明提供一种摄像装置和脸检测方法，不让使用者进行复杂的设定，可进行与被摄体相对应的有效的脸检测。作为脸检测模式，预先配备脸区域的检测条件不同的速度优先模式和人数优先模式。由使用者选择所希望的脸检测模式，将在脸检测时可检测的脸尺寸的下限值和脸区域的检测数量的上限值设定为与使用者所选择的脸检测模式相对应的值。另外，在通过快门键的半按压进行了摄影预告时，在脸检测模式为速度优先模式的情况下，强制地将其变为人数优先模式。
文档编号H04N5/232GK101945222SQ20101050567
公开日2011年1月12日 申请日期2008年5月16日 优先权日2007年5月18日
发明者今村圭一 申请人:卡西欧计算机株式会社