摄像装置及其脸辨别方法

摄像装置及其脸辨别方法
【专利摘要】一种摄像装置，判断是否设定人用的脸检测模式(S31)，若判断为设定人用的脸检测模式，则执行由二维脸检测处理检测人脸的处理(S32)。之后，若由该二维脸检测处理判断为无人脸，则执行由三维脸检测处理检测人脸的处理(S35、S36)。另一方面，在设定动物用的脸检测模式的情况下，执行由三维脸检测处理检测该设定的检测模式的动物种类的脸的处理(S36)。由此，可使脸辨别的精度提高。
【专利说明】摄像装置及其脸辨别方法
[0001] 本申请是卡西欧计算机株式会社于2012年6月20日提交的申请号为 "201210211324. 0"的发明名称为"摄像装置及其程序"的分案申请（原母案于2008年8月 28日年提交，申请号为"200810214907. 2"）的进一步的分案申请。

【技术领域】
[0002] 本发明涉及一种具有辨别被拍摄体的功能的摄像装置及其脸辨别方法。

【背景技术】
[0003] 近年来，就电子照相机等摄像装置而言，由于出现辨别被拍摄体的脸的技术，有如 下技术，即设定曝光条件，以聚焦于该被辨别的脸，或脸适当曝光（日本特开2007-081991 号公报）。
[0004] 但是，现有的脸辨别仅以从某个特定的方向摄像人的脸而且是正面的脸等情况为 对象，不能辨别侧脸或带墨镜时等。另外，人以外的脸、例如猫或狗等的脸无法辨别。


【发明内容】

[0005] 因此，本发明鉴于这种现有问题作出，其目的在于提供一种可使脸辨别的精度提 高的摄像装置及其程序。
[0006] 本发明的一个方式是一种具有被拍摄体的辨别功能的摄像装置，其特征在于，具 有被拍摄体的辨别功能，
[0007] 所述摄像装置具备：
[0008] 摄像部，其对被拍摄体进行摄像；
[0009] 脸辨别模式设定部，其具备辨别被拍摄体的脸时执行的脸辨别处理的内容各不相 同的多个脸辨别模式，从该多个脸辨别模式中设定任一脸辨别模式；和
[0010] 脸辨别部，其对由所述摄像部摄像的图像数据执行与由所述脸辨别模式设定部设 定的脸辨别模式对应的脸辨别处理，由此辨别在该摄像的图像数据内的脸。
[0011] 本发明的另一方式是一种具有被拍摄体的辨别功能的摄像装置的控制方法，其特 征在于，所述控制方法执行下述步骤：
[0012] 模式设定步骤，从辨别被拍摄体的脸时执行的脸辨别处理的内容各不相同的多个 脸辨别模式中，设定任一种类的脸辨别模式；
[0013] 对被拍摄体进行摄像的摄像步骤；
[0014] 脸辨别步骤，对通过所述摄像步骤摄像的图像数据，执行与通过所述模式设定步 骤设定的脸辨别模式对应的脸辨别处理；和
[0015] 判定步骤，根据通过所述脸辨别步骤执行的脸辨别处理，判定所述图像数据内脸 的有无或脸的种类。

【专利附图】

【附图说明】
[0016] 图1是本发明实施方式的数码相机的框图。
[0017] 图2是表示记录在存储器12中的脸数据表格的状态图。
[0018] 图3是表示第1实施方式的数码相机1的动作的流程图。
[0019] 图4是表示第1实施方式的数码相机1的动作的流程图。
[0020] 图5是表示对应于设定的脸检测模式种类的脸检测处理的动作的流程图。
[0021] 图6是表示第1个三维脸检测处理动作的流程图。
[0022] 图7是表示用三角形多边形表示生成的被拍摄体（这里仅为猫科的脸）的三维模 型时的状态图。
[0023] 图8是表示第2个三维脸检测处理动作的流程图。
[0024] 图9是表示第2实施方式的数码相机1的动作的流程图。
[0025] 图10是表示第2实施方式的数码相机1的动作的流程图。
[0026] 图11是表示对应于设定的脸识别模式种类的脸识别处理的动作的流程图。

【具体实施方式】
[0027] 下面，作为将本发明的摄像装置适用于数码相机的一例，参照附图来详细说明本 实施方式。
[0028][第1实施方式]
[0029] A.数码相机的构成
[0030] 图1是表示实现本发明摄像装置的数码相机1的电示意构成的框图。
[0031] 数码相机1具备摄影透镜2、透镜驱动模块3、光圈4、（XD5、驱动器6、TG(timing generator) 7、单位电路8、图像生成部9、CPU10、键输入部11、存储器12、DRAM13、闪存14、 图像显示部15、总线16。
[0032] 摄影透镜2包含由未图示的多个透镜群构成的聚焦透镜、变焦透镜等。另外，在摄 影透镜2连接有透镜驱动模块3。透镜驱动模块3由分别沿光轴方向驱动聚焦透镜、变焦透 镜的聚焦电动机、变焦电动机、与根据从CPU10发送来的控制信号来驱动聚焦电动机、变焦 电动机的聚焦电动机驱动器、变焦电动机驱动器构成（省略图示）。
[0033] 光圈4包含未图不的驱动电路，驱动电路根据从CPU10发送来的控制信号使光圈 4动作。
[0034] 所谓光圈4是指控制从摄影透镜2射入的光的量的机构。
[0035] CCD5由驱动器6驱动，每规定周期光电变换被拍摄体像的RGB值的各色光的强度， 作为摄像信号，输出到单位电路8。该驱动器6、单位电路8的动作定时（timing)经TG7由 CPU10控制。另外，CCD5具有成对排列的滤色镜，还具有作为电子快门的功能。该电子快门 的快门速度经驱动器6、TG7由CPU10控制。
[0036] TG7连接于单位电路8上，由相关二重采样从(XD5输出的摄像信号后保持的 0)S(Correlated Double Sampling)电路、在该采样后执行摄像信号的自动增益调整的 AGC(Automatic Gain Control)电路、将该自动增益调整后的模拟的摄像信号变换为数字 信号的A/D变换器构成，从CCD5输出的摄像信号经单位电路8作为数字信号发送到图像生 成部9。
[0037] 图像生成部9对从单位电路8发送的图像数据实施γ校正处理、白平衡处理等 处理，同时，生成亮度色差信号（YUV数据），将该生成的亮度色差信号的图像数据存储在 DRAM13(缓冲存储器）中。即，图像生成部9对从(XD5输出的图像数据实施图像处理。
[0038] CPU10是单片微机，具有执行对(XD5的摄像控制、图像数据的压缩扩展处理、向闪 存14的记录处理、图像数据的显示处理的功能，同时，控制数码相机1的各部。另外，CPU10 包含块电路，还具有作为计时器的功能。
[0039] 尤其是CPU10具有从多种脸检测模式中设定任一脸检测模式的脸检测模式设定 部101、和辨别在图像数据内的脸的脸辨别部102。
[0040] 该脸检测模式设定部101具备存储设定的脸检测模式种类的存储区域，仅存储最 新设定的脸检测模式。
[0041] 另外，该脸辨别部102具有仅使用二维数据来辨别脸的功能（二维脸辨别处理）、 与使用三维数据来辨别脸的功能（三维脸辨别处理）。另外，所谓该脸辨别是指检测位于图 像数据内的脸、或具体地识别位于图像数据内的脸是谁的？或是何脸。即，将脸检测、脸识 别统称为脸辨别。
[0042] 键输入部11包含可半按压全按压的快门按钮、模式切换键、十字键、SET键、被拍 摄体跟踪Οη/OfT键等多个操作键，将对应于用户的键操作的操作信号输出到CPU10。
[0043] 在存储器12中，记录CPU10控制各部所需的控制程序、和必要的数据（设定被拍 摄体的每个种类（人、狗、猫等）的脸数据的脸数据表格），CPU10根据该程序动作。该存储 器12是可改写的非易失性存储器。
[0044] 图2表示记录在存储器12中的脸数据表格的状态。
[0045] 从图2可知，将被拍摄体的种类大致分为人与动物，动物进一步按狗、猫、马...那 样按每个种类分。另外，按各被拍摄体的每个种类记录脸数据。脸数据具有二维（平面） 与三维（立体）两种，对该被拍摄体的每个种类，设定二维或/和三维的脸数据。这里，对 于人的脸数据，同时设定为二维与三维，儿动物的脸数据仅为三维。即，在动物的情况下，不 设定二维的脸数据。这是因为动物的脸因看的角度不同而极端变化，而且是立体的原因。
[0046] DRAM13用作暂时存储由（XD5摄像后、发送到CPU10的图像数据的缓冲存储器，同 时，用作CPU10的工作存储器。
[0047] 闪存14是保存压缩后的图像数据的记录介质。
[0048] 图像显示部15包含彩色IXD及其驱动电路，当处于摄影待机状态时，将由(XD5摄 像的被拍摄体显示为直通图（through image),当再现记录图像时，显示从闪存14中读出、 扩展后的记录图像。
[0049] B.数码相机1的动作
[0050] 根据图3和图4的流程图来说明第1实施方式的数码相机1的动作。
[0051] 若利用用户的模式切换键的操作来设定成脸检测静止图像摄影模式，则在步骤 Sl，CPU10使多种脸检测模式一览显示于图像显示部15中。
[0052] 这里，多种脸检测模式大致分为检测人脸的脸检测模式（人用的脸检测模式）与 检测动物（狗、猫、马等）的脸的脸检测模式（动物用的脸检测模式），动物用的脸检测模式 进一步如检测狗的脸的脸检测模式（狗用的脸检测模式）、检测猫的脸的脸检测模式（猫用 的脸检测模式）、检测马的脸的脸检测模式（马用的脸检测模式）那样按动物的每个种类分 类。即，多种脸检测模式按构成脸检测对象的被拍摄体的每个种类存在，将这些脸检测模式 一览显示于图像显示部15中。此时，使光标与规定种类的脸检测模式一致显示。
[0053] 接着，在步骤S2，CPU10判断由用户选择了哪个脸检测模式。该判断通过是否从键 输入部11发送了与SET键的操作对应的操作信号来判断。
[0054] 此时，用户通过操作十字键，可使光标与想选择的种类的脸检测模式一致，在该光 标一致的种类的脸检测模式下认为0K的情况下，执行SET键的操作。
[0055] 在步骤S2,若判断为选择了脸检测模式，则进入步骤S3, CPU10的脸检测模式设定 部101设定为当执行该SET键的操作时、光标一致的种类的脸检测模式。
[0056] 若设定脸检测模式，则进入步骤S4, CPU10开始所谓的直通图显示，也就是使(XD5 开始以规定的帧速率摄像被拍摄体的处理，将由CCD5依次摄像、由图像生成部9生成的亮 度色差信号的帧图像数据（YUV数据）存储在缓冲存储器（DRAM13)中，使基于该存储的帧 图像数据的图像依次显示于图像显示部15上。
[0057] 接着，在步骤S5中，CPU10判断是否执行被拍摄体跟踪0n/0ff键的操作。
[0058] 在步骤S5,若判断为执行被拍摄体跟踪键的操作，则进入步骤S6, CPU10判断当前 的被拍摄体跟踪模式是否为On。
[0059] 在步骤S6,若判断为当前的被拍摄体跟踪模式不是On、即是Off，则进入步骤S7， CPU10将被拍摄体跟踪模式从Off切换为0n，进入步骤S9。
[0060] 另一方面，在步骤S6,若判断为当前的被拍摄体跟踪模式是0n，则进入步骤S8， CPU10将被拍摄体跟踪模式从On切换为Off，进入步骤S9。
[0061] 另外，在步骤S5,若判断为不执行被拍摄体跟踪0η/0--键的操作，则直接进入步 骤S9。
[0062] 若进入步骤S9,则CPU10判断是否由用户半按压快门按钮。该判断通过是否从键 输入部11发送了与快门按钮的半按压操作对应的操作信号来判断。
[0063] 此时，用户由于在将想摄影的被拍摄体（主被拍摄体）收入视场角内并确定构图 之后指示摄影的准备，所以半按压操作快门按钮。
[0064] 在步骤S9,若判断为未半按压快门按钮，则返回步骤S5,若判断为半按压快门按 钮，则进入步骤S10, CPU10的脸辨别部102执行对应于步骤S3设定的脸检测模式种类的脸 检测处理。该脸检测处理在后面详细说明。由该脸检测处理检测设定的脸检测模式的种类 的脸。例如，在设定人用的脸检测模式的情况下，利用脸检测处理检测人脸，在设定马用的 脸检测模式的情况下，利用脸检测处理检测马脸。
[0065] 若执行脸检测处理，则进入步骤Sll，CPU10判断当前的被拍摄体跟踪模式是否为 0n〇
[0066] 在步骤SI 1，若判断为被拍摄体跟踪模式不是On、即是Off，则进入步骤S12, CPU10 判断是否能利用步骤S10的脸检测处理来检测脸。
[0067] 在步骤S12,若判断为能检测脸，则进入步骤S13，CPU10对该检测到的脸执行基于 对比度检测方式的AF处理，进入步骤S15。所谓该基于对比度检测方式的AF处理由于是公 知技术，所以不详细说明，但指通过使聚焦透镜聚焦于成为聚焦对象的区域的图像数据的 高频分量最大的透镜位置，来聚焦构成该聚焦对象的区域的图像。
[0068] 另一方面，在步骤S12,若判断为不能检测脸，则进入步骤S14, CPU10对规定的区 域（例如视场角的中央区域）执行基于对比度检测方式的AF处理，进入步骤S15。
[0069] 在步骤S13、步骤S14中，执行基于对比度检测方式的AF处理，但也可利用其它方 式（例如相位差方式）来执行AF处理。总之能对想聚焦的区域执行AF处理即可。
[0070] 若进入步骤S15,则CPU10判断是否全按压快门按钮。该判断通过是否从键输入部 11发送了与快门按钮的全按压操作对应的操作信号来判断。
[0071] 在步骤S15,若判断为未全按压快门按钮，则停留在步骤S15,直到全按压快门按 钮为止，若判断为全按压快门按钮，则进入步骤S16, CPU10执行静止图像摄影处理，并且执 行压缩利用该摄影处理得到的静止图像数据并记录在闪存14中的处理。
[0072] 另一方面，在步骤S11，若判断为被拍摄体跟踪模式为On，则进入图4的步骤S21， CPU10判断是否可利用步骤S10的脸检测处理来检测脸。
[0073] 在步骤S21，若判断为可检测脸，则进入步骤S22，CPU10的脸辨别部102通过二维 地检测该被检测的脸，开始对该检测到的脸跟踪的跟踪处理，进入步骤S23。这里，所谓二维 地检测脸是指仅使用二维数据来检测脸，该步骤S22中的二维地检测脸的处理是登记从利 用上述步骤S10的脸检测处理检测到的脸区域的二维图像中抽取的特征数据，使用块匹配 法等检测具有该登记的特征数据的脸。该块匹配法是公知技术，所以不详细说明，但是指使 用2个图像数据、检测与一个图像数据所在区域的图像数据相关度最高的另一图像数据的 区域的方法。
[0074] 另一方面，在步骤S21，若判断为不能检测脸，则直接进入步骤S23。
[0075] 若进入步骤S23,则CPU10判断是否全按压快门按钮。
[0076] 在步骤S23,若判断为未全按压快门按钮，则进入步骤S24，CPU10判断是否看漏该 追加的脸。即，判断是否能利用步骤S22的二维检测脸的处理来检测脸。在步骤S21中判 断为不能检测脸的情况下，即判断为图3的步骤S10的脸检测处理根本无法检测构成跟踪 源的脸的情况下，也判断为看漏脸。
[0077] 在步骤S24,若判断为未看漏脸，则返回步骤S23,在步骤S24,若判断为看漏脸，则 返回图3的步骤S10。由此，在看漏脸的情况下，再次执行对应于步骤S3设定的脸检测模式 种类的脸检测处理。
[0078] 另一方面，在步骤S23,若判断为全按压快门按钮，则进入步骤S25, CPU10对该跟 踪的脸执行基于对比度检测方式的AF处理。即，对在全按压快门按钮之前二维检测到的脸 执行AF处理。
[0079] 接着，在步骤S26, CPU10执行静止图像摄影处理，并且执行压缩利用该摄影处理 得到的静止图像数据并记录在闪存14中的处理。
[0080] C.对应于设定的脸检测模式种类的脸检测处理
[0081] 下面，根据图5的流程图来说明对应于设定的脸检测模式种类的脸检测处理的动 作。
[0082] 若进入图3的步骤S10,则进入图5的步骤S31，CPU10的脸辨别部102判断当前 是否设定了人用的脸检测模式。
[0083] 在步骤S31，若判断为设定人用的脸检测模式，则进入步骤S32，CPU10的脸辨别部 102利用二维的脸检测处理检测人脸。
[0084] 这里的2维脸检测处理通过根据最近摄像到的帧图像数据计算全部被拍摄体的 特征数据（二维的特征数据），比较对照该计算的被拍摄体的特征数据与图2所示的脸数据 表格中设定的人的二维脸数据，检测人脸在哪儿。
[0085] 另外，所谓'全部被拍摄体'是指由CCD5摄像的全部被拍摄体。例如，在摄像作为 立在建筑物前的主被拍摄体的人时，全部被拍摄体指建筑物与人。即，根据图像数据的全部 区域计算被拍摄体的特征数据。
[0086] 所谓全被拍摄体的特征数据是指例如摄影的全部被拍摄体是建筑物与立在其前 的人的情况下，抽取多个建筑物和人的特征点，对该抽取的特征点的坐标位置或相对位置 关系等进行数值化后的数据。利用该特征点的抽取，还可从眼、鼻、口、脸的轮廓等抽取多个 脸的特征点。即，全部被拍摄体的特征数据是不仅根据脸、还根据摄像的全部被拍摄体的特 征点数值化后的数据。
[0087] 另外，该比较对照判断生成的全部被拍摄体的特征数据中是否存在与脸数据一致 的部分。因此，该比较对照通过比较对照（搜索）生成的全部被拍摄体的特征数据的各部 与脸数据，得到与各部的一致性。
[0088] 在步骤S33, CPU10的脸辨别部102判断图像内是否存在人脸。即，判断是否能利 用二维的脸检测处理检测人脸。即，判断计算的全部被拍摄体的特征数据中是否存在在规 定值以上（规定范围内）与脸数据一致的部分。
[0089] 在步骤S33,若判断为有人脸，则进入步骤S38，CPU10的脸辨别部102判断为可检 测脸。
[0090] 另一方面，在步骤S33,若判断为无人脸，则进入步骤S34, CPU10的脸辨别部102判 断是否有像脸的部分。所谓该像脸的部分是通过比较对照步骤S32的全部被拍摄体的特征 数据与人的二维脸数据，虽然有口与鼻，但未检测到单眼或双眼（侧脸的情况、带墨镜的情 况），或虽然有眼但未检测到鼻与口的情况（带口罩的情况）。即，是基于脸数据的脸的构 成部分其一部分未被检测到的情况。
[0091] 在步骤S34,若判断为有像脸的部分，则进入步骤S35，CPU10的脸辨别部102执行 根据存在该检测到的像脸的区域来利用三维脸检测处理检测人脸的处理，进入步骤S37。该 三维脸检测处理如后所述。由此，可减轻基于三维脸检测处理的处理负担。
[0092] 另一方面，在步骤S31，在判断为未设定人用的脸检测模式的情况下，或在步骤 S34,判断为无像脸的部分的情况下，进入步骤S36, CPU10的脸辨别部102执行根据帧图像 数据的全部区域、利用三维脸检测处理来检测当前设定的脸检测模式种类的脸的处理，进 入步骤S37。该三维脸检测处理如后所述。这里，在通过步骤S34中判断为无像脸的部分而 进入步骤S36的情况下，在步骤S36,执行根据帧图像数据的全部区域、利用三维脸检测处 理来检测人脸的处理。
[0093] 若进入步骤S37,则CPU10的辨别部102判断图像内是否存在人脸。S卩，判断能否 利用三维的脸检测处理来检测脸。
[0094] 在步骤S37,若判断为图像内有脸，则进入步骤S38,脸辨别部102判断为能检测 脸，在步骤S37,若判断为无脸，则进入步骤S39, CPU10的脸辨别部102判断为不能检测脸。
[0095] 在该步骤S38,若判断为能检测脸，则判断为图3的步骤S12、图4的步骤S21能检 测脸，若在步骤S39判断为不能检测脸，则判断为图3的步骤S12、图4的步骤S21不能检测 脸。
[0096] D.三维的脸检测处理
[0097] 下面，说明三维的脸检测处理的动作。二维的脸检测处理二维地检测脸，即通过比 较对照基于摄像到的帧图像数据的二维被拍摄体的特征数据与二维脸数据，检测位于该帧 图像数据内的脸，但三维脸检测处理是指使用三维的数据来检测脸。
[0098] 这里，介绍两个使用三维数据来检测脸的动作，但不限于此，只要使用三维数据来 检测被拍摄体的脸即可。
[0099] D-1.第1个三维的脸检测处理
[0100] 首先，根据图6的流程图来说明三维脸检测处理的动作。
[0101] 在图5的步骤S35和步骤S36,在通过执行三维脸检测处理来检测脸的情况下，进 入图6的步骤S51，CPU10的脸辨别部102执行督促以不同的摄影角度来摄影主被拍摄体的 显示。例如，执行'请从不同的角度来摄影想摄影的被拍摄体'等显示。因此，用户改变摄 影角度后摄像主被拍摄体。此时，用户最好不改变构成主被拍摄体的脸在图像内的位置地 改变摄影角度。
[0102] 接着，在步骤S52, CPU10的脸辨别部102判断是否从督促以不同的摄影角度摄影 主被拍摄体的显示起经过规定时间（例如1秒）。此时，CPU10将直通图显示用摄像的多个 帧图像数据保持在缓冲存储器中。
[0103] 在步骤S52,若判断为未经过规定时间，则滞留在步骤S52,直到经过规定时间为 止，若判断为经过规定时间，则进入步骤S53, CPU10的脸辨别部102根据摄像的多个帧图像 数据，分别计算被拍摄体的特征数据。
[0104] 此时，在图5的步骤S36的三维脸检测处理的情况下，根据摄像的帧图像数据的全 部区域，计算被拍摄体的特征数据（全部被拍摄体的特征数据）。
[0105] 另外，在图5的步骤S35的三维脸检测处理的情况下，根据摄像的各帧图像数据 中、判断为有像脸的区域的图像数据，计算被拍摄体的特征数据（像脸被拍摄体的特征数 据）。
[0106] 这里，所谓根据帧图像数据计算的全部被拍摄体的特征数据是指例如在被摄影的 全部被拍摄体为建筑物与立于其前的人的情况下，抽取多个建筑物和人的特征点，对该抽 取的特征点的坐标位置或相对位置关系等进行数值化后的数据。利用该特征点的抽取，还 从眼、鼻、口、脸的轮廓等抽取多个脸的特征点。即，全部被拍摄体的特征数据是不仅根据 脸、还根据摄像的全部被拍摄体的特征点来数值化后的数据。
[0107] 另外，所谓像脸的部分被拍摄体的特征数据是根据判断为有像脸的部分的区域内 摄像的全部被拍摄体的特征数据来数值化后的数据。
[0108] 这里，设判断为有像脸的区域的位置、大小针对摄像的全部帧图像数据相同，但也 可通过在经过规定时间之前对各帧图像数据继续执行二维脸检测处理，对每个帧图像数据 检测像脸区域，对每个帧图像数据，根据该检测到的区域的图像数据，计算被拍摄体的特征 数据（像脸被拍摄体的特征数据）。此时，在利用该二维脸检测处理检测到脸的情况下，由 于已不必执行三维脸检测处理，所以进入图5的步骤S38。
[0109] 若根据各帧图像数据计算被拍摄体的特征数据，则进入步骤S54, CPU10的脸辨别 部102根据该计算的各帧图像数据的被拍摄体的特征数据，生成被拍摄体的三维模型。 [0110] 该三维模型的生成由于是已知技术，所以不详细说明，但根据某个图像的特征点 与对应于该特征点的其它图像的特征点，利用三角测量运算来生成被拍摄体的三维模型 (模块化处理）。
[0111] 图7是表示用作为表面模型之一的多角形多边形（这里为三角形多边形）表示生 成的被拍摄体（这里仅为猫科动物的脸）的三维模型时的状态图。
[0112] 另外，也可不由表面模型（surface model)、而由线框模型（wireframe model)或 实体模型（solid model)等其它方法来表示。
[0113] 接着，在步骤S55中，CPU10的脸辨别部102比较对照该生成的被拍摄体的三维模 型、与图2所示的脸数据表格中记录的当前设定的脸检测模式的种类的立体脸数据（三维 脸数据）。
[0114] 例如，在图5的步骤S36的情况下，比较对照该生成的被拍摄体的三维模型、与图 2所示的脸数据表格中设定的人的立体脸数据，在图5的步骤S36的情况下，例如设定狗用 的脸检测模式的情况下，比较对照该生成的被拍摄体的三维模型、与图2所示的脸数据表 格中设定的狗的立体脸数据。
[0115] 另外，该比较对照用于判断生成的被拍摄体的三维模型中是否有与立体脸数据一 致的部分。因此，该比较对照通过比较对照（搜索）生成的三维模型的各部与立体脸数据， 得到与各部的一致度。
[0116] 接着，在步骤S56, CPU10的脸辨别部102判断该生成的被拍摄体的三维模型中， 是否有以规定值以上与执行该比较对照的立体脸数据一致的部分。即，判断在规定范围内 是否有与立体脸数据一致的部分。所谓该一致的部分可以是被拍摄体的三维模型中的一部 分，也可以是被拍摄体的三维模型的全部。总之可判断是否有以规定值以上与立体脸数据 一致的部分即可。
[0117] 在步骤S56中，在判断为有以规定值以上一致的部分的情况下，进入步骤S57， CPU10的脸辨别部102将以规定值以上一致的部分判断为脸，将对应于以该规定值以上一 致的部分的、摄像的帧图像数据上的区域为脸区域。即，检测帧图像数据上的脸区域。
[0118] 所谓对应于以该规定值以上一致的部分的帧图像数据上的区域是被拍摄体的三 维模型中、对应于一致的部分（脸部分）的特征数据的帧图像数据上的区域，由于存在多个 对应于该特征数据的帧图像数据（由于根据多个帧图像数据生成被拍摄体模块），所以可 以是对应于以规定值以上一致的部分的、构成生成源的多个帧图像数据中、最近摄像的帧 图像数据上的区域，或是由对应于以规定值以上一致的部分的、构成生成源的全部帧图像 数据上的区域构成的区域。
[0119] 另一方面，在步骤S56中，若判断为没有以规定值以上一致的部分，则进入步骤 S58, CPU10的脸辨别部102判断为摄像的帧图像数据内没有脸。
[0120] 若该步骤S57检测脸区域，则图5的步骤S38判断为可检测脸，图3的步骤S12、图 4的步骤S21判断为可检测脸。另外，若步骤S58判断为没有脸，则图5的步骤S39判断为 不能检测脸，图3的步骤S12、图4的步骤S21判断为不能检测脸。
[0121] 这样，第1个三维脸检测处理根据摄像同一被拍摄体的多个帧图像数据，生成该 被拍摄体的三维模型，通过与立体脸数据比较对照，检测脸，所以可使脸检测的精度提高。
[0122] 例如，即便在被拍摄体的脸为侧脸或带墨镜的情况下也可检测。
[0123] 另外，由于比较对照立体脸数据与生成的三维模型，所以不限于人脸，还可检测狗 或猫等动物的脸等。例如，马等动物的脸当看的角度不同时，脸的形状会极端变化，但通过 设为三维，可高精度地检测脸。
[0124] D-2.第2个三维脸检测处理
[0125] 下面，根据图8的流程图来说明第2个三维脸检测处理动作。
[0126] 在图5的步骤S35和步骤S36中，在通过执行三维脸检测处理检测脸的情况下，进 入图8的步骤S61，CPU10的脸辨别部102将脸的面向设定为正面。
[0127] 接着，在步骤S62中，CPU10的脸辨别部102根据图2的脸数据表格中记录的当前 设定的脸检测模式种类的立体脸数据，生成从当前设定的方向看的脸的平面（二维）图像 数据（渲染处理）。这里，由于设定的方向是正面，所以生成从正面看设定的脸检测模式种 类的脸的脸的平面图像数据。根据该立体的数据生成平面图像数据的技术是公知技术，所 以不详细说明，但通过执行阴面删除或阴线删除等来执行。
[0128] 例如，在设定的脸检测模式是人用的情况下，根据图2中记录的人的立体脸数据， 生成从当前设定的方向看到的平面图像数据，在设定的脸检测模式是猫用的情况下，根据 图2中记录的猫的立体脸数据，生成从当前设定的方向看到的平面图像数据。
[0129] 接着，在步骤S63中，CPU10的脸辨别部102根据该生成的脸的平面图像数据，计 算脸特征数据。由此，计算从当前设定的方向看到的、该设定的脸检测模式种类的脸特征数 据。
[0130] 接着，在步骤S64中，CPU10的脸辨别部102根据最近直通图显示用摄像的帧图像 数据，计算被拍摄体的特征数据。
[0131] 此时，在图5的步骤S36中的三维脸检测处理的情况下，根据摄像的帧图像数据的 全部区域，计算被拍摄体的特征数据（全部被拍摄体的特征数据）。
[0132] 另外，在图5的步骤S35的三维脸检测处理的情况下，根据摄像的帧图像数据中、 判断为有像脸的区域的图像数据，计算被拍摄体的特征数据（像脸被拍摄体的特征数据）。
[0133] 接着，在步骤S65中，CPU10的脸辨别部102比较对照步骤S63中计算的脸特征数 据与步骤S64中计算的被拍摄体的特征数据。该比较对照用于判断生成的被拍摄体的特征 数据中是否有与脸特征数据一致的部分。因此，该比较对照通过比较对照（搜索）生成的 被拍摄体的特征数据的各部与脸特征数据，得到与各部的一致度。
[0134] 在步骤S66中，CPU10的脸辨别部102判断步骤S64计算的被拍摄体的特征数据 中，是否有以规定值以上与步骤S63计算的脸特征数据一致的部分。即，判断在规定范围内 是否有与脸特征数据一致的部分。所谓该一致的部分可以是被拍摄体的特征数据中的一部 分，也可以是被拍摄体的特征数据全部。总之可判断是否有以规定值以上与脸特征数据一 致的部分即可。
[0135] 在步骤S66中，在判断为有以规定值以上一致的部分的情况下，进入步骤S67， CPU10的脸辨别部102将以该规定值以上一致的部分判断为脸，将对应于该部分的、构成被 拍摄体的特征数据生成源的帧图像数据上的区域设为脸区域。即，检测帧图像数据上的脸 区域。
[0136] 另一方面，在步骤S66中，若判断为没有以规定值以上一致的部分，则进入步骤 S68, CPU10的脸辨别部102判断当前设定的方向是否是最后的方向。即，判断是否设定了 预定的全部方向。
[0137] 在步骤S68中，若判断为设定的方向不是最后的方向，则进入步骤S69, CPU10的脸 辨别部102设定为下一方向后，返回到步骤S62。该所谓'下一方向'例如是从当前设定的 方向右向或左向旋转5度后的方向。这里，所谓左、右是以将头的天边设为上、将颚或喉设 为下时为基准的。这里，沿左右方向使方向旋转，但也可沿上下方向旋转，或沿左右方向与 上下方向均旋转。
[0138] 另一方面，在步骤S68中，若判断为设定的方向是最后的方向，则进入步骤S70,脸 辨别部102判断为摄像的帧图像数据内没有脸。
[0139] 若在该步骤S67中检测脸区域，则判断为在图5的步骤S38中可检测脸，图3的步 骤S12、图4的步骤S21判断为可检测脸。另外，若步骤S70判断为没有脸，则图5的步骤 S39判断为不能检测脸，图3的步骤S12、图4的步骤S21判断为不能检测脸。
[0140] 这样，第2个三维脸检测处理根据由摄像被拍摄体的1个帧图像数据计算的被拍 摄体的特征数据、与事先记录的立体脸数据，生成从不同方向看到的被拍摄体的脸的平面 图像数据，通过与根据该生成的平面图像数据计算的被拍摄体的特征数据比较对照，检测 脸，所以可使脸检测的精度提
[0141] 例如，即便在被拍摄体是狗或猫等动物、被拍摄体为侧脸的情况下也可检测。
[0142] 另外，由于不必象第1个三维脸检测处理那样、根据摄像的多个帧图像数据生成 被拍摄体的三维模型，所以可减轻处理负担。
[0143] 另外，最初将脸的方向设定为正面（步骤S61)，之后，改变设定脸的方向，直到检 测脸为止（步骤S69)，但最初设定的脸方向也可不是正面。总之设定成不同方向直到检测 脸为止。
[0144] 如上所述，在第1实施方式中，可对应于由用户设定的脸检测模式的种类，进行不 同的脸检测处理，所以可执行适于被拍摄体的种类或摄影状况的脸检测处理，可使脸识别 的精度提1?。
[0145] 并且，在第1实施方式中，由于对应于由用户设定的脸检测模式的种类，执行二维 脸检测处理或执行三维脸检测处理，所以并非不必执行处理负担大的三维脸检测处理，可 使脸检测的精度提高。例如，由于人脸为平面，所以执行二维脸检测处理，由于狗等动物一 般为立体的脸，所以二维脸检测处理难以检测脸，但通过执行三维脸检测，也可检测动物的 脸。
[0146] 另外，在利用二维脸检测处理未检测到人脸的情况下，执行三维脸检测处理，所以 例如即便人的脸为侧脸或带口罩或墨镜的情况下也可检测人脸。
[0147] 另外，由于用户设定脸检测模式，所以可仅检测想检测的种类的被拍摄体的脸。
[0148] 在被拍摄体跟踪模式为On的情况下，对应于设定的脸检测模式的种类，执行二维 脸检测处理或三维脸检测处理，若检测该脸，则利用二维脸检测处理检测该被检测的脸，若 看漏跟踪的脸，则再次对应于设定的脸检测模式的种类，执行二维脸检测处理或三维脸检 测处理，所以可在减轻跟踪处理的负担的同时，提高跟踪处理的精度。
[0149] [第2实施方式]
[0150] 下面，说明第2实施方式。
[0151] 在第1实施方式中，设定成由用户选择的脸检测模式的种类，但在第2实施方式 中，自动地设定脸检测模式的种类。
[0152] E.数码相机1的动作
[0153] 第2实施方式也通过使用具有与图1的一样构成的数码相机1来实现本发明的摄 像装置。
[0154] 下面，根据图9和图10的流程图来说明第2实施方式的数码相机1的动作。
[0155] 若利用用户的模式切换键的操作，设定为脸检测静止图像摄影模式，则在步骤 S101中，CPU10的脸检测模式设定部101设定为人用的脸检测模式。
[0156] 接着，在步骤S102中，CPU10开始(XD5执行的摄像，使直通图显示开始。
[0157] 接着，在步骤S103中，CPU10判断是否执行被拍摄体跟踪0n/0ff键的操作。
[0158] 在步骤S103中，若判断为执行被拍摄体跟踪键的操作，则进入步骤S104, CPU10判 断当前的被拍摄体跟踪模式是否为On。
[0159] 在步骤S104中，若判断为当前的被拍摄体跟踪模式不是On，即是Off，则进入步骤 5105, CPU10将被拍摄体跟踪模式从Off切换为0n，进入步骤S107。
[0160] 另一方面，在步骤S104中，若判断为当前的被拍摄体跟踪模式是0n，则进入步骤 5106, CPU10将被拍摄体跟踪模式从On切换为Off，进入步骤S107。
[0161] 在步骤S103中，若判断为不执行被拍摄体跟踪0n/0ff键的操作，则直接进入步骤 5107,
[0162] 若进入步骤S107,则CPU10判断是否由用户半按压快门按钮。
[0163] 在步骤S107中，若判断为半按压快门按钮，则返回到步骤S103。
[0164] 另一方面，在步骤S107中，若判断为半按压快门按钮，则进入步骤S108, CPU10的 脸识别部102执行对应于当前设定的脸检测模式种类的脸检测处理。
[0165] 该步骤S108的动作执行与上述第1实施方式中说明的图3的步骤S10的动作、即 图5所示的动作一样的动作。变为利用该脸检测处理来检测设定的脸检测模式的种类的 脸。这里，由于在步骤S101中设定人用的脸检测模式，所以利用脸检测处理检测人脸。
[0166] 若执行脸检测处理，则进入步骤S109, CPU10判断是否能利用步骤S108的脸检测 处理检测脸。
[0167] 在步骤S109中，若判断为不能检测脸，则进入步骤S110, CPU10判断是否存在还未 由脸检测模式设定部101设定的脸检测模式。
[0168] 在步骤S110中，若判断为存在未设定的脸检测模式，则进入步骤Sill，CPU10的脸 检测模式设定部101设定成还未设定的种类的脸检测模式，返回到步骤S108。
[0169] 这里，由于已仅设定人用的脸检测模式，所以设定动物用的脸检测模式（狗用的 脸检测模式、猫用的脸检测模式等中任一动物用的脸检测模式）。
[0170] 另一方面，在步骤S109中，若判断为可检测脸，则进入步骤S112, CPU10判断当前 的被拍摄体跟踪模式是否为On。
[0171] 在步骤S112中，若判断为被拍摄体跟踪模式不是0n，即是Off，则进入步骤S113， CPU10对该检测到的脸执行基于对比度检测方式的AF处理，进入步骤S115。
[0172] 另一方面，在步骤S110中，若判断为没有未设定的脸检测模式，则进入步骤S114， CPU10对规定区域执行基于对比度检测方式的AF处理，进入步骤S115。
[0173] 若进入步骤S115,则CPU10判断是否由用户全按压快门按钮。
[0174] 在步骤S115中，若判断为未全按压快门按钮，则滞留在步骤S115中，直到全按压 为止，若判断为全按压快门按钮，则进入步骤S116, CPU10执行静止图像摄影处理，执行压 缩利用该摄影处理得到的静止图像数据后记录在闪存14中的处理。
[0175] 另外，在步骤S112中，若判断为被拍摄体跟踪模式是0η，则进入图10的步骤 S121，CPU10的脸辨别部102通过二维检测该检测到的脸，开始对该检测到的脸跟踪的跟踪 处理。这里，所谓二维检测脸是指仅使用二维数据检测脸，该步骤S121中的二维检测脸的 处理使用块匹配法等来检测该检测到的脸。
[0176] 接着，在步骤S122中，CPU10判断是否由用户全按压快门按钮。
[0177] 在步骤S122中，若判断为未全按压快门按钮，则进入步骤S123, CPU10判断是否看 漏该跟踪的脸。即，判断是否能由步骤S121的二维检测脸的处理来检测脸。
[0178] 在步骤S123中，若判断为未看漏脸，则返回到步骤S122,在步骤S123中，若判断为 看漏脸，则返回到图9的步骤S108。由此，在看漏脸的情况下，再次执行对应于当前设定的 脸检测模式的种类的脸检测处理。
[0179] 另一方面，在步骤S122中，若判断为全按压快门按钮，则进入步骤S124, CPU10对 该跟踪的脸执行基于对比度检测方式的AF处理。即，对全按压快门按钮之前二维地检测的 脸执行AF处理。
[0180] 接着，在步骤S125中，CPU10执行静止图像摄影处理，执行压缩利用该摄影处理得 到的静止图像数据后记录在闪存14中的处理。
[0181] 如上所述，在第2实施方式中，由于自动地设定脸检测模式，所以节省用户的手 续。另外，即便在想摄影的被拍摄体的种类具体地不清楚的情况下（例如不知是猫还是狐 的情况下），也可检测该被拍摄体的脸，提高脸检测的精度。
[0182] 另外，对应于设定的脸检测模式的种类，进行二维的脸检测处理或进行三维脸检 测处理，所以并非不必进行处理负担大的三维脸检测处理，另外，可提高脸检测的精度。例 如，由于人脸为平面，所以执行二维脸检测处理，由于狗等动物一般为立体的脸，所以二维 脸检测处理难以检测脸，但通过执行三维脸检测，也可检测动物的脸。
[0183] 另外，在利用二维脸检测处理未检测到人脸的情况下，执行三维脸检测处理，所以 例如即便人的脸为侧脸或带口罩或墨镜等的情况下也可检测人脸。
[0184] 另外，在被拍摄体跟踪模式为On的情况下，根据设定的检测模式的种类，执行二 维脸检测处理或三维脸检测处理，若检测到该脸，则利用二维脸检测处理检测该被检测的 脸，若看漏跟踪的脸，则再次根据设定的检测模式的种类，执行二维脸检测处理或三维脸检 测处理，所以可在减轻跟踪处理的负担的同时，提高跟踪处理的精度。
[0185] 若设定为脸检测静止图像摄影模式，则最初设定人用的脸检测模式（步骤S101)， 也可设定成其它种类（动物种类）的脸检测模式。
[0186] 另外，在最初用户设定任意种类的脸检测模式，未检测到该设定的脸检测模式的 种类的脸的情况下，也可设定为不是自动地设定的种类的脸检测模式。
[0187] [第3实施方式]
[0188] 下面，说明第3实施方式。
[0189] 在上述第1、2实施方式中，单纯检测脸，但在第3实施方式中，还将脸检测适用于 摄影的脸是谁或何脸具体地识别的脸识别的情况。
[0190] 在脸检测处理中，有时例如即便是人脸也不能识别具体是谁的脸，另外，即便是动 物、例如猫的脸，波斯猫、花猫等猫的种类多样，另外，即便是同一种类的猫，每个猫的脸也 微妙不同。因此，在脸检测中，为了仅检测自己的朋友或孩子、自己饲养的宠物，（例如为了 想设为聚焦对象），会检测至其它人或动物的脸。
[0191] 该脸识别对事先记录的人物的脸、动物的脸是否位于摄像的帧图像数据中进行识 别。
[0192] 该人物或动物的脸在登记模式等下，用户可登记任意人物、任意种类动物的脸。在 登记立体脸数据（三维脸数据）的情况下，从不同角度摄影多个想登记的脸，根据该摄影的 多个帧图像数据，生成三维模型并登记。另外，在登记二维脸数据的情况下，摄影想登记的 脸，根据该摄影的帧图像数据，计算该脸的特征数据（脸特征数据）并登记。
[0193] 这里，登记的立体脸数据或二维脸数据必需是谁等可具体地识别的程度的信息 量，而非可大致识别是人或狗、猫等种类脸的程度的信息量。利用该登记，对被拍摄体的每 个种类制作图2的脸识别用的脸数据表格。这里，也与图2 -样，人的脸数据登记二维与三 维两种数据，动物的脸数据仅登记三维数据。在脸识别用脸数据表格中，可按被拍摄体的每 个种类登记多个脸数据。例如，可记录多人的二维脸数据、立体脸数据，也可记录多只猫的 立体脸数据。
[0194] 将该脸检测处理的动作适用于脸识别处理的情况的动作与上述各实施方式中说 明的动作大致相同，仅说明不同点。
[0195] 首先，这里，具备脸识别模式，代替脸检测模式，该脸识别模式也与脸检测模式一 样，按被拍摄体的每个种类存在。例如，是人用的脸识别模式、狗用的脸识别模式、猫用的脸 识别模式等情况。
[0196] F.脸识别静止图像摄影模式的动作
[0197] F-1.将图3和图4所示的脸检测静止图像摄影模式的动作适用于脸识别静止图像 摄影模式时的动作
[0198] 此时的脸识别静止图像摄影模式的动作引用图3和图4,仅说明不同部分。
[0199] 首先，图3的步骤S1使多种脸识别模式一览显示，在步骤S2中，若判断为选择了 脸识别模式，则在步骤S3中，设定为该选择的脸识别模式。另外，步骤S10执行对应于设 定的脸识别模式的脸识别处理，步骤S12判断是否可识别脸，若判断为可识别脸，则在步骤 S13中，对该识别的脸执行AF处理，若判断为不能识别脸，则在步骤S14中对规定的区域执 行AF处理。对应于该设定的脸识别模式的脸识别处理在后面说明。
[0200] 在还可利用脸识别处理检测脸的情况下，在步骤S12中，在判断为不能识别脸的 情况、即判断为检测到脸的情况下，对该检测到的脸执行AF处理，在判断为也不能检测脸 的情况下，进入步骤S14,对规定的区域执行AF处理。基于该脸识别处理的脸检测在后面说 明。
[0201] 另外，在步骤S21中，判断是否可识别脸，在不能识别脸的情况下，进入步骤S23， 在能识别脸的情况下，进入步骤S22,对该识别的脸开始跟踪处理，进入步骤S23。该跟踪处 理如上述第1实施方式中说明的那样，通过二维检测该识别的脸，对该检测到的脸执行跟 足示。
[0202] F-2.将图9和图10所示的脸检测静止图像摄影模式的动作适用于脸识别静止图 像摄影模式时的动作
[0203] 此时的脸识别静止图像摄影模式的动作引用图9和图10,仅说明不同部分。
[0204] 图9的步骤S101设定为人用的脸识别模式。另外，步骤S108执行对应于设定的 脸识别模式的脸识别处理，步骤S109判断是否可识别脸。在步骤S109中，若判断为不能识 别脸，则在步骤S110中，判断是否存在未设定的脸识别模式。在步骤S110中，若判断为存 在未设定的脸识别模式，则在步骤S111中，设定为未设定的种类的脸识别模式，返回到步 骤S108。另外，在步骤S109中，判断为可识别脸，在步骤S112中，判断为被拍摄体跟踪模式 不是On时，在步骤S113中，对该脸识别的脸执行AF处理，另一方面，在步骤S110中，若判 断为没有未设定的脸识别模式，则在步骤S114中对规定区域执行AF处理。对应于该设定 的脸识别模式的脸识别处理在后面说明。
[0205] 在还可利用脸识别处理检测脸的情况下，也可在步骤S110中，在判断为没有未设 定的脸识别模式的情况下，判断是否检测脸，在检测脸的情况下，对该检测到的脸执行AF 处理，在判断为也不能检测脸的情况下，进入步骤S114,对规定的区域执行AF处理。基于该 脸识别处理的脸检测在后面说明。
[0206] 另外，在步骤S112中判断为被拍摄体跟踪是On，进入图10的步骤S121时，则对该 识别的脸开始跟踪处理。该跟踪处理如上述第1实施方式中说明的那样，通过二维检测该 识别的脸，对该检测的脸进行跟踪。
[0207] G.对应于设定的脸识别模式的脸识别处理的动作
[0208] G-1.将对应于图5所示的设定的脸检测模式的脸检测处理的动作适用于设定的 脸识别模式的脸识别处理时的动作
[0209] 此时的脸识别处理的动作引用图5,仅说明不同部分。
[0210] 首先，图5的步骤S31判断是否设定人用的脸识别模式，若判断为设定人用的脸识 别模式，则进入步骤S32,利用二维脸识别处理检测人脸。该二维脸识别处理根据摄像的帧 图像数据计算二维全部被拍摄体的特征数据，比较对照该计算的被拍摄体的特征数据与脸 识别用的脸数据表格中登记的人的二维脸数据，由此脸识别摄像的帧图像数据内是否有登 记的人物的脸。
[0211] 在步骤S33中，判断是否利用二维脸识别处理识别登记的人物的脸。若在步骤S33 中判断为可识别脸，则进入步骤S38,判断为可识别脸。另一方面，在步骤S33中判断为不能 识别脸的情况下，在步骤S31中判断为未设定人用的脸识别模式的情况下，进入步骤S36， 执行根据全部区域利用三维脸识别处理来脸识别当前设定的脸识别模式种类的脸的处理， 进入步骤S37。
[0212] 之后，在步骤S37中利用三维脸识别处理来判断是否有登记的脸，即能否利用三 维脸识别来进行脸识别。若步骤S37中判断为有登记的脸，则在步骤S38中判断为可进行 脸识别，若在步骤S37中判断为没有登记的脸，则在步骤S39中判断为不能进行脸识别。
[0213] 若在该步骤S38中判断为能进行脸识别，则在图3的步骤S12、图4的步骤S21、图 9的步骤S109中判断为可进行脸识别，若在步骤S39中判断为不能进行脸识别，则在步骤 S12、步骤S21、步骤S109中判断为不能进行脸识别。
[0214] 此时，不必执行图5的步骤S34、步骤S35。
[0215] G-2.对应于由其它方法设定的脸识别模式的脸识别处理的动作
[0216] 根据图11的流程图来说明此时的脸识别处理的动作。此时，除脸识别用的脸数据 表格外，将脸检测用的人的二维脸数据记录在存储器12上。
[0217] 若进入图3的步骤S10、图9的步骤S108,则进入图11的步骤S151，CPU10的脸辨 别部102判断当前是否设定人用的脸识别模式。
[0218] 在步骤S151中，若判断为设定人用的脸识别模式，则进入步骤S152，CPU10的脸辨 别部102根据摄像的帧图像数据的全部区域，利用二维脸检测处理检测人脸。
[0219] 这里的二维脸检测处理根据摄像的帧图像数据，计算被拍摄体的二维特征数据 (全部被拍摄体的二维特征数据），比较对照该计算的被拍摄体的特征数据与记录在存储 器12中的脸检测用的人的二维脸数据，由此检测位于图像内的人脸。这里，由于记录的脸 检测用的脸特征数据只要能检测是人脸即足以，所以不必可具体地识别是谁的脸的程度的 信息量。另外，计算的全部被拍摄体的特征数据也一样只要是检测人脸所需的信息量即可。
[0220] 在步骤S153中，CPU10的脸辨别部102判断图像内是否有人脸。即，判断是否能 利用二维脸检测处理来检测人脸。即，判断计算的全部被拍摄体的特征数据中是否存在以 规定值以上（在规定范围内）与脸数据一致的部分。
[0221] 在步骤S153中，若判断为有人脸，则进入步骤S155，CPU10的脸辨别部102根据该 检测到的脸区域，进行二维的脸识别处理。即，根据摄像的帧图像数据中、该检测到的脸区 域的图像数据，计算被拍摄体的二维特征数据（脸特征数据），比较对照该计算的脸特征数 据与脸识别用的脸数据表格中登记的人的二维脸数据，由此脸识别是否是该登记的人物。 该登记的人物的脸数据当然不是大致可识别是人脸的程度的信息量，而是可具体识别是谁 的脸的程度的信息量，计算的被拍摄体的特征数据（脸特征数据）也是可具体识别是谁的 脸的程度的信息量。
[0222] 由于根据该检测到的脸区域来进行二维的脸识别处理，所以可在减轻处理负担的 同时，提商脸识别的精度。
[0223] 接着，在步骤S155中，CPU10的脸辨别部102判断是否存在登记的脸。即，判断是 否可利用二维脸识别处理来识别登记的人物的脸。
[0224] 在步骤S155中，若判断为存在登记的脸，则进入步骤S161，CPU10的脸辨别部102 判断为可识别脸。
[0225] 另一方面，在步骤S155中，若判断为没有登记的脸，则进入步骤S156,脸辨别部 102进行根据该检测到的脸区域、利用三维脸识别处理来识别人脸的处理，进入步骤S160。 该三维脸识别处理在后面说明。
[0226] 由于根据该检测到的脸区域来进行三维的脸识别处理，所以可在减轻处理负担的 同时，提商脸识别的精度。
[0227] 另一方面，在步骤S153中，若判断为没有人脸，则进入步骤S157,判断是否存在像 脸的部分。所谓该像脸的部分如上述第1实施方式中说明的那样，是通过步骤S152的基 于二维脸检测处理的全部被拍摄体的特征数据与人的二维脸数据的比较对照，虽然有口与 鼻，但未检测到单眼或双眼（人的脸为侧脸的情况、带墨镜的情况），或虽然有眼但未检测 到鼻与口的情况（带口罩的情况）。即，是基于脸数据的脸的构成部分其一部分未被检测到 的情况。
[0228] 在步骤S157,若判断为有像脸的部分，则进入步骤S158, CPU10的脸辨别部102 执行根据存在该检测到的像脸的区域来利用三维脸识别处理识别人脸的处理，进入步骤 S160。由于根据像脸区域来进行三维的脸识别处理，所以可减轻处理负担，可提高脸识别的 精度。该三维脸识别处理如后所述。
[0229] 另一方面，在步骤S157,在判断为没有像脸的部分的情况下，在步骤S151判断为 未设定人用的脸识别模式的情况下，进入步骤S159,进行根据帧图像数据的全部区域来利 用三维脸识别处理识别当前设定的脸识别模式的种类的脸的处理，进入步骤S160。该三维 脸识别处理在后面说明。
[0230] 若进入步骤S160,则CPU10的脸辨别部102判断是否有登记的脸。即，判断是否可 利用三维脸识别处理来识别登记的人物的脸。
[0231] 在步骤S160,若判断为有登记的脸，则在步骤S161，判断为可识别脸，在步骤 S160,若判断为无登记的脸，则在步骤S162,判断为不能识别脸。
[0232] 若在该步骤S161判断为可脸识别，则在图3的步骤S12、图4的步骤S21、图9的 步骤S109判断为可脸识别，若步骤S162判断为不能脸识别，则在步骤S12、步骤S21、步骤 S109判断为不能脸识别。
[0233] 在图11中，在设定人用的脸识别模式的情况下，执行二维脸检测处理与二维脸识 别处理双方，但在可利用脸识别处理检测人脸的情况下，也可不执行二维脸检测处理，而仅 进行二维的脸识别处理。此时，若步骤S151中判断为设定人用的脸识别模式，则进入步骤 S154,根据全部区域，进行二维的脸识别处理，进入步骤S155。在步骤S155中，若判断为 无登记的脸，则判断是否能检测脸。若判断为可利用二维脸识别处理检测脸，则进入步骤 S156,若判断为不能检测脸，则进入步骤S157。此时，不必步骤S152、步骤S153的动作。
[0234] 基于该二维脸识别处理的脸检测在识别为登记的脸位于帧图像数据内的情况下， 当然也检测脸，另外，例如即便在判断为登记的脸不在帧图像数据内的情况下，也可利用全 部被拍摄体的二维特征数据与登记的人的二维脸数据的比较对照结果，检测不是登记的人 物的脸，但是人脸。例如，在存在以第1规定值以上与人的二维脸数据一致的部分的情况 下，识别为是对应于该脸数据的人物的脸，在以第1规定值以上不一致、但以第2规定值 (比第1规定值小的值）以上一致的情况下，检测为是人脸。
[0235] 基于三维脸识别处理的脸检测在后面说明。
[0236] H.三维脸识别处理的动作
[0237] H-1.将图6所示的三维脸检测处理的动作适用于三维脸识别处理时的动作
[0238] 此时的三维脸识别处理的动作引用图6,仅说明不同部分。
[0239] 首先，在步骤S53中，根据摄像的多个帧图像数据，分别计算被拍摄体的特征数 据。此时计算的被拍摄体的特征数据不是大致可识别是人或狗、猫等种类的脸的程度的信 息量，而具有可具体识别是谁等的程度的信息量。
[0240] 此时，将图5适用于脸识别处理时的图5的步骤S36、图11的步骤S159中的三维 脸识别处理的情况下，根据摄像的帧图像数据的全部区域，计算被拍摄体的二维特征数据 (全部被拍摄体的特征数据）。
[0241] 另外，在图11的步骤S156的三维脸识别处理的情况下，根据摄像的各帧图像数据 的检测到的脸区域的图像数据，计算被拍摄体的二维特征数据（二维脸特征数据）。这里， 所谓脸特征数据是根据在检测到的脸区域内摄像的全部被拍摄体的特征数据数值化后的 数据。
[0242] 另外，在图11的步骤S158的三维脸识别处理的情况下，根据摄像的各帧图像数据 的判断为有像脸的区域的图像数据，计算被拍摄体的二维特征数据（像脸被拍摄体的二维 特征数据）。
[0243] 另外，在步骤S55中，比较对照步骤S54中根据各帧图像数据的被拍摄体特征数据 生成的被拍摄体的三维模型、与登记在脸识别用的脸数据表格中的、当前设定的脸识别模 式的种类的立体脸数据。
[0244] 在步骤S56中，判断是否存在以规定值以上一致的部分，在存在以规定值以上一 致的部分的情况下，在步骤S57中，判断为在以该规定值以上一致的部分中有登记的脸，并 检测脸区域。另一方面，在步骤S56中，若判断为没有以规定值以上一致的部分，则进入步 骤S58,判断为没有登记的脸。
[0245] 若在该步骤S57中检测脸区域，则在图5的步骤S38、图11的步骤S161中判断为 可识别脸，在图3的步骤S12、图4的步骤S21、图9的步骤S109中判断为可识别脸。另外， 若在步骤S58中判断为没有脸，则在图5的步骤S39、图11的步骤S162中判断为不能识别 脸，在图3的步骤S12、图4的步骤S21、图9的步骤S109中判断为不能识别脸。
[0246] 该三维脸识别处理也可检测脸。该三维脸识别处理在识别为登记的脸位于帧图像 数据内的情况下，当然也检测脸，另外，例如即便在判断为登记的脸不在帧图像数据内的情 况下，也可利用被拍摄体的三维模型与登记的立体脸数据的比较对照结果，检测出不是登 记的人物的脸而是人脸的情况。例如，在存在以第1规定值以上与立体脸数据一致的部分 的情况下，识别为是对应于该立体脸数据的脸，在以第1规定值以上不一致、但以第2规定 值（比第1规定值小的值）以上一致的情况下，单纯检测为是脸。
[0247] H-2.将图8所示的三维脸检测处理的动作适用于三维脸识别处理时的动作
[0248] 此时的三维脸识别处理的动作引用图8,仅说明不同部分。
[0249] 在步骤S62中，根据脸识别用脸数据表格中设定的被拍摄体的每个种类的立体脸 数据中、当前设定的脸识别模式的种类的立体脸数据，生成从当前设定的方向看到的脸的 平面图像数据。接着，在步骤S63中，根据该生成的脸的平面图像数据，计算二维脸特征数 据。此时，计算的脸特征数据不是大致可识别是人或狗、猫等种类脸的程度的信息量，而是 可具体识别是谁等的程度的信息量。
[0250] 接着，在步骤S64中，根据最近摄像的帧图像数据，计算被拍摄体的二维特征数 据。此时，计算的被拍摄体的特征数据不是大致可识别是人或狗、猫等种类脸的程度的信息 量，而是可具体识别是谁等的程度的信息量。
[0251] 另外，这里在将图5适用于脸识别处理时的图5的步骤S36、图11的步骤S159的 三维脸识别处理的情况下，根据摄像的帧图像数据的全部区域，计算被拍摄体的二维特征 数据（全部被拍摄体的特征数据）。
[0252] 另外，在图11的步骤S156的三维脸识别处理的情况下，根据摄像的各帧图像数据 的检测到的脸区域的图像数据，计算二维被拍摄体的特征数据（二维脸特征数据）。
[0253] 另外，在图11的步骤S158的三维脸识别处理的情况下，根据摄像的各帧图像数据 的判断为有像脸的区域的图像数据，计算二维被拍摄体的特征数据（二维像脸被拍摄体的 特征数据）。
[0254] 在步骤S66中，在判断为存在以规定值以上一致的部分的情况下，在步骤S67中判 断为在以该规定值以上一致的部分中有登记的脸，并检测脸区域。另外，在步骤S68中，在 将设定的方向判断为最后的方向的情况下，进入步骤S70,判断为没有登记的脸。
[0255] 若在该步骤S67中检测脸区域，则在图5的步骤S38、图11的步骤S161中判断为 可识别脸，在图3的步骤S12、图4的步骤S21、图9的步骤S109中判断为可识别脸。另外， 若在步骤S70中判断为没有脸，则在图5的步骤S39、图11的步骤S162中判断为不能识别 脸，在图3的步骤S12、图4的步骤S21、图9的步骤S109中判断为不能识别脸。
[0256] 该三维脸识别处理也可检测脸。该三维脸识别处理在识别为登记的脸位于帧图 像数据内的情况下，当然也检测脸，另外，例如即便在判断为登记的脸不在帧图像数据内的 情况下，也可利用步骤S64计算的二维被拍摄体的特征数据与步骤S63中计算的脸特征数 据的比较对照结果，检测不是登记的人物的脸而是人脸。例如，在存在以第1规定值以上与 步骤S63中计算的脸特征数据一致的部分的情况下，识别为是对应于构成该脸特征数据生 成源的立体脸数据的脸，在以第1规定值以上不一致、但以第2规定值（比第1规定值小的 值）以上一致的情况下，单纯检测为是脸。
[0257] H-3.基于其它方法的三维脸识别处理的动作
[0258] 首先，基于第1个其它方法的三维脸识别处理的动作与上述[H-2]中说明的动作 大致一样，但在上述[H-2]中，根据立体脸数据，生成不同方向的平面图像数据，但这里，根 据立体脸数据，生成不同表情（笑、怒、憎恶等不同的表情）的平面图像数据。此时，生成从 正面看立体脸数据时的平面图像数据。
[0259] 引用图8来说明此时的动作。
[0260] 首先，在步骤S61中，将脸的表情设定为无表情，在步骤S62中，辨别当前设定的脸 识别模式的种类的立体脸数据的脸表情，根据该立体脸数据，生成该设定的表情的立体脸 数据。之后，根据该生成的立体脸数据，生成从正面看的脸的平面图像数据。
[0261] 之后，在步骤S66中，若判断为存在以规定值以上一致的部分，则在步骤S67中， 判断为在以该规定值以上一致的部分中存在登记的脸，并检测脸区域。另一方面，在步骤 S66中，若没有以规定值以上一致的部分，则在步骤S68中，判断设定的表情是否是最后的 表情。即，判断是否设定了预定的全部表情。在步骤S68中，若判断为设定的表情不是最后 的表情，则在步骤S69中设定为下一表情，返回到步骤S62。另一方面，若在步骤S68中判断 为设定的表情是最后的表情，则进入步骤S70,判断为没有登记的脸。
[0262] 由此，可提高脸识别的精度。例如，即便在被拍摄体笑或怒的情况下，也可识别脸。
[0263] 生成不同表情的平面图像数据，代替根据立体脸数据，生成不同方向的平面图像 数据，但也可按每个表情，生成不同方向的平面图像数据。即，改变方向与表情，生成平面图 像数据。
[0264] 另外，说明三维脸识别处理，但也可适用于三维脸检测处理。另外，也可利用该三 维脸识别处理来检测脸。
[0265] 接着，基于第2个其它方法的三维脸识别处理的动作是使上述[H-1]与[H-2]中 说明的动作组合，在上述[H-2]中，根据登记的立体脸数据，生成从不同方向看到的平面图 像数据，但根据摄像的多个帧图像数据生成被拍摄体的三维模型，根据该生成的被拍摄体 的三维模型，生成从不同方向看到的平面图像数据。此时，脸识别用的脸数据表格中，无论 被拍摄体的种类如何，仅登记二维脸数据。
[0266] 引用图6和图8来说明此时的动作。
[0267] 首先，在图6的步骤S51、步骤S52的动作之后，按摄像的摄影角度不同的多个帧图 像数据每个，计算被拍摄体的特征数据（步骤S53)，根据该计算的各帧图像数据每个的被 拍摄体的特征数据，生成被拍摄体的三维模型（步骤S54)。
[0268] 之后，进入图8的步骤S61，将脸的方向设定为正面，在步骤S62中，根据该生成的 被拍摄体的三维模型，生成从该设定的方向看到的被拍摄体的平面图像数据。接着，在步骤 S63中，根据该生成的平面图像数据，计算被拍摄体的特征数据，进入步骤S65,比较对照该 计算的被拍摄体的特征数据（从设定的方向看到的被拍摄体的特征数据）与脸识别用的脸 数据表格中登记的当前设定的脸识别模式的种类的二维脸数据。
[0269] 之后，在步骤S66中，若判断为存在以规定值以上一致的部分，则进入步骤S67,判 断为在以该规定值以上一致的部分中有登记的脸，检测脸区域。另一方面，在步骤S66中， 若判断为没有以规定值以上一致的部分，则在步骤S68中，判断设定的方向是否是最后的 方向。在步骤S68中，若判断为设定的方向不是最后的方向，则在步骤S69中设定为下一方 向，返回到步骤S62。另一方面，若步骤S68中判断为设定的方向是最后的方向，则进入步骤 S70,判断为没有登记的脸。
[0270] 由此，可提高脸识别的精度。例如，即便在人的脸为侧脸的情况下或带墨镜的情况 下，均可识别该人物是否是登记的脸。另外，由于只要登记二维脸数据而非立体脸数据即 可，所以可减少记录容量。
[0271] 说明了三维脸识别处理，但也可适用于三维脸检测处理。另外，也可利用该三维脸 识别处理来检测脸。
[0272] 另外，在图11的步骤S156的三维脸识别处理中，由于根据脸区域的图像数据生成 被拍摄体的三维模型，所以生成脸的三维模型。这样在生成脸的三维模型的情况下，也可辨 别生成的脸的三维模型的表情，如上所述改变脸的三维模型的表情。另外，该动作在三维脸 识别处理中说明，但也可适用于三维脸检测处理。另外，也可利用该三维脸识别处理来检测 脸。
[0273] 如上所述，在第3实施方式中，由于对应于设定的脸识别模式的种类来进行不同 的脸识别处理，所以可执行适应于被拍摄体的种类或摄影状况的脸识别处理，提高脸识别 的精度。
[0274] 并且，在第3实施方式中，对应于设定的脸识别模式的种类，进行二维脸识别处理 或进行三维脸识别处理，所以并非不必进行负担大的三维脸识别处理，可提高脸识别的精 度。例如，由于人脸为平面，所以执行二维脸识别处理，由于狗等动物一般为立体的脸，所以 二维脸识别处理难以识别脸，但通过执行三维脸识别，也可识别动物的脸。
[0275] 另外，在利用二维脸识别处理未识别到人脸的情况下，执行三维脸识别处理，所以 例如即便人的脸为侧脸或带口罩或墨镜的情况下也可识别人脸。
[0276] 另外，在用户设定脸识别模式的情况下，可仅识别想识别的种类的被拍摄体的脸。
[0277] 在自动地设定脸识别模式的情况下，可节省用户的手续，另外，即便在想摄影的被 拍摄体的种类具体地不清楚的情况下（例如不知是猫还是狐的情况下），也可识别该被拍 摄体的脸，提1?脸识别的精度。
[0278] 在被拍摄体跟踪模式为On的情况下，根据设定的脸识别模式的种类，执行二维脸 识别处理或三维脸识别处理，若识别该脸，则利用二维脸检测处理检测该被检测的脸，若看 漏跟踪的脸，则再次根据设定的脸识别模式的种类，执行二维脸识别处理或三维脸识别处 理，所以可在减轻跟踪处理的负担的同时，提高跟踪处理的精度。
[0279] [变形例]
[0280] I.上述实施方式也可是如下变形例。
[0281] (01)在上述各实施方式中，在被拍摄体跟踪模式是Off的情况或On的情况下，都 执行对应于设定的脸检测模式的脸检测处理、脸识别处理，但在被拍摄体跟踪模式是On的 情况下，无论设定的脸检测模式的种类如何，均执行三维脸检测处理、三维脸识别处理。通 过二维检测利用该三维脸检测处理检测到的脸、利用三维脸识别处理识别的脸，执行该检 测到的脸的跟踪处理，在全按压快门按钮之前看漏该脸的情况下，再次执行三维脸检测处 理、三维脸识别处理。
[0282] (02)另外，在上述各实施方式中，对应于图3的步骤S10、图9的步骤S108的设定 的脸检测模式之脸检测处理在设定人用的脸检测模式的情况下，执行二维脸检测处理、二 维脸识别处理（图5的步骤S32、图11的步骤S152、步骤S154)，在利用二维脸检测处理、二 维脸识别处理未检测到脸的情况下（图5的步骤S33为否，图11的步骤S153、步骤S155为 否），首先执行三维脸检测处理（图5的步骤S35、步骤S36、图11的步骤S156、步骤S158、 步骤S159)，但不执行三维脸检测处理、三维脸识别处理。此时，在图5的步骤S33、图11的 步骤S153、步骤S155中，若判断为均有人脸、没有登记的人物的脸，则进入图5的步骤S39、 图11的步骤S162。此时，不必执行图5的步骤S34和步骤S35、图11的步骤S156-步骤 S158的动作。
[0283] (03)另外，在上述各实施方式中，对应于图3的步骤S10、图9的步骤S108的设定 的脸检测模式之脸检测处理、脸识别处理在设定动物用的脸检测模式（例如狗用的脸检测 模式、猫用的脸检测模式等）、动物用的脸识别模式的情况下，一律检测识别由三维脸检测 处理、三维脸识别处理设定的脸检测模式的动物种类的脸（图5的步骤S36、图11的步骤 S159)，在设定某种动物用的脸检测模式、脸识别模式的情况下，也可执行与设定了人用的 脸检测模式、人用的脸识别模式时一样的动作。即，也可对应于该设定种类的动物用的脸检 测模式、脸识别模式来执行二维脸检测处理，或仅执行三维脸检测处理。例如在设定猫用脸 检测模式的情况下，执行与设定人用的脸检测模式时一样的处理，在设定狗用的脸检测模 式的情况下，仅执行三维脸检测处理。由于全部种类的动物的脸不是立体的，也有平面脸的 动物。此时，在执行二维脸检测处理的情况下，在不能利用该二维脸检测处理检测到设定的 脸检测模式的动物种类的脸的情况下，也可执行三维脸检测处理，或也可不执行。
[0284] 此时，在图2所示的脸数据表格中，按每个动物种类，设定二维脸数据或三维脸数 据。
[0285] 由此，可提商脸辨别的精度。
[0286] (04)另外，在上述各实施方式中，在图5的步骤S32中，根据图像数据的全部区域， 执行二维脸检测处理、二维脸识别处理，在图5的步骤S36中，根据图像数据的全部区域，执 行三维脸检测处理、三维脸识别处理，在图11的步骤S152中，根据图像数据的全部区域，执 行二维脸检测处理，在图11的步骤S159中，根据图像数据的全部区域，执行三维脸识别处 理，但也可根据视场角的中央区域或由用户任意指定的区域而非图像数据的全部区域来进 行。由此，可减轻脸检测处理、脸识别处理的处理负担。
[0287] 另外，对应于脸检测模式的种类、脸识别模式的种类关联记录颜色成分，在图5的 步骤要S32、图5的步骤S36、图11的步骤S152、步骤S159中，仅根据具有当前设定的脸检 测模式、脸识别模式的种类所对应的颜色成分的区域，而非图像数据的全部区域来进行。所 谓对应于该脸检测模式、脸识别模式的颜色成分是脸检测模式、脸识别模式的种类的被拍 摄体的脸的颜色成分。例如，人用的脸识别模式时对应的颜色成分为肤色。由此，可仅根据 认为有设定的脸检测模式、脸识别模式的种类的被拍摄体的脸的区域来进行脸检测处理、 脸识别处理，可减轻处理负担。
[0288] (5)另外，在上述各实施方式中，抽取被拍摄体的特征点或被拍摄体每个种类的特 征点后，抽取特征数据，并根据该抽取的特征数据，生成三维模型，比较对照该抽取的特征 数据，由此检测、识别脸，但也可利用其它方法来生成三维模型或检测、识别脸。
[0289] 另外，根据多个图像数据生成被拍摄体的三维模型，但也可根据1个图像数据来 生成被拍摄体的三维模型。
[0290] (06)在上述各实施方式中，仅记录利用静止图像摄影处理摄影的静止图像数据， 但也可将利用脸检测处理检测到的脸的位置或脸的种类（设定的脸检测模式的种类）、利 用脸识别处理识别的脸的位置或名称（例如在人的情况下为人物名，在动物的情况下为动 物的名称或宠物的名称等）与静止图像数据关联记录。
[0291] (07)另外，在上述各实施方式中，根据检测到的脸、识别出的脸来进行AF处理，但 也可根据检测到的脸、识别出的脸来进行曝光控制，或根据检测到的脸、识别出的脸来进行 规定的处理，以执行切边处理。
[0292] (08)另外，在上述各实施方式中，记录人、狗、猫等大的被拍摄体的每种立体脸数 据或二维脸数据，但也可按被拍摄体的种类进一步详细分类，记录立体脸数据或二维脸数 据。例如，若是狗，则如柴狗、秋田狗、...，若是猫，则如波斯猫、花猫、...等详细分类。由 此，可提1?脸检测、脸识别的精度。
[0293] (09)另外，图2所示的脸检测用脸数据表格对被拍摄体的每个种类仅记录1个相 同维数的脸数据，但也可对被拍摄体的每个种类记录多个相同维数的脸数据。例如，即便同 是猫，也可能因其种类不同而脸极端变化，记录多个立体脸数据，以便可检测全部猫的脸。
[0294] (10)另外，在上述各实施方式中，设定1个脸检测模式、脸识别模式（将其统称为 脸辨别模式）的种类，但也可同时设定多个脸检测模式、脸识别模式的种类，检测该同时设 定的全部脸检测模式、脸识别模式的种类的脸。此时，由于脸检测处理、脸识别处理的动作 因脸检测模式、脸识别模式的种类不同而变化（参照图5、图11)，所以在动作不变化的范围 内，同时设定多个脸检测模式、脸识别模式。
[0295] (11)另外，在上述各实施方式中，具备人用的脸辨别模式与动物用的脸辨别模式， 但不限于此，也可具备检测其它种类的被拍摄体、例如昆虫的脸的昆虫用脸辨别模式（此 时，如甲虫用的脸辨别模式、锹形甲虫用的脸辨别模式等按昆虫的每个种类具备脸辨别模 式）。
[0296] (12)另外，在上第1、2实施方式的图5的动作中，在利用二维脸检测处理未检测到 人脸的情况下（步骤S33为否），执行三维脸检测处理（步骤S35、步骤S36)，但也可仅在步 骤S34中判断为有像脸的部分的情况下进行三维脸检测处理。即，若步骤S34中判断为无 像脸的部分，则直接进入步骤S39。此时，不必步骤S36的动作。
[0297] (13)另外，在上述第3实施方式中的图11的动作中，若利用二维脸检测处理未检 测到人脸（步骤S153为否），则判断是否有像脸的部分（步骤S157)，在有像脸的部分的情 况下，根据存在像脸的区域，执行三维脸识别处理（步骤S158)，在没有像脸的部分的情况 下，根据全部区域，执行三维脸识别处理（步骤S159)，在步骤S157中判断为没有像脸的部 分的情况下，直接进入步骤S162。
[0298] 另外，在上述各实施方式中，在基于脸数据的脸的构成部分其一部分未被检测 到的情况下，判断为是像脸的部分，但各部分的有无未必可明确判定，例如有时鼻以30% 的概率存在，口以60%的概率存在。在这种情况下，不是特定的脸构成部分的检测状态， 而是例如多个脸构成部分整体的存在概率的平均值为10%以下时，判断为没有脸，若在 10% -60%范围内，则判断为是像脸的部分，若为60%以上，则明确判断为是脸。
[0299] (14)构成本发明特征的部分在于对应于脸辨别模式（脸检测模式与脸识别模式 的总称）改变脸辨别处理的动作，所以在上述各实施方式中，按每个被拍摄体的种类，设置 称为脸辨别模式的特征，但也可不是被拍摄体的每个种类。
[0300] 例如，如利用二维脸辨别处理辨别的二维脸辨别模式、利用三维脸辨别处理辨别 的三维脸辨别模式那样、对脸辨别处理的每个维数都设置脸辨别模式。此时，在辨别人脸的 情况下，首先，设定为二维脸辨别模式，执行脸辨别处理，在不辨别脸的情况下，设定成三维 脸辨别模式。
[0301] 在辨别动物的脸的情况下，也可最初设定成三维脸辨别模式，对应于动物的种类， 设定成二维脸辨别模式或设定成三维脸辨别模式。此时，在设定为二维脸辨别模式的情况 下，在利用该二维脸辨别模式无法辨别脸的情况下，设定成三维脸辨别模式。
[0302] 并且，也可考虑被拍摄体的种类与脸辨别维后设置脸辨别模式。
[0303] 例如，在上述各实施方式中，在人用的脸辨别模式中包含二维脸辨别处理、三维脸 辨别处理，但也可如利用二维脸辨别来辨别人脸的人用二维脸辨别模式、利用三维脸辨别 处理来辨别人脸的人用三维脸辨别模式那样，按被拍摄体的种类与脸辨别的维数的组合每 个而具备脸辨别模式。
[0304] 例如，在设定了人用二维脸辨别模式的情况下，执行对应于该设定的人用二维脸 辨别模式的脸辨别处理，在未检测到脸的情况下，自动切换设定成人用三维脸辨别模式，进 行脸辨别处理。另外，在辨别人脸的情况下，也可首先设定人用二维脸辨别模式。
[0305] 另外，在存在二维脸辨别模式与三维脸辨别模式等2个辨别同种类的动物（例如 猫）的脸的模式时，最初设定成二维脸辨别模式进行脸辨别处理，在未辨别出脸的情况下， 首先设定成三维脸辨别模式进行脸辨别处理。
[0306] 另外，上述各实施方式中说明的被拍摄体跟踪模式也可认为是脸辨别模式的一种 (跟踪脸辨别模式），例如，若进入图4的步骤S22、图10的步骤S121，则切换设定成跟踪脸 辨别模式，执行对应于该设定的跟踪脸辨别模式的脸辨别处理，即通过在图3的步骤S10、 图9的步骤S108二维检测最近辨别的脸，执行跟踪该脸的动作。另外，若在图4的步骤S24、 图10的步骤S123判断为看漏该跟踪的脸，则再设定成跟踪脸辨别模式之前设定的脸辨别 模式，返回到图3的步骤S10、图9的步骤S108。
[0307] (15)另外，也可是任意组合上述变形例（01)-(14)的状态。
[0308] (16)另外，本发明的上述实施方式均不过是作为最佳实施方式的单纯实例，为了 能更好地理解本发明的原理或构造、动作等而描述，不打算限定下面的权利要求的范围。
[0309] 因此，对本发明的上述实施方式得到的各种各样的变形或修正全部包含在本发明 的范围内，必须认为受下面的权利要求的范围保护。
[〇31〇] 最后，在上述各实施方式中，说明将本发明的摄像装置适用于数码相机1的情况， 但不限于上述实施方式，只要是可根据摄像的图像数据辨别脸的设备均可适用。
【权利要求】
1. 一种摄像装置，具有被拍摄体的辨别功能， 所述摄像装置具备： 摄像单元； 脸辨别模式设定单元，其从与成为辨别对象的被拍摄体的种类的差异和被拍摄体的种 类以外的条件的差异之间的组合相应的多个脸辨别模式中设定任一脸辨别模式；和 脸辨别单元，其对由所述摄像单元摄像的图像数据，根据由所述脸辨别模式设定单元 设定的脸辨别模式，执行对所述被拍摄体的种类的差异和所述被拍摄体的种类以外的条件 的差异进行了辨别的脸辨别处理，由此辨别在该摄像的图像数据内的脸。
2. 根据权利要求1所述的摄像装置，其中， 所述被拍摄体的种类以外的条件的差异是脸辨别处理的条件的差异， 所述脸辨别单元对由所述摄像单元摄像的图像数据，以与由所述脸辨别模式设定单元 设定的脸辨别模式相对应的条件执行脸辨别处理，由此在该摄像的图像数据内的脸之中辨 别与该脸辨别模式相对应的种类的被拍摄体的脸。
3. 根据权利要求1所述的摄像装置，其中， 所述脸辨别模式设定单元设定由用户选择的脸辨别模式。
4. 根据权利要求1所述的摄像装置，其中， 所述脸辨别模式设定单元自动地选择设定脸辨别模式。
5. 根据权利要求1所述的摄像装置，其中， 所述被拍摄体的种类的差异是人的脸和人以外的脸的差异， 所述脸辨别单元，在由所述脸辨别模式设定单元设定了将人的脸作为对象的第1脸辨 别模式的情况下，执行辨别人的脸的脸辨别处理，由此辨别在所述摄像的图像数据内的人 的脸，在由所述脸辨别模式设定单元设定了将人以外的脸作为对象的第2脸辨别模式的情 况下，辨别人以外的种类的脸。
6. 根据权利要求1所述的摄像装置，其中， 所述脸辨别处理的条件包括以二维方式辨别脸的条件、和以三维方式辨别脸的条件， 所述脸辨别单元，在由所述脸辨别模式设定单元设定了与以二维方式辨别脸的条件相 对应的第3脸辨别模式的情况下，执行以二维方式辨别脸的二维脸辨别处理，由此辨别在 所述摄像的图像数据内的脸，在由所述脸辨别模式设定单元设定了与以三维方式辨别脸的 条件相对应的第4脸辨别模式的情况下，执行以三维方式辨别脸的三维脸辨别处理，由此 辨别在所述摄像的图像数据内的脸。
7. -种脸辨别方法，使具备了摄像单元的摄像装置的计算机执行下述处理： 脸辨别模式设定处理，从与成为辨别对象的被拍摄体的种类的差异和被拍摄体的种类 以外的条件的差异之间的组合相应的多个脸辨别模式中设定任一脸辨别模式；和 脸辨别处理，对由所述摄像单元摄像的图像数据，根据通过所述脸辨别模式设定处理 设定的脸辨别模式，执行对所述被拍摄体的种类的差异和所述被拍摄体的种类以外的条件 的差异进行了辨别的脸辨别处理，由此辨别在该摄像的图像数据内的脸。
【文档编号】H04N5/232GK104092947SQ201410360488
【公开日】2014年10月8日 申请日期:2008年8月28日 优先权日:2007年8月31日
【发明者】喜多一记 申请人:卡西欧计算机株式会社