图像处理设备、摄像设备、图像处理方法和存储介质与流程

本发明涉及用于检测被摄体的图像处理设备。

背景技术：

迄今为止，在诸如数字照相机或图像处理设备的图像处理装置中，已经可以具有检测图像中的预定被摄体的功能，并优先针对检测到的被摄体来控制聚焦条件或曝光条件。

日本特开2002-51255公开了一种照相机，该照相机检测图像中的被摄体，确定最接近摄像设备或在显示画面中最大的主被摄体，并控制该主被摄体的聚焦条件或曝光条件。

近年来，变得不仅可以检测人脸，而且可以检测虹膜、全身、狗、猫、鸟或包括动物的各种被摄体。然而，相应地也就难以从通过这种检测方法检测出的各种被摄体中选择并确定作为拍摄者的目标被摄体的主被摄体。

因此，一种方式可以是通过使用显示画面上的设置菜单等来预设具有优先级的被摄体的预定类别。

然而，当频繁改变主被摄体的类别时，使用显示画面上的设置菜单来改变它们很麻烦。

因此，本发明的一个目的是提供一种图像处理设备，该图像处理设备能够容易地改变主被摄体的类别而无需麻烦的操作。

技术实现要素：

为了实现该目的，根据本发明的方面的图像处理设备包括至少一个处理器或电路，其被配置为用作：被摄体检测单元，其被配置为从图像中检测被分类为至少两个类别中的一个类别的被摄体；设置单元，其被配置为对所述被摄体检测单元所检测到的被摄体中的具有预定优先级的被摄体设置第一类别作为优先类别；以及区域指定单元，其被配置为指定显示画面上的被摄体的预定区域，其中，所述设置单元被配置为在所述区域指定单元所指定的被摄体的所述预定区域是与所述第一类别不同的第二类别的情况下，将所述优先类别从所述第一类别改变为所述第二类别。

一种摄像设备包括至少一个处理器或电路，其被配置为用作：摄像单元，其被配置为获得被摄体图像；被摄体检测单元，其被配置为从所述摄像单元所获得的图像中检测被分类为至少两个类别中的一个类别的被摄体；设置单元，其被配置为对所述被摄体检测单元所检测到的被摄体中的具有预定优先级的被摄体设置第一类别作为优先类别；以及区域指定单元，其被配置为指定显示画面上的被摄体的预定区域，其中，所述设置单元被配置为在所述区域指定单元所指定的被摄体的所述预定区域是与所述第一类别不同的第二类别的情况下，将所述优先类别从所述第一类别改变为所述第二类别。

一种图像处理方法，其包括：从图像中检测被分类为至少两个类别中的一个类别的被摄体；对通过所述检测而检测到的被摄体中的具有预定优先级的被摄体设置第一类别作为优先类别；以及指定显示画面上的被摄体的预定区域，其中，在通过所述指定而指定的被摄体的所述预定区域是与所述第一类别不同的第二类别的情况下，将所述优先类别从所述第一类别改变为所述第二类别。

一种非暂时性计算机可读存储介质，其存储计算机程序，所述计算机程序用于执行：从图像中检测被分类为至少两个类别中的一个类别的被摄体；对通过所述检测而检测到的被摄体中的具有预定优先级的被摄体设置第一类别作为优先类别；以及指定显示画面上的被摄体的预定区域，其中，在通过所述指定而指定的被摄体的所述预定区域是与所述第一类别不同的第二类别的情况下，将所述优先类别从所述第一类别改变为所述第二类别。

通过以下参照附图对实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是本发明的实施例1中的图像处理设备的框图。

图2是示出实施例1中的图像处理设备的操作的流程图。

图3是示出实施例1中的图像处理设备的另一操作的流程图。

图4是示出实施例1中的图像处理设备的又一操作的流程图。

图5a、图5b和图5c是示出实施例1中的显示画面的示例的图。图5a示出了当优先被摄体设置是“人”时显示单元28上的显示画面的示例，图5b示出了当如图5a所示优先被摄体设置是“人”并且用户正在触摸画面上的动物(狗)时的显示画面的示例。图5c示出了在用户触摸画面上的动物(狗)之后的显示画面的示例。

图6是示出实施例2中的图像处理设备的操作的流程图。

图7是示出实施例2中的图像处理设备的另一操作的流程图。

图8是示出实施例2中的图像处理设备的又一操作的流程图。

图9是示出实施例3中的图像处理设备的操作的流程图。

图10是示出实施例3中的图像处理设备的另一操作的流程图。

图11a和图11b是示出实施例3中的显示画面的示例的图。图11a示出了当优先被摄体设置是“人”时的显示画面的示例，图11b示出了当用户按下第一快门释放开关62以开始焦点检测操作时的显示画面的示例。

图12是示出实施例4中的图像处理设备的操作的流程图。

具体实施方式

下文中，将参照附图使用实施例来描述本发明的优选模式。另外，在图中，相同构件或组件将由相同附图标记和符号表示，并且将省略或简化重复的描述。

此外，在实施例中，将描述本发明被应用于作为图像处理设备的数字(静态)照相机的示例。然而，本实施例中的图像处理设备包括具有摄像功能的图像处理设备，诸如数字摄像机、具有照相机的智能电话、具有照相机的平板电脑、车载照相机、网络照相机等。

[实施例1]

图1是本发明的实施例1中的图像处理设备的框图。

如图1所示，根据实施例1的图像处理设备(摄像设备)主要由数字照相机100和镜头单元300构成，镜头单元300可以作为可更换镜头从数字照相机100拆卸。

在数字照相机100中，快门20控制入射光对摄像单元22的曝光时间段。

摄像单元22包括用于拍摄光学图像并将其转换为电信号的图像传感器，诸如ccd或cmos等。

摄像单元22还包括a/d转换处理功能和af评价值检测单元23。在af评价值检测单元23中，计算从数字图像信号获得的对比度信号和从视差图像获得的相位差信号以输出到系统控制单元50。

图像处理单元24对从摄像单元22输出的图像数据或从存储器控制单元15获得的图像数据进行尺寸调整处理(诸如像素插值或尺寸减小等)以及颜色转换处理。

图像处理单元24还基于af评价值获得至被摄体的距离信息。

也就是说，图像处理单元24从输入的两个视差图像信号中检测相位差信息，使得可以逐像素地获得从摄像单元22至被摄体的距离信息。

另外，图像处理单元24还使用图像数据进行预定的计算处理以获得曝光控制信息。系统控制单元50基于距离信息和曝光控制信息进行曝光控制和焦点调整。曝光控制包括ttl(通过镜头)型ae(自动曝光控制)和ef(电子闪光控制)。

图像处理单元24使用距离信息进行af(自动聚焦)处理。在该处理期间，使用来自摄像单元22中包括的af评价值检测单元23的输出。

图像处理单元24还使用图像数据进行预定处理，以实现ttl型awb(自动白平衡)处理。

图像处理单元24进行静态图像和动态图像的显影/压缩处理，并进行特征值(诸如颜色信息、亮度信息等)的提取，以跟踪被摄体。

也就是说，从要跟踪的被摄体图像(基准图像或主被摄体)的区域提取特征值(诸如颜色信息、亮度信息等)，然后逐帧地指定特征值与基准图像的特征值具有最高相关度的区域，使得可以跟踪主被摄体。

以这种方式，图像处理单元24用作用于基于颜色信息或亮度信息来跟踪预定被摄体的跟踪单元。

被摄体检测单元26通过使用水平和垂直方向上的带通滤波器，来从图像数据中提取边缘分量。通过使用模式匹配处理来操作检测到的边缘分量(轮廓信息等)，使得提取脸的部位(诸如眼睛、鼻子、嘴巴、耳朵等)，从而可以检测到脸。

另外，被摄体检测单元26可以通过使用机器学习来进行被摄体检测。

在机器学习中，通过准备与多个被摄体的类别相对应的学习模型，可以检测各种类别的被摄体，从而可以检测诸如动物(狗、猫、鸟等)或车辆等特定被摄体。

也就是说，被摄体检测单元26从由摄像单元获得的图像中检测至少两个类别的被摄体。

摄像单元22的输出数据经由图像处理单元24和存储器控制单元15被写入存储器32，或者来自摄像单元22的输出数据经由存储器控制单元15被直接写入存储器32。

存储器32存储由摄像单元22获得并且被ad转换的图像数据、或者要被提供给显示单元28的图像数据，以用作用于图像显示的视频存储器。

存储器32具有用于存储多个静态图像或预定长度的动态和音频数据的足够的存储容量。

d/a转换器13将存储在存储器32中的数字视频数据转换为模拟信号，以提供给诸如lcd的显示单元28。

以此方式，从摄像单元22进行ad转换和输出的数字信号被一次存储在存储器32中，然后被da转换以被提供给显示单元28，使得在用作电子取景器的显示单元上显示直通图像(实时取景图像)。

非易失性存储器52是诸如闪速存储器等的电可擦除可存储的存储器。

非易失性存储器52存储用于系统控制单元50的操作参数、程序等，其中，程序是指用于执行本实施例的以下流程图所示的操作的计算机程序。

也就是说，系统控制单元50包括作为计算机的cpu，并且使用存储在非易失性存储器52中的计算机程序进行以下流程图所示的操作，来控制整个数字照相机100。

系统计时器53用于同步控制系统的各部分。包括ram的系统存储器56用于展开存储在非易失性存储器52中的用于系统控制单元50的操作参数、常数值或程序。

模式开关60、快门释放按钮61(包括第一快门释放开关62和第二快门释放开关63)、操作单元70和触摸面板操作单元72用于向系统控制单元50输入用于操作的各种指示。

用于模式开关60切换系统控制单元50的操作模式以选择诸如静态图像拍摄模式、动态图像拍摄模式、播放模式等的操作模式中的一种。

静态图像拍摄的操作模式包括自动拍摄模式、自动场景检测模式、手动模式、多个场景设置模式、程序ae模式、自定义模式等。模式开关60可以直接选择用于静态图像拍摄的这些模式中的一种。

或者，模式开关60可以切换用于静态图像拍摄的模式中的一种，然后可以使用其他操作单元来确定模式。类似地，动态图像拍摄可以包括多种模式。当数字照相机100中的快门释放按钮61被半按下时，第一快门释放开关62接通，并且产生第一快门释放开关信号sw1。

响应于第一快门释放开关信号sw1，af(自动聚焦)处理、ae(自动曝光)处理、awb(自动白平衡)处理、ef(电子闪光)处理等开始。

当完全按下快门释放按钮61时，第二快门释放开关63接通，并产生第二快门释放开关信号sw2。系统控制单元50响应于第二快门释放开关信号sw2开始用于静态图像拍摄处理的序列，从而从摄像单元22读出图像信号并将其存储在存储单元200中。

触摸面板操作单元72和包括多个操作构件的操作单元70可以选择性地操作显示在显示单元28上的多个功能图标，从而用作功能按钮。鼠标等可以连接到数字照相机100，从而用作操作单元的一部分。

功能按钮可以包括例如结束按钮、返回按钮、图像跳过按钮、跳转按钮、缩小按钮、属性改变按钮、动态图像拍摄按钮等。例如，当按下菜单按钮时，在显示单元28的显示画面上显示包括多个选择的下拉菜单。用户可以通过操作鼠标、十字按钮、设置按钮等来选择显示在显示画面上的菜单中的一个。

在本实施例中，通过使用触摸面板操作单元72，用户可以触摸意图被摄体区域以指定该区域。

在这种情况下，触摸面板操作单元72用作用于在显示画面上指定意图被摄体区域的区域指定单元。关于这一点，包括在操作单元70中的诸如鼠标、十字按钮等的其他定点装置可以用于在显示画面上指定意图被摄体区域。在这种情况下，定点装置用作用于在显示画面上指定意图被摄体区域的区域指定单元。

显示在显示画面上的菜单可以包括用于设置具有优先类别的主被摄体的优先被摄体设置。

在优先被摄体设置中，当用户将“人”设置为优先被摄体时，被摄体检测单元26优先将人检测区域选择为主被摄体区域，并且当用户将“动物”设置为优先被摄体时，被摄体检测单元26优先将动物检测区域选择为主被摄体区域。

被摄体检测单元26优先检测与通过优先级设置而设置的类别相对应的主被摄体，在主被摄体上或在其周围显示主被摄体框，并且主要针对主被摄体进行焦点调整和曝光调整。

电源控制单元41包括电池电压检测电路、dc-dc转换器、用于选择性地向各电路供电的开关电路等，并且检测电池是否被安装、电池的类型、电池的剩余电量等。

电源控制单元41基于检测结果和来自系统控制单元50的指示来控制dc-dc转换器，并且在必要的时间段期间向包括存储单元200的各电路提供必要的电压。

电源单元40包括一次电池、二次电池、ac适配器等。

存储单元i/f18是用于存储卡、诸如硬盘的存储单元200等的接口。

存储单元200存储图像数据，并且可以包括例如存储卡、半导体存储器、磁盘等。

连接器80包括用于将数字照相机100的主体与镜头单元300电连接的电触点。

连接器80在数字照相机100与镜头单元300之间传输控制信号、状态信号、数据信号等，并且具有用于从数字照相机100向镜头单元300供电的功能。

接下来，将说明镜头单元300。

镜头单元300包括由多个透镜(诸如可以沿光轴方向移位以进行焦点调整的调焦透镜和可以沿光轴方向移位以进行变焦的变焦透镜)构成的摄像透镜301。镜头单元300还包括光圈302，该光圈302用于控制孔径以调整至数字照相机100中的摄像单元22的光量。

镜头控制单元303包括作为计算机的cpu，并且根据来自数字照相机100中的系统控制单元50的控制信号来控制整个镜头单元300，并且镜头控制单元303控制摄像透镜301的调焦透镜和变焦透镜以及光圈302的驱动。

镜头控制单元303还包括用于存储操作参数、操作常数、计算机程序等的存储器。

镜头控制单元303还包括非易失性存储器，该非易失性存储器存储id信息(诸如镜头单元300的固有id编号)、管理信息、镜头性质信息(诸如开放孔径值、最小孔径值、焦距值、畸变的像差值)、设置值的历史记录等。

连接器304包括用于将镜头单元300与数字照相机100的主体电连接的电触点，并与数字照相机100传输控制信号、状态信号、数据信号等，并且连接器304具有用于从数字照相机100接收电力的功能。

图2是示出实施例1中的图像处理设备的操作的流程图。图3是示出实施例1中的图像处理设备的另一操作的流程图。图4是示出实施例1中的图像处理设备的又一操作的流程图。

当用户通过操作模式开关60选择静态图像拍摄模式或动态图像拍摄模式时，数字照相机100开始所选择的拍摄模式中的一种，从而开始进行图2至图4所示的处理。

系统控制单元50通过从非易失性存储器52中读出预定的计算机程序，通过在系统存储器56中展开程序，并通过控制数字照相机100中包括的各单元的操作或处理，来进行图2至图4所示的处理流程。

在步骤s101中，系统控制单元50从系统存储器56中读出由用户使用显示在显示画面上的菜单选择而设置的优先被摄体设置，确定主被摄体的类别，并且进入步骤s102。

如上所述，在优先被摄体设置中，用户可以使用显示在显示画面上的菜单将优先被摄体的类别设置为例如第一类别，使得优先将属于第一类别的被摄体检测为主被摄体。

在这种情况下，系统控制单元50用作如下设置单元，该设置单元用于将优先被摄体的类别设置为第一类别，使得被摄体检测单元26在至少两个类别中优先检测第一类别的被摄体。

也就是说，当通过被摄体检测单元26检测到第一类别的被摄体时，第一类别的被摄体被自动识别为主被摄体，并且优先进行针对主被摄体的焦点调整和曝光调整。

在该处理中，系统控制单元50用作用于对主被摄体(优先被摄体)进行焦点调整和/或曝光调整的调整单元。

也就是说，在类别“人”被设置为优先被摄体的情况下，人区域变为显示画面上的主被摄体，并且在类别“动物”被设置为优先被摄体的情况下，动物区域变为显示画面上的主被摄体。

尽管在本实施例中，数字照相机100可以检测诸如“人”和“动物”的两个类别的被摄体，并且用户可以从诸如“人”和“动物”的两个类别之一设置优先类别，但是，数字照相机100可以检测多于两个的类别。

在步骤s102中，系统控制单元50从摄像单元22读出一帧的图像信号，通过使用图像处理单元24对图像信号进行诸如白平衡调整、像素插值等的处理，然后将处理后的图像数据存储在存储器32中。

此外，由图像处理单元24处理的处理后的图像数据被从存储器32中读出，被调整尺寸等以产生用于实时取景的图像数据，并再次被存储在存储器32中，同时被显示在显示单元28上。

在步骤s103中，系统控制单元50从存储器32中读出在步骤s102中生成的图像数据，从而被摄体检测单元26检测图像数据中的被摄体。

在本实施例中，被摄体检测单元26可以检测诸如人、狗、猫、鸟等的多个类别的被摄体，而与优先被摄体设置无关。

另外，被摄体检测单元26也可以检测它们的一部分，诸如脸、身体等。

被摄体检测单元26可以被配置为仅检测通过优先被摄体设置而设置的类别的被摄体，如在实施例2中详细描述的那样。

关于这一点，在步骤s103中由被摄体检测单元26检测到的被摄体区域被称为被摄体检测区域。

在本实施例中，尽管由被摄体检测单元26检测到多个不同类别的被摄体检测区域，但是仅针对通过优先被摄体设置而设置的第一类别的被摄体，在显示单元28上附加显示主被摄体框。

关于这一点，针对由被摄体检测单元26检测到的所有的不同类别的被摄体检测区域，标记或框可以分别与这些被摄体一起显示，使得用户可以识别出检测到了哪些被摄体。

在由被摄体检测单元26检测到的所有的不同类别的被摄体检测区域分别与标记或被摄体框一起附加显示的上述情况下，例如可以通过针对主被摄体设置与其他被摄体不同的被摄体框的颜色或线宽，来与其他被摄体框不同地显示通过优先被摄体设置而设置的第一类别的主被摄体的被摄体框。

以此方式，在本实施例中，显示单元28用于区别地显示与通过优先被摄体设置而设置的类别相对应的被摄体区域。

在步骤s104中，判断在先前图像帧中是否存在通过用户选择的任何主被摄体区域。

如果步骤s104中的判断结果为“是”，则系统控制单元50中的处理(以下称为处理流程)进入图3中的步骤s105。

如果步骤s104中的判断结果为“否”，则处理流程进入图2中的步骤s110。

关于这一点，“通过用户选择的主被摄体区域”是指：为了用户将意图被摄体设置为主被摄体区域，例如通过用户对显示画面上的被摄体检测区域的意图位置的触摸操作等而选择的主被摄体区域。

在步骤s110中，判断是否正在执行触摸跟踪，其中，“触摸跟踪”是指：响应于用户对显示画面上的意图被摄体的触摸操作而开始的跟踪操作，其中触摸的被摄体被设置为要跟踪的主被摄体区域，并且针对步骤s123详细描述该跟踪操作。

如果在步骤s110中判断为没有正在执行“触摸跟踪”(步骤s110中为“否”)，则处理流程进入步骤s111，而如果在步骤s110中判断为正在执行“触摸跟踪”(步骤s110中为“是”)，则处理流程进入步骤s114。

在步骤s111中，判断在步骤s103中进行的被摄体检测中是否检测到类别与通过优先被摄体设置而设置的类别相同的被摄体。

也就是说，如果在优先被摄体设置中设置了“人”，则在步骤s111中判断是否检测到人，而如果在优先被摄体设置中设置了“动物”，则在步骤s111中判断是否检测到动物。

如果在步骤s111中判断为检测到在优先被摄体设置中设置的类别的被摄体(步骤s111中为“是”)，则处理流程进入步骤s112。

如果在步骤s111中判断为未检测到在优先被摄体设置中设置的类别的被摄体(步骤s111中为“否”)，则处理流程进入步骤s113。

在步骤s112中，基于步骤s103中的被摄体检测结果选择主被摄体区域，并更新主被摄体区域的位置和尺寸。

另外，还更新了在自动选择条件下显示在显示单元28的显示画面上的用于指示主被摄体区域的被摄体框的位置和尺寸。

在步骤s113中，由于在步骤s111中判断为未检测到在优先被摄体设置中设置的类别的被摄体，因此将主被摄体区域的位置和尺寸重置为0，并且用于在自动选择条件下指示主被摄体区域的被摄体框被更新为消失。

从步骤s111到步骤s113的处理流程对应于数字照相机100对主被摄体的自动选择处理，从而自动选择在优先被摄体设置中设置了类别的被摄体，并且显示用于指示主被摄体区域的被摄体框。

相反，在步骤s114中，系统控制单元50判断是否可以继续在步骤s123中开始的“触摸跟踪”。

在这方面，将图像处理单元24从基准图像(先前图像帧中的主被摄体区域)提取的特征值(诸如颜色信息、亮度信息等)与从当前图像帧中的主被摄体区域提取的特征值进行比较，并且如果它们之间的差小于预定值，则系统控制单元50判断为可以继续在步骤s123中开始的触摸跟踪。

如果系统控制单元50判断为可以继续在步骤s123中开始的触摸跟踪(步骤s114中为“是”)，则处理流程进入步骤s115，而如果不能继续在步骤s123中开始的触摸跟踪(步骤s114中为“否”)，则处理流程进入步骤s116。

在步骤s115中，基于图像处理单元24从基准图像(先前图像帧中的主被摄体区域)提取的特征值(诸如颜色信息、亮度信息等)，来更新正在通过“触摸跟踪”而跟踪的主被摄体区域的位置和尺寸。

另外，显示在显示单元28的显示画面上的用于指示主被摄体区域的被摄体框的位置和尺寸也被更新，并且处理流程进入图4中的步骤s117。

在步骤s116中，系统控制单元50停止“触摸跟踪”，将主被摄体区域的位置和尺寸重置为0，将用于在自动选择条件下指示主被摄体区域的被摄体框更新为消失，并且进入图4中的步骤s117。

如上所述，当步骤s104中的判断结果为“是”时，处理流程进入图3中的步骤s105。

在步骤s105中，判断通过步骤s103中的被摄体检测处理在当前图像帧中是否检测到通过用户在先前图像帧中的显示画面上的触摸而在步骤s119或步骤s122中指定的主被摄体。

如果判断为通过被摄体检测处理在当前图像帧中检测到通过用户在先前图像帧中的显示画面上的触摸而指定的主被摄体(步骤s105中为“是”)，则处理流程进入步骤s106。

相反，如果判断为通过被摄体检测处理在当前图像帧中未检测到通过用户在先前图像帧中的显示画面上的触摸而指定的主被摄体区域的被摄体(步骤s105中为“否”)，则处理流程进入步骤s107。

在步骤s106中，基于步骤s103中的被摄体检测结果，更新由用户在显示画面上的触摸等指定的主被摄体区域的位置和尺寸。

另外，还更新在显示单元28的显示画面上显示的用于指示主被摄体区域的被摄体框的位置和尺寸，并且处理流程进入图4中的步骤s117。

在步骤s107中，判断为丢失了由用户在显示画面上的触摸指定的主被摄体，将主被摄体区域的位置和尺寸重置为0，并且将用于指示主被摄体区域的被摄体框更新为消失，并且处理流程进入步骤s108。

在步骤s108中，判断在先前图像帧中是否已经在步骤s121中临时改变了优先被摄体设置。

如果判断为已经临时改变了优先被摄体设置(步骤s108中为“是”)，则处理流程进入步骤s109，而如果判断为尚未临时改变优先被摄体设置(步骤s108中为“否”)，则处理流程进入图4中的步骤s117。

在步骤s109中，系统控制单元50读出优先被摄体设置(该优先被摄体设置已经在步骤s121中在先前图像帧中临时设置，并且被保存在系统存储器56中)，恢复在步骤s121中设置的优先被摄体设置，并进入图4的步骤s117。

也就是说，在步骤s109中，在例如通过用户在显示画面上的触摸将优先被摄体的类别改变为第二类别的情况下，并且如果丢失了第二类别的主被摄体，则优先被摄体设置的优先被摄体的类别被恢复为第一类别。

在图4的步骤s117中，判断是否通过用户在显示画面上的触摸指定了意图主被摄体。

如果判断为通过用户在显示画面上的触摸指定了意图主被摄体(步骤s117中为“是”)，则处理流程进入步骤s118，而如果判断为未通过用户在显示画面上的触摸指定意图主被摄体(步骤s117为“否”)，则处理流程进入步骤s124。

在步骤s118中，判断是否通过用户的触摸等从在步骤s103中的被摄体检测中检测到的多个类别的被摄体中指定了类别与通过优先被摄体设置而设置的类别(第一类别)相同的被摄体区域。

也就是说，例如，如果优先被摄体设置是“人”，则判断是否通过用户在显示画面上的触摸等而指定了人检测区域，而如果优先被摄体设置是“动物”，判断是否通过用户在显示画面上的触摸等而指定了动物检测区域。

如果判断为通过用户的触摸等而指定了类别与通过优先被摄体设置而设置的类别(第一类别)相同的被摄体区域(步骤s118中为“是”)，则处理流程进入步骤s119。

也就是说，如果优先被摄体设置是“人”，并且如果判断为通过用户在显示画面上的触摸等而指定了人检测区域，或者如果优先被摄体设置是“动物”，并且如果判断为通过用户在显示画面上的触摸等而指定了动物检测区域，则处理流程进入步骤s119。

相反，如果判断为没有用户的触摸等指定类别与通过优先被摄体设置而设置的类别(第一类别)相同的被摄体区域(步骤s118中为“否”)，则处理流程进入步骤s120。

也就是说，例如，如果优先被摄体设置是“人”，并且如果判断为没有用户在显示画面上的触摸等指定人检测区域，或者如果优先被摄体设置是“动物”，并且如果判断为没有用户在显示画面上的触摸等指定动物检测区域，则处理流程进入步骤s120。

在步骤s119中，将类别与通过优先被摄体设置而设置的类别相同的、由用户在显示画面上的触摸等指定的被摄体的被摄体检测区域确定为“用户选择主被摄体区域”，并且处理流程进入步骤s124。

关于这一点，在用户通过触摸显示画面上的被摄体等来指定主被摄体的情况下，与通过自动选择来选择主被摄体区域(其处理在步骤s111至步骤s113中示出)的情况相比，更加难以将主被摄体区域改变为其他检测区域。

这是因为，由于用户通过触摸显示画面等来有意地指定主被摄体区域，因此考虑到用户的意图，应该将由用户指定的主被摄体维持更长的时间段。

在步骤s120中，判断在步骤s103中检测到的被摄体检测区域之中的、由用户在显示画面上的触摸等指定的被摄体检测区域的类别是否不同于在优先被摄体设置中设置的类别。

也就是说，例如，如果优先被摄体设置是“人”，则判断由用户在显示画面上的触摸等指定的被摄体检测区域的类别是否是“动物”或除“人”以外的类别，或者如果优先被摄体设置是“动物”，则判断由用户的触摸等指定的被摄体检测区域的类别是否为“人”或除“动物”以外的类别。

如果判断为由用户在显示画面上的触摸等指定的被摄体检测区域的类别(第二类别)不同于在优先被摄体设置中设置的类别(第一类别)(步骤s120中为“是”)，则处理流程进入步骤s121。

也就是说，如果优先被摄体设置是“人”，并且如果判断为由用户在显示画面上的触摸等指定的被摄体检测区域的类别是“动物”或除“人”以外的类别，则处理流程进入步骤s121。

或者，如果优先被摄体设置是“动物”，并且如果判断为由用户的触摸等指定的被摄体检测区域的类别是“人”或除“动物”以外的类别，则处理流程进入步骤s121。

相反，如果判断为由用户在显示画面上的触摸等指定的被摄体检测区域的类别没有不同于在优先被摄体设置中设置的类别(步骤s120中为“否”)，则处理流程进入步骤s123。

也就是说，如果由用户在显示画面上的触摸等指定的被摄体检测区域的类别既不是动物也不是人(无论在优先被摄体设置中设置的类别如何)，则处理流程进入步骤s123。

或者，如果由用户在显示画面上的触摸等指定的被摄体检测区域不是在步骤s103中检测到的被摄体检测区域(这意味着触摸位置不是在步骤s103中检测到的被摄体位置)，则处理流程进入步骤s123。

在步骤s121中，系统控制单元50将在优先被摄体设置中预先设置的类别(第一类别)临时保存在系统存储器56中的预定区域中，并将通过优先被摄体设置而设置的类别(第一类别)改变为与通过用户在触摸画面上的触摸等指定的被摄体相对应的类别(第二类别)。

也就是说，如果优先被摄体设置是“人”，并且如果通过触摸显示画面等来指定动物，则“人”的设置被保存并且优先被摄体设置被临时改变为“动物”。

并且，如果优先被摄体设置是“动物”，并且如果通过触摸显示画面等来指定人，则“动物”的设置被保存并且优先被摄体设置被临时改变为“人”。

在步骤s122中，通过使用主被摄体框将由用户在显示画面上的触摸等指定的被摄体检测区域指示为“用户选择主被摄体区域”，并且处理流程进入步骤s124。

也就是说，将与在步骤s121中临时改变类别的被摄体相对应的被摄体检测区域视为主被摄体区域，并使其成为“任意选择条件”，并且处理流程进入步骤s124。

在步骤s123中，通过图像处理单元24将由用户在显示画面上的触摸指定的被摄体区域的图像数据设置为基准图像，并且基于从被摄体区域的图像数据中提取的诸如颜色信息和亮度信息等的特征值，开始作为对由用户在显示画面上的触摸等指定的主被摄体的跟踪的“触摸跟踪”，然后处理流程进入步骤s124。

在这点上，触摸跟踪是指对由用户在显示画面上的触摸等指定的主被摄体(在显示画面的菜单中不存在该主被摄体的类别)的跟踪，其中，触摸跟踪由图像处理单元24进行。

在步骤s124中，判断是否通过用户对快门释放按钮61的按下或对操作单元70中的动态图像拍摄按钮的操作来指示拍摄操作。

如果判断为指示了拍摄操作(步骤s124中为“是”)，则处理流程进入步骤s125。

相反，如果判断为未指示拍摄操作(步骤s124中为“否”)，则处理流程返回到步骤s102，并开始处理下一图像帧。

在步骤s125中，进行针对静态图像或动态图像的拍摄处理。

在拍摄处理中，系统控制单元50读出由摄像单元22拍摄的图像数据，控制图像处理单元24处理该图像数据以使其显影和压缩，并经由i/f18将处理后的图像数据存储在存储单元200中。

在步骤s126中，判断在步骤s121中是否已临时改变优先被摄体设置。

如果在步骤s126中为“是”，则处理流程进入步骤s127，而如果在步骤s126中为“否”，则处理流程返回至步骤s102并开始处理下一图像帧。

在步骤s127中，丢弃在步骤s121中临时保存在系统存储器56的预定区域中的先前优先被摄体设置(第一类别)，并且将该设置临时改变为的优先被摄体设置(第二类别)设置为初始值。

也就是说，基于初始值确定随后图像帧中的优先被摄体的类别，然后处理流程返回到步骤s102并开始处理下一图像帧。

然后，参照图5a、图5b和图5c，将描述根据实施例1的显示单元28的显示画面和主被摄体区域的被摄体框。

图5a、图5b和图5c是示出实施例1中的显示画面的示例的图。图5a示出了当优先被摄体设置是“人”时的显示画面的示例，图5b示出了当如图5a所示优先被摄体设置是“人”并且用户正在触摸画面上的动物(狗)时的显示画面的示例。图5c示出了在用户触摸画面上的动物(狗)之后的显示画面的示例。

在图5a中，501表示当优先被摄体设置是“人”时显示单元28上的显示画面。

由于优先被摄体设置是“人”，因此在步骤s111中判断是否检测到人。然后，如果在图5a中未检测到人，则如图5a中所示，在步骤s113中，用于指示主被摄体的被摄体框未显示在显示画面501上。

然后，在图5b中，示出了在图5a中的显示状态之后通过用户在显示画面502上的触摸来指定动物(狗)。

在图5c中，503表示在图5b中的显示状态之后显示单元28上的显示画面。

由于在图5b中用户触摸的被摄体检测区域的类别(“动物”)与通过优先被摄体设置而设置的类别(“人”)不同，因此在步骤s121中优先被摄体设置被临时从“人”改变为“动物”，并且在步骤s122中在狗的被摄体检测区域上显示指示“用户选择主被摄体”的被摄体框504。

另外，对主被摄体框中的图像优先进行焦点调整和曝光调整。

如上所述，系统控制单元50用作设置单元，该设置单元用于通过使用例如显示画面上的菜单等，对由被摄体检测单元检测到的被摄体中的、具有预定优先级的被摄体设置第一类别作为优先类别。

另外，在例如通过用户在显示画面上的触摸等来指定被摄体的意图被摄体区域的情况下，并且在意图被摄体区域的类别是第二类别的情况下，系统控制单元50将优先类别从第一类别改变为与第一类别不同的第二类别。

因此，不需要麻烦的操作(例如，每次改变主被摄体的类别时打开显示画面上的设置菜单)，就可以在显示实时取景图像期间快速改变优先被摄体设置的类别，使得可以容易且顺利地改变意图主被摄体的类别。

另外，在图像中丢失了类别被临时改变为第二类别的主被摄体的情况下，可以容易地恢复优先被摄体设置的先前类别(第一类别)。

[实施例2]

在下文中，将描述实施例2。

尽管在实施例1中，在显示画面上触摸了类别(第二类别)与通过优先被摄体设置而设置的类别(第一类别)不同的意图被摄体的情况下，将优先被摄体设置的类别(第一类别)临时改变为不同类别(第二类别)，使得将第二类别的意图被摄体临时设置为主被摄体。另外，如果在显示画面上丢失第二类别的意图被摄体，则恢复优先被摄体设置的先前类别(第一类别)。

与实施例1相反，在实施例2中，如果在显示画面上丢失临时改变的第二类别的意图被摄体，则基于先前被摄体检测位置处的被摄体区域的特征值(诸如颜色信息和亮度信息等)开始跟踪操作，并且如果不能继续跟踪，则将优先被摄体设置的类别(第二类别)改变为先前的设置。

以此方式，在通过用户在显示画面上的触摸来指定类别不同于在优先被摄体设置中设置的类别的意图被摄体的情况下，与实施例1相比，可以在更长的时间段，通过改变优先被摄体设置的类别来将意图被摄体临时设置为主被摄体。

图6是示出实施例2中的图像处理设备的操作的流程图。图7是示出实施例2中的图像处理设备的另一操作的流程图。图8是示出实施例2中的图像处理设备的又一操作的流程图。在各图中，对相同的处理赋予相同的附图标记，并将省略重复的描述。

当用户通过使用模式开关60选择静态图像拍摄模式或动态图像拍摄模式时，数字照相机100开始拍摄模式并进行图6中的处理。

系统控制单元50通过从非易失性存储器52中读出预定程序，通过在系统存储器56中展开程序，并通过控制数字照相机100中包括的各单元的操作或处理，来进行图6至图8所示的处理流程。

步骤s201至s202分别与实施例1中的步骤s101至s102相同，因此将省略其重复描述。

在步骤s203中，在步骤s202中生成的实时图像数据被从存储器32中读出，并通过被摄体检测进行处理以检测被摄体，然后处理流程进入步骤s204。

此时，仅检测通过被摄体检测单元26中的优先被摄体设置而设置类别的被摄体。

例如，在实施例2中，与实施例1(其中，无论优先被摄体设置如何，都检测多个可检测类别的被摄体)相反，如果优先被摄体设置是“人”，则仅检测人，而如果优先被摄体设置是“动物”，则仅检测动物。

因此，根据实施例2的数字照相机100可以降低处理负荷和电力消耗，并且可以使用不能同时检测多个类别的被摄体检测单元26。

步骤s204至s206分别与实施例1中的步骤s104至s106相同，因此将省略其重复描述。

在步骤s207中，判断在先前图像帧中是否已经进行了“用户选择主被摄体跟踪”，其中，“用户选择主被摄体跟踪”是指：通过使用“用户选择主被摄体区域”作为基准图像来在下面将描述的步骤s208中开始跟踪的跟踪操作。

如果在步骤s207中为“否”，则处理流程进入步骤s208，而如果在步骤s207中为“是”，则处理流程进入步骤s209。

在步骤s208中，由于在步骤s205中未检测到“用户选择主被摄体”，因此将紧挨在当前图像帧之前检测到的“用户选择主被摄体区域”设置为基准图像，使得使用基准图像开始“用户选择主被摄体跟踪”，并且处理流程进入步骤s221。

在步骤s209中，判断是否可以继续紧挨在当前图像帧之前开始的“用户选择主被摄体跟踪”。

在这点上，基于在从由图像处理单元24设置为基准图像数据的“用户选择主被摄体”的图像数据中提取的特征值(诸如颜色信息和亮度信息等)与从当前图像帧中提取的特征值之间是否存在大于预定值的相关度，来判断是否可以继续“用户选择主被摄体跟踪”。

如果判断为可以继续“用户选择主被摄体跟踪”(步骤s209中为“是”)，则处理流程进入步骤s210，而如果判断为不能继续“用户选择主被摄体跟踪”(步骤s209为“否”)，则处理流程进入步骤s211。

在步骤s210中，基于由图像处理单元24从图像数据中提取的特征值(诸如颜色信息和亮度信息等)来更新“用户选择主被摄体跟踪”期间的“用户选择主被摄体区域”的位置和尺寸。

另外，更新在“用户选择主被摄体跟踪”期间在显示画面上显示的用于指示主被摄体区域的被摄体框的位置和尺寸，并且处理流程进入步骤s221。

步骤s211至s223分别与实施例1中的步骤s107至s119相同，因此将省略其重复描述。

在图8的步骤s224中，当从存储器32中读出在步骤s202中生成的实时取景图像数据时，被摄体检测单元26开始进行“非优先被摄体检测”(其中检测与通过优先被摄体设置预先设置的类别(第一类别)不同的类别(第二类别)的被摄体)，并且处理流程进入步骤s225。

也就是说，例如，如果优先被摄体设置为“人”，则开始检测诸如“动物”等的类别或不同于“人”的其他类别的被摄体，而如果优先被摄体设置为“动物”，则开始检测诸如“人”等的类别或不同于“动物”的其他类别的被摄体。

在步骤s225中，判断在步骤s224中进行的“非优先被摄体检测”中是否检测到非优先被摄体。

也就是说，如果优先被摄体设置是“人”，则判断是否检测到诸如“动物”等的类别或不同于“人”的其他类别的被摄体，而如果优先被摄体设置是“动物”，判断是否检测到诸如“人”等的类别或不同于“动物”的其他类别的被摄体。

如果判断为检测到非优先被摄体(步骤s225中为“是”)，则处理流程进入步骤s226。也就是说，如果优先被摄体设置是“人”，并且如果判断为检测到诸如“动物”等的类别或不同于“人”的其他类别的被摄体，则处理流程进入步骤s226。

并且，如果优先被摄体设置是“动物”，并且如果判断为检测到诸如“人”等的类别或不同于“动物”的其他类别的被摄体，则处理流程进入步骤s226。

相反，如果判断为未检测到非优先被摄体(步骤s225中为“否”)，则处理流程进入步骤s229。

在步骤s226中，判断是否通过用户在显示画面上的触摸等来指定类别不是第一类别的非优先被摄体的被摄体检测区域。

也就是说，如果优先被摄体设置是“人”，则判断是否检测到诸如“动物”等的类别或不同于“人”的其他类别的被摄体，而如果优先被摄体设置是“动物”，判断是否检测到诸如“人”等的类别或不同于“动物”的其他类别的被摄体。

步骤s227至s233分别与实施例1中的步骤s121至s127相同，因此将省略其重复描述。

因此，同样在实施例2中，当用户想要将类别不同于通过优先被摄体设置而设置的类别的意图被摄体设置为主被摄体时，可以通过响应于用户对显示在显示画面上的意图被摄体的触摸而临时改变优先被摄体设置，来快速地改变意图被摄体的类别。因此，可以容易地将意图被摄体改变为主被摄体。

因此，不需要麻烦的操作(例如，每次改变主被摄体的类别时打开显示画面上的设置菜单)，就可以在显示实时取景图像期间快速改变优先被摄体设置的类别，使得可以容易地将意图被摄体的类别改变为主被摄体。

另外，在实施例2中，如果在显示画面上丢失了临时改变的第二类别的意图被摄体，则由于基于诸如颜色信息和亮度信息等的特征值开始跟踪操作，因此与实施例1相比，可以在更长的时间段期间将意图被摄体维持为主被摄体。

此外，如果无法继续跟踪，则通过自动恢复先前的设置，可以将优先被摄体设置容易地改变为先前的设置。

另外，由于仅检测类别(第一类别)与通过被摄体检测单元26中的优先被摄体设置而设置的类别(第一类别)相同的被摄体，因此根据实施例2的数字照相机100可以降低处理负荷和电力消耗，并且可以使用不能同时检测多个类别的被摄体检测单元26。

[实施例3]

在下文中，将描述根据实施例3的图像处理设备。

在实施例1和实施例2中，当在显示画面触摸等上触摸了非优先被摄体时，优先被摄体设置被临时改变，使得可以改变主被摄体。

相反，在本实施例3中，通过在非优先被摄体上设置与焦点检测区域相对应的焦点检测框并通过按下第一快门释放开关62以开始焦点检测，来改变优先被摄体设置，并且可以将非优先被摄体设置为主被摄体。

这样，与实施例1和实施例2一样，不需要麻烦的操作(例如，每次改变主被摄体的类别时打开显示画面上的设置菜单)，就可以在显示实时取景图像期间快速改变优先被摄体设置的类别，使得可以容易地将意图被摄体的类别改变为主被摄体。

另外，当停止按下第一快门释放开关62时，恢复临时改变的优先被摄体设置。

图9和图10是示出实施例3中的图像处理设备的操作的流程图。

当用户通过使用模式开关60选择静态图像拍摄模式和动态图像拍摄模式之一时，数字照相机100开始拍摄模式，并且执行图9中的处理。

系统控制单元50通过从非易失性存储器52中读出预定的程序，通过在系统存储器56中展开程序，并通过控制数字照相机100中包括的各单元的操作或处理，来进行图9和图10所示的处理流程。

在步骤s301中，从系统存储器56中读出用户预先设置的优先被摄体设置，使得确定主被摄体的类别，然后处理流程进入步骤s302。

关于优先被摄体设置，参考先前实施例1中的说明。

在步骤s302中，从摄像单元22中读出图像数据，然后在图像处理单元24中对其进行处理，使得生成通过白平衡处理和像素插值处理等而处理的图像数据并将其存储在存储器32中。

随后，由图像处理单元24处理的图像数据从存储器32中读出并调整尺寸等，以转换为用于实时取景的图像数据。

然后，图像数据在被提供到显示单元28的同时被写入到存储器32中，使得更新实时取景图像，然后处理流程进入步骤s303。

在步骤s303中，从存储器32中读出在步骤302中生成的图像数据，然后通过被摄体检测单元26对其进行处理以检测被摄体。

在这方面，无论被摄体检测单元26中的优先被摄体设置如何，都检测所有可检测类别的被摄体，使得可以检测人、动物(诸如狗、猫或鸟)以及它们的脸或身体。

在步骤s304中，判断是否存在通过用户在显示画面上的触摸等而指定的主被摄体区域。如果判断为存在通过用户在显示画面上的触摸等而指定的主被摄体区域(步骤s304中为“是”)，则处理流程进入步骤s305。

相反，如果判断为不存在通过用户在显示画面上的触摸等而指定的主被摄体区域(步骤s304为“否”)，则处理流程进入步骤s310。

在这方面，当用户通过在非优先被摄体上设置与焦点检测区域相对应的焦点检测框来指定主被摄体区域并开始焦点检测时(这将在下面关于步骤s315和s318进行说明)，判断为存在由用户在显示画面上的触摸等指定的主被摄体区域。

以此方式，在实施例2中，通过在显示画面上设置焦点检测区域来指定被摄体区域。

在用户直接在显示画面上指定主被摄体的情况下，不像其中数字照相机100自动选择主被摄体区域的自动选择模式那样容易地将主被摄体区域改变为其他检测区域，使得考虑到用户的意图，可以在更长的时间段期间维持相同的主被摄体区域。

下面将关于步骤s310至s312说明自动选择模式。

在步骤s305中，判断在步骤s303中的被摄体检测中是否已经检测到由用户在显示画面上的触摸指定的被摄体。并且，如果在步骤s305中为“是”，则处理流程进入步骤s306，而如果在步骤s305中为“否”，则处理流程进入步骤s307。

在步骤s306中，基于步骤s303中的被摄体检测结果，更新由用户在显示画面上的直接触摸指定的主被摄体区域的位置和尺寸。

另外，还更新显示在显示画面上的用于指示由用户在显示画面上的直接触摸指定的主被摄体区域的被摄体框的位置和尺寸。

在步骤s307中，由于判断为在显示画面中丢失了由用户在显示画面上的直接触摸指定的主被摄体，因此主被摄体区域的位置和尺寸被更新为消失。

另外，关闭用于指示由用户在显示画面上的直接触摸指定的主被摄体区域的被摄体框，然后可以代替地显示多个聚焦框(就像未检测到主被摄体的情况那样)，并且处理流程进入步骤s308。

在步骤s308中，判断在步骤s317中是否已经响应于用户的焦点检测指示而临时改变了优先被摄体设置，这将在下面详细说明。

如果判断为优先被摄体设置已经被临时改变(步骤s308中为“是”)，则处理流程进入步骤s309，而如果判断为优先被摄体设置没有被临时改变(步骤s308中为“否”)，处理流程进入步骤s313。

在步骤s309中，从系统存储器56中读出在步骤s317中已经临时改变的优先被摄体设置(将在下面说明)，将其恢复为先前的设置，然后处理流程进入步骤s313。

在步骤s310中，判断在步骤s303中进行的被摄体检测中是否检测到类别与通过优先被摄体设置而设置的类别相同的被摄体。

也就是说，如果优先被摄体设置为“人”，则判断是否检测到类别为“人”的被摄体，而如果优先被摄体设置为“动物”，则判断是否检测到类别为“动物”的被摄体。

如果在步骤s310中为“是”，则处理流程进入步骤s313，而在步骤s310中为“否”，则处理流程进入步骤s312。

在步骤s311中，基于在步骤s303中进行的被摄体检测的结果来选择主被摄体区域，并且更新主被摄体区域的位置和尺寸。

另外，还更新在自动选择条件下显示在显示单元28的显示画面上的用于指示主被摄体区域的被摄体框的位置和尺寸，然后处理流程进入步骤s313。

在步骤s312中，判断为未检测到类别与通过优先被摄体设置而设置的类别相同的主被摄体，并且将主被摄体区域的位置和尺寸重置为0，并且在自动选择条件下显示在显示单元28的显示画面上的用于指示主被摄体区域的被摄体框被更新为消失，然后处理流程进入步骤s313。

步骤s310至s312对应于数字照相机100中用于选择主被摄体的自动选择处理，其中，从优先被摄体设置已经设置了类别的被摄体中自动选择最佳被摄体，并且显示指示通过自动选择而选择的主被摄体区域的被摄体框。

在图10的步骤s313中，判断是否检测到响应于用户按下第一快门释放开关62来开始焦点检测的指示。如果在步骤s313中为“是”，则处理流程进入步骤s314，而如果在步骤s313中为“否”，则处理流程进入步骤s320。

也就是说，通过在设置显示画面上的焦点检测区域之后操作预定的操作构件，最终确定被摄体区域的指定。

在步骤s314中，判断指示焦点检测的开始位置的焦点检测框是否与在步骤s303中检测到被摄体检测区域中的、类别与优先被摄体设置中设置的类别相同的被摄体的被摄体检测区域重叠。

也就是说，如果优先被摄体设置是“人”，则判断焦点检测框是否与人检测区域重叠，而优先被摄体设置是“动物”，则判断焦点检测框是否与动物检测区域重叠。

如果在步骤s314中为“是”，则处理流程进入步骤s315，而如果在步骤s314中为“否”，则处理流程进入步骤s316。

在步骤s315中，类别与通过优先被摄体设置而设置的类别(第一类别)相同并且与指示焦点检测的开始位置的焦点检测框重叠的被摄体的被摄体检测区域被设置为“用户选择主被摄体区域”，然后处理流程进入步骤s320。

在步骤s316中，判断指示焦点检测的开始位置的焦点检测框是否与通过步骤s303中的被摄体检测而检测到的被摄体检测区域中的、类别不是第一类别的非优先被摄体的被摄体检测区域重叠。

也就是说，如果优先被摄体设置是“人”，则判断焦点检测框是否与类别是“动物”或除“人”以外的类别的被摄体检测区域重叠，而如果优先被摄体设置是“动物”，则判断焦点检测框是否与类别为“人”或除“动物”以外的类别的被摄体检测区域重叠。

如果焦点检测框与非优先被摄体的被摄体检测区域重叠(步骤s316中为“是”)，则处理流程进入步骤s317。

也就是说，如果优先被摄体设置为“人”，并且如果判断为焦点检测框与类别为“动物”或除“人”以外的类别的被摄体检测区域重叠，则处理流程进入步骤s317。

或者，如果优先被摄体设置是“动物”，并且如果判断为焦点检测框与类别是“人”或除“动物”以外的类别的被摄体检测区域重叠，则处理流程进入步骤s317。

相反，如果判断为焦点检测框与非优先被摄体的被摄体检测区域不重叠(步骤s316中为“否”)，则处理流程进入步骤s319。

也就是说，无论优先被摄体设置如何，如果判断为焦点检测框与类别不是“人”和“动物”(这些类别是在步骤s303中的被摄体检测处理中检测到的被摄体检测区域的类别)中的任一个类别的被摄体的被摄体检测区域重叠，则处理流程进入步骤s319。

或者，如果判断为焦点检测框与不存在检测到的被摄体的区域重叠，则处理流程进入步骤s319。

在步骤s317中，预先设置的优先被摄体设置(第一类别)被保存在系统存储器56中的预定区域中，并且将优先被摄体设置中设置的类别(第一类别)临时改变为不同的类别(第二类别)，然后处理流程进入步骤s318。

也就是说，如果优先被摄体设置是“人”，并且如果在焦点检测框与“动物”重叠的情况下开始焦点检测，则设置“人”被保存在系统存储器56中并且优先被摄体设置被临时改变为“动物”，而如果优先被摄体设置为“动物”，并且如果在焦点检测框与“人”重叠的状态下开始焦点检测，则设置“动物”被保存在系统存储器56中并且优先被摄体设置被临时改变为“人”。

在步骤s318中，将与焦点检测框重叠的非优先被摄体的被摄体检测区域设置为“用户选择主被摄体区域”，并且处理流程进入步骤s320。

也就是说，将与在步骤s317中临时改变的优先被摄体设置相对应的被摄体检测区域设置为主被摄体区域(其作为“任意选择条件”)，处理流程进入步骤s320。

在步骤s319中，由于与焦点检测框重叠的区域不包括被摄体检测区域，因此与未检测到被摄体的情况一样，显示多个焦点检测框，并且处理流程进入步骤s320。在这种情况下，针对多个焦点检测框进行焦点调整和曝光调整。

在步骤s320中，判断用户是否仍在按下第一快门释放开关62，如果为“是”，则处理流程进入步骤s323，而如果为“否”，则处理流程进入步骤s321。

在步骤s321中，判断是否响应于在紧挨当前图像帧之前的图像帧中开始焦点检测的用户指示而在步骤s317中临时改变了优先被摄体设置，并且如果在步骤s321中为“是”，则处理进入步骤s322，而如果在步骤s321中为“否”，则处理进入步骤s323。

在步骤s322中，读出并恢复临时改变并保存在系统存储器56中的优先被摄体设置，并且处理进入步骤s323。

在步骤s323中，判断是否通过用户对例如快门释放按钮61或操作单元70的动态图像拍摄按钮的操作来指示拍摄的开始。

如果在步骤s323中为“是”，则处理进入步骤s324，而如果在步骤s323中为“否”，则处理返回步骤s302，并且开始下一个图像帧的处理。

在步骤s324中，执行诸如静态图像拍摄或动态图像拍摄的拍摄处理，然后处理进入步骤s325。

在拍摄处理中，由摄像单元22拍摄的图像数据被读出并由图像处理单元24进行处理，以被显像和压缩等，然后经由i/f18存储在存储单元200中。

在步骤s325中，响应于开始焦点检测的用户指示，判断在步骤s317中是否临时改变了优先被摄体设置，并且如果在步骤s325中为“是”，则处理流程进入步骤s326，而如果在步骤s325中为“否”，则处理流程返回到步骤s302，并且开始下一图像帧的处理。

在步骤s326中，丢弃在步骤s317中存储在系统存储器56中的先前优先被摄体设置，并且将之前临时改变的优先被摄体设置存储为用户设置，处理流程返回到步骤s302，然后开始处理下一个图像帧。

图11a和图11b是示出实施例3中的显示画面的示例的图。图11a示出当优先被摄体设置为“人”时的显示画面的示例，图11b示出当用户按下第一快门释放开关62以开始焦点检测操作时的显示画面的示例。

图11a中的401表示当优先被摄体设置为“人”时显示单元28上的显示画面，其中狗显示在显示画面上。

由于优先被摄体设置是“人”，因此在步骤s310中判断是否检测到“人”。然而，由于在显示画面401中未检测到“人”，因此在步骤s312中未在显示画面上显示指示主被摄体的被摄体框，而指示焦点检测的开始位置的焦点检测框402手动或自动显示在显示画面401上。

图11b中的404表示当用户按下第一快门释放开关62以开始焦点检测操作时显示单元28上的显示画面。

如图11a所示，指示焦点检测的开始位置的焦点检测框402显示在类别为“动物”的被摄体的被摄体检测区域上，该类别不同于在优先被摄体设置中设置的类别“人”。

在该状态下，如果按下第一快门释放开关62，则在步骤s317中将优先被摄体设置从“人”临时改变为“动物”，并且在步骤s318中在类别为“动物”的被摄体上显示“用户选择主被摄体”的被摄体框404。

如上所述，在实施例3中，与实施例1和实施例2一样，用户可以通过使用优先被摄体设置，通过使用显示画面上的设置菜单等来设置意图被摄体的类别，使得可以仅将意图被摄体设置为主被摄体。

另外，如果用户想要将意图的非优先被摄体设置为主被摄体，则用户可以在意图的非优先被摄体上手动设置指示焦点检测的开始位置的焦点检测框402，并且可以通过按下快门释放开关62来指示开始焦点检测。

因此，可以临时改变优先被摄体设置，使得可以将类别与通过优先被摄体设置预先设置的类别不同的意图被摄体重新设置为主被摄体。

这样，与实施例1和实施例2一样，不需要麻烦的操作(例如，每次改变主被摄体的类别时打开显示画面上的设置菜单)，就可以在显示实时取景图像期间快速改变优先被摄体设置的类别，使得可以容易地将意图被摄体的类别改变为主被摄体。

另外，如果丢失了意图被摄体或者如果停止了对第一快门释放开关62的按下，则可以顺利地恢复临时改变的优先被摄体设置。

[实施例4]

接下来，将说明实施例4。

在实施例1和实施例2中，如果用户想要将意图的非优先被摄体设置为主被摄体，则通过在显示画面上触摸意图被摄体等，可以临时改变优先被摄体设置，使得可以将意图被摄体设置为主被摄体。

在实施例3中，当用户在意图的非优先被摄体上手动设置了指示焦点检测的开始位置的焦点检测框402，并且通过按下快门释放开关62等指示开始焦点检测时，可以临时改变优先被摄体设置，使得可以将类别与通过优先被摄体设置预先设置的类别不同的意图被摄体重新设置为主被摄体。

相反，在实施例4中，在显示画面上显示的指示当前优先被摄体设置的图标或字符、或操作单元70中的预定按钮被分配有用于改变优先被摄体设置的功能。并且，通过触摸显示画面上的图标或字符或通过按下预定按钮，优先被摄体设置被改变，使得可以容易地将意图被摄体改变为主被摄体。

这样，与实施例1至3相同，不需要麻烦的操作(例如，每次改变主被摄体的类别时打开显示画面上的设置菜单)，就可以在显示实时取景图像期间快速改变优先被摄体设置的类别，使得可以容易地将意图被摄体的类别改变为主被摄体。

图12是示出实施例4中的图像处理设备的操作的流程图。

在实施例4中，将省略对与实施例1至3中相同的处理的重复描述或说明。

在用户通过使用模式开关60选择静态图像拍摄模式和动态图像拍摄模式之一，并且数字照相机100开始选择的拍摄模式的情况下，执行图12所示的处理流程。

系统控制单元50通过从非易失性存储器52中读出预定的程序，通过在系统存储器56中展开程序，并通过控制数字照相机100中包括的各单元的操作或处理，来进行图12所示的处理流程。

在步骤s401中，从系统存储器56中读出用户预先设置的优先被摄体设置，使得确定主被摄体的类别，然后处理流程进入步骤s302。

另外，在显示单元28的显示画面上显示指示优先被摄体设置的图标或字符，然后处理流程进入步骤s402。

步骤s402和s403分别与实施例1的步骤s102和s103相同，因此将省略重复的描述。

在步骤s404中，判断在步骤s403中进行的被摄体检测中是否检测到类别与通过优先被摄体设置而设置的类别相同的被摄体。

也就是说，如果优先被摄体设置为“人”，则判断是否检测到类别为“人”的被摄体，而如果优先被摄体设置为“动物”，则判断是否检测到类别为“动物”的被摄体。

如果在步骤s404中为“是”，则处理流程进入步骤s405，而如果在步骤s404中为“否”，则处理流程进入步骤s406。

在步骤s405中，基于在步骤s403中进行的被摄体检测的结果来选择主被摄体区域，并更新主被摄体区域的位置和尺寸。

另外，还更新在自动选择条件下在显示单元28的显示画面上显示的用于指示主被摄体区域的被摄体框的位置和尺寸，然后处理流程进入步骤s407。

在步骤s406中，由于判断为未检测到类别与通过优先被摄体设置而设置的类别相同的主被摄体，因此关闭对主被摄体的自动选择，将主被摄体区域的位置和尺寸重置为0，并且将在自动选择条件下显示在显示单元28的显示画面上的用于指示主被摄体区域的被摄体框更新为消失，然后处理流程进入步骤s407。

步骤s404至s406对应于数字照相机100中用于选择主被摄体的自动选择处理，其中，从通过优先被摄体设置已经设置了类别的被摄体中自动选择最佳被摄体，并且显示指示通过自动选择而选择的主被摄体区域的被摄体框。

在步骤s407中，判断是否通过对触摸面板操作单元72的触摸操作来触摸了显示在显示画面上的指示当前优先被摄体设置的图标或字符。

如果在步骤s407中为“是”，则处理流程进入步骤s408，而如果在步骤s407中为“否”，则处理流程进入步骤s409。

在步骤s408中，将当前优先被摄体设置改变为其他类别。

例如，如果优先级设置为“人”，则将优先级设置改变为“动物”，而如果优先级设置为“动物”，则将优先级设置改变为“人”。

如果优先被摄体设置包括多于两个的类别，则每当触摸显示画面上的图标或字符时，可以依次地且周期性地改变设置，或者可以将类别改变为除被设置为在步骤s403中检测的优先被摄体设置的类别以外的类别。

在步骤s409中，判断用户是否按下了分配有用于改变优先被摄体设置的功能的预定按钮。

如果在步骤s409中为“是”，则处理流程进入步骤s410，而如果在步骤s409中为“否”，则处理流程返回至步骤s402，并开始处理下一图像帧。

在步骤s410中，将当前优先被摄体设置改变为其他类别。

例如，如果当前优先被摄体设置为“人”，则将当前优先被摄体设置改变为“动物”，而如果当前优先被摄体设置为“动物”，则将当前优先被摄体设置改变为“人”。

如果优先被摄体设置包括多于两个的类别，则每当触摸显示画面上的图标或字符时，可以依次地且周期性地改变设置，或者可以将类别改变为除被设置为在步骤s403中检测的优先被摄体设置的类别以外的类别。

如上所述，在实施例4中，与实施例1和实施例2一样，用户可以通过使用优先被摄体设置，特别是通过使用显示画面上的设置菜单等来设置意图被摄体的类别，使得可以仅将意图被摄体设置为主被摄体。

另外，如果用户想要将意图的非优先被摄体设置为主被摄体，则通过触摸指示当前优先被摄体设置的图标或字符，可以快速改变优先被摄体设置，使得可以容易地将意图被摄体改变为主被摄体。

或者，通过按下操作单元70中的分配有用于改变优先被摄体设置的功能的预定按钮，快速地改变优先被摄体设置，使得可以容易地将意图被摄体改变为主被摄体。

因此，与实施例1至3一样，不需要麻烦的操作(例如，每次改变主被摄体的类别时打开显示画面上的设置菜单)，就可以在显示实时取景图像期间快速改变优先被摄体设置的类别，使得可以容易地将意图类别的被摄体改变为主被摄体。

在这点上，尽管通过使用摄像设备说明了上述实施例中的图像处理设备，但是图像处理设备可以是不具有摄像功能的pc、平板电脑等。

另外，以上实施例中的单元可以包括分立的电子电路或者fpga、cpu等。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变形例以及等同的结构和功能。

另外，可以通过网络或各种存储介质，向图像处理装置供给用于实现本实施例中的控制和上述实施例的功能中的一些或全部的计算机程序。此外，该图像处理装置中的计算机(或cpu、mpu等)可以读取并执行计算机程序。在这种情况下，程序和存储该程序的存储介质构成本发明。

本申请要求2020年2月19日提交的日本申请2020-26290的优先权，该申请的全部内容通过引用并入本文。