图像处理设备、图像处理方法以及程序的制作方法
【技术领域】
[0001]本公开内容涉及用于执行确定图像中主要被摄体的处理的图像处理设备、图像处理方法以及程序。
【背景技术】
[0002]最近的数码静止照相机和数码摄像机通常具有面部检测功能，并且具有根据面部位置和区域来最优地匹配照相机的各种参数(焦点、亮度等)的功能。
[0003]另一方面，专利文献I公开了如下技术:用户指定并选择要在捕获图像中被跟踪的目标被摄体的“主要被摄体”。
[0004]此外，例如，如果使用在上述专利文献2、3和4中公开的技术，则可以实现包围任意被摄体的全身的框的被摄体跟踪。
[0005]此外，还存在控制光学系统等的功能(诸如自动对焦和自动曝光)，使得捕获图像中的期望区域被检测和跟踪，以便优化该区域。
[0006]如上所述，如下技术是已知的:在捕获图像中跟踪由用户指定的图像作为主要被摄体(例如诸如面部的图像区域)、对焦在面部区域等。
[0007]引用列表
[0008]专利文献
[0009]专利文献1:JP2011-166305A
[0010]专利文献2:JP2011-146826A
[0011]专利文献3:JP2011-146827A
[0012]专利文献4:JP2011-160379A
【发明内容】
[0013]技术问题
[0014]但是，在捕获图像中，要进行跟踪或对焦的期望区域(即“主要被摄体”)目前是通过由拍摄者利用任何方法从“多个候选区域”中直接选择一个候选来决定的，其中这多个候选区域从各种检测器获得。
[0015]例如，在握持照相机的状态下，通过从投影到在触摸面板的画面上显示的直通图像(在操控快门的时间之外的其它时间显示的被摄体的监视图像)上的多个面部选择任意面部的动作来选择主要被摄体。作为替代，在用户指定的时间(半压快门等)将在预定区域中存在的被摄体设定为主要被摄体。
[0016]但是，当在实际的使用示例中考虑用户界面时，存在“由拍摄者选择主要被摄体”的动作本身就困难的情况。
[0017]例如，当用户想要使用维持对来回移动的被摄体对焦的功能时，用户难以在瞄准被摄体的同时利用他或她握持照相机的手指来选择该被摄体。
[0018]例如，存在由于对被摄体的变化(移动)的用户的反应速度而导致指定困难的情况。例如，存在难以精确地指定在直通图像的画面上来回移动的被摄体的情况。
[0019]此外，在用户首先将照相机握持在他或她的手中并将照相机转向被摄体以选择被摄体的情形下，用户难以执行利用他或她的手指在画面上选择主要被摄体的动作。特别地，在跟踪被摄体(例如用户改变成像方向以使照相机移动用于平摇(pan)或俯仰(tilt))的情形下，几乎不可能选择主要被摄体。
[0020]此外，存在用户难以以布置了触摸面板的显示画面的分辨率选择被摄体的情况。
[0021]此外，还存在如下情况:难以依赖于布置了触摸面板的显示画面上被摄体的尺寸和用户的手指的尺寸(厚度)来合适地指定期望被摄体。
[0022]此外，还存在如下情况:由于照相机系统的时滞(例如实际场景与捕获图像的直通图像之间的时滞)而使得用户难以合适地指定被摄体。
[0023]另外，当要在动态图像的成像和记录期间执行这种指定操控时，可能存在如下情况:可能原样地记录由选择主要被摄体的动作而造成的图像抖动，或者在由暂时屏蔽造成的跟踪丢失(失败)或出框时用户可能被强迫采取再选择的动作，等等。
[0024]如上所述，手持式照相机存在如下问题:选择主要被摄体的动作本身在需要该功能的许多使用示例中是困难的，这对拍摄者是有压力的。
[0025]因此，本公开内容旨在实现如下技术:确定诸如拍摄者的用户期望的目标被摄体，并且在没有用户有意地选择该被摄体的动作的情况下将该被摄体设定为主要被摄体。
[0026]问题的解决方案
[0027]根据本公开内容，图像处理设备包括:被摄体距离变化确定单元，配置为检测从成像位置到图像中存在的每个被摄体的距离的时间变化，并且基于该检测确定每个被摄体相对于成像位置的接近或远离趋势；以及主要被摄体确定单元，配置为基于由被摄体距离变化确定单元确定的每个被摄体的接近或远离趋势来确定主要被摄体。
[0028]根据本公开内容，图像处理方法包括:检测从成像位置到图像中存在的每个被摄体的距离的时间变化，并且基于该检测确定每个被摄体相对于成像位置的接近或远离趋势；以及基于确定的每个被摄体的接近或远离趋势来确定主要被摄体。
[0029]根据本公开内容的一种程序使运算处理设备执行用于实现图像处理设备或图像处理方法的处理。
[0030]根据本公开内容的实施例，执行在图像数据中自动确定主要被摄体的主要被摄体确定处理。
[0031]例如，当用户握持成像装置以执行成像时，用户在一些情况下瞄准正在接近的被摄体或正在远离的被摄体。例如，存在孩子、朋友、宠物等正在接近握持照相机的拍摄者的情况，或者火车、飞机、野鸟等正在从照相机远离的情况。根据这样的使用情况(成像目标)，存在将正在接近的被摄体设定为成像目标或者将正在远离的被摄体设定为成像目标的情况。因此，通过确定相对于被摄体的成像位置的接近或远离趋势并且基于每个确定的被摄体的接近或远离趋势来确定主要被摄体，可以估计用户认为是主要或主角的被摄体，因此可以相应地执行自动的主要被摄体确定。
[0032]本发明的有益效果
[0033]根据本公开内容，在捕获图像中自动确定主要被摄体，因此不需要诸如拍摄者的用户执行选择主要被摄体的动作。因此，可以实现产品附加值的增强，包括当利用手持安装了本公开内容的图像处理设备的成像装置来执行成像时可操作性的改进，对用户的压力的减小，以及由自动的主要被摄体确定而引起的各种功能的进一步实现。
【附图说明】
[0034]图1是本公开内容实施例的图像处理设备的配置例的框图。
[0035]图2是该实施例的图像处理设备的主要被摄体确定处理的流程图。
[0036]图3是第一实施例的成像装置的框图。
[0037]图4是第一实施例的主要被摄体确定的概述的说明图。
[0038]图5是第一实施例的接近确定的说明图。
[0039]图6是第一实施例的接近确定和主要被摄体确定处理的流程图。
[0040]图7是第二实施例的成像装置的框图。
[0041]图8是第二实施例的接近确定和主要被摄体确定处理的流程图。
[0042]图9是第三实施例的远离(recess1n)确定的说明图。
[0043]图10是第三实施例的远离确定和主要被摄体确定处理的流程图。
[0044]图11是第四实施例的成像装置的框图。
[0045]图12是第四实施例的区域划分块的说明图。
[0046]图13是第四实施例的接近确定的说明图。
[0047]图14是第四实施例的接近确定和主要被摄体确定处理的流程图。
[0048]图15是第四实施例的每块中时间对应处理的流程图。
[0049]图16是第四实施例的每块中时间对应处理的说明图。
[0050]图17是第四实施例的主要被摄体设定处理的流程图。
[0051]图18是第四实施例的主要被摄体设定处理的说明图。
[0052]图19是当实施例应用到计算机设备时的框图。
【具体实施方式】
[0053]在下文中，将按以下次序描述实施例。
[0054]〈1.实施例的图像处理设备的配置〉
[0055]<2.成像装置的配置〉
[0056]<3.主要被摄体确定的机会和目的等>
[0057]<4.成像装置的第一实施例>
[0058]<5.成像装置的第二实施例>
[0059]<6.成像装置的第三实施例>
[0060]<7.成像装置的第四实施例>
[0061]〈8.对程序和计算机设备的应用>
[0062]<9.修改例 >
[0063]〈1.实施例的图像处理设备的配置〉
[0064]图1示出根据实施例的图像处理设备的配置例。
[0065]图像处理设备I包括主要被摄体确定单元2和被摄体距离变化确定单元3。
[0066]被摄体距离变化确定单元3检测关于图像中存在的被摄体与成像位置的距离的时间变化，并基于该检测确定在被摄体的成像位置处的接近或远离趋势。接近或远离趋势是被摄体接近成像位置的接近趋势或者被摄体从成像位置远离的远离趋势之一。例如，被摄体距离变化确定单元3检测来自作为图像数据Dg顺序输入的帧图像的图像中的被摄体的距离变化，确定被摄体的接近或远离趋势，并向主要被摄体确定单元2顺序提供该接近或远离趋势。具体而言，从被摄体图像的尺寸获得距离变化，并确定接近或远离趋势。作为替代，被摄体距离变化确定单元3输入包含在图像数据中的被摄体的距离信息Id，从距离信息Id中的变化获得被摄体的距离变化，并确定接近或远离趋势。
[0067]基于由被摄体距离变化确定单元3确定的每个被摄体的接近或远离趋势，主要被摄体确定单元2确定主要被摄体。例如，主要被摄体确定单元2基于接近趋势的确定结果来确定主要被摄体。作为替代，主要被摄体确定单元2基于远离趋势的确定结果来确定主要被摄体。例如，具有接近或远离趋势的一些或全部被摄体被确定为主要被摄体。
[0068]然后，主要被摄体确定单元2输出主要被摄体信息Dm作为确定结果。
[0069]包括上述主要被摄体确定单元2和被摄体距离变化确定单元3的图像处理设备I可以通过充当运算处理设备的中央处理单元(CPU)或数字信号处理器(DSP)来实现。
[0070]还可以考虑主要被摄体确定单元2的功能由CPU等实现，而被摄体距离变化确定单元3的功能由连接到CPU的图像处理DSP等实现或者作为合作处理实现。
[0071]在图2A中示出由图像处理设备I执行的用于主要被摄体确定的处理的流程。
[0072]在步骤Fl中，被摄体距离变化确定单元3检测包含在图像数据中的被摄体的距离变化，并确定示出接近或远离趋势的被摄体。
[0073]在步骤F2中，主要被摄体确定单元2将已经观察到接近或远离趋势的被摄体确定为主要被摄体。
[0074]在步骤F3中，主要被摄体确定单元2输出作为主要被摄体的确定结果的主要被摄体信息Dm，以向应用程序等发送并从应用程序等接收主要被摄体信息Dm。
[0075]应用程序等根据主要被摄体图像被指明的事实来执行处理。例如，执行焦点控制、跟踪处理或者图像效果处理。
[0076]在图2B和图2C中，示出了作为图2A中步骤Fl和F2的处理的具体例子的两种方案。
[0077]图2B的处理例是检测每帧中图像数据中的被摄体的图像尺寸并获得其尺寸变化量以确定每个被摄体的接近或远离趋势的处理。即，
[0078]被摄体的距离的时间变化被检测为图像上的尺寸变化。为了描述，将这种构思的处理称为“尺寸确定方案”。以下要描述的第一至第三实施例将被描述为使用尺寸确定方案的构思的例子。
[0079]图2C的处理例是将图像数据划分成多个区域并检测图像中每个划分区域(块)中的被摄体的距离的时间变化的处理。为了描述，将这种构思的处理称为“块确定方案”。要描述的第四实施例是使用块确定方案的构思的例子。
[0080]将描述图2B中的尺寸确定方案。在这种情况下，步骤F10、F11、F12和F13的处理执行为图2A的步骤Fl，而步骤F14执行为图2A的步骤F2。
[0081]在步骤FlO中，被摄体距离变化确定单元3检测图像数据中可能成为主要被摄体的候选图像。候选图像例如是人脸图像、人身体图像、狗图像或者猫图像。通过对图像数据的图像分析处理，被摄体距离变化确定单元3设定一个候选图像或多个候选图像(诸如面部图像)作为图像中存在的被摄体。
[0082]在步骤Fll中，被摄体距离变化确定单元3计算每个候选图像的尺寸(面积)。例如，利用例如候选图像的区域的宽度X高度或者候选图像的像素个数来计算尺寸。
[0083]在步骤F12中，被摄体距离变化确定单元3计算每个候选图像的尺寸变化。例如，计算连续帧图像数据中当前处理目标帧的候选图像的尺寸与单位时间之前(例如，一帧之前)帧图像数据中该候选图像的尺寸之差。图像上候选图像的尺寸对应于成像位置(这是成像装置的位置，摄影者利用该成像装置执行成像)与被认为是候选图像的被摄体之间的距离。因此，当作为候选图像的被摄体正在接近时，尺寸随着帧的前进而增加。当作为候选图像的被摄体正在远离时，尺寸随着帧的前进而减小。即，尺寸变化可以被理解为距离变化。
[0084]在步骤F13中，被摄体距离变化确定单元3确定每个候选图像的接近或远离趋势。例如，当在某段时间期间观察到尺寸变化并且作为候选图像的被摄体接近时，被摄体的尺寸逐渐增加。即，在某种程度上平均地、累计地或者持续地观察到沿尺寸扩大方向的尺寸变化量。在这种情况下，候选图像可以被确定为在成像位置处具有接近趋势。
[0085]相反，当作为候选图像的被摄体远离时，被摄体的尺寸逐渐减小。S卩，在某种程度上平均地、累计地或者持续地观察到沿尺寸收缩方向的尺寸变化量。在这种情况下，候选图像可以被确定为在成像位置处具有远离趋势。
[0086]在步骤F14中，主要被摄体确定单元2选择具有接近或远离趋势的候选图像，并将该候选图像的被摄体设定为主要被摄体。
[0087]通过上述处理，接近成像位置的被摄体可以被自动地确定为主要被摄体，或者相反，从成像位置远离的被摄体可以被自动地确定为主要被摄体。
[0088]接下来，将描述图2C的块确定方案。在这种情况下，步骤F20、F21和F22的处理执行为图2A的步骤Fl，而步骤F23和F24的处理执行为图2A的步骤F2。
[0089]在步骤F20中，被摄体距离变化确定单元3检测每个划分区域(块)的被摄体距离，其中划分区域是从图像数据划分的多个区域。如以下将详细描述的，如由图12B的虚线指示的，划分区域(块)是指从一个图像划分的多个区域中的一个区域。在步骤F20中，在每个划分区域中检测在划分区域中绘出的被摄体的距离信息。
[0090]在步骤F21中，被摄体距离变化确定单元3计算关于每个划分区域的距离变化。例如，计算连续帧图像数据中当前处理目标帧的每个划分区域与单位时间之前(例如，一帧之前)帧图像数据中每个划分区域之间的被摄体距离之差。因此，计算每个划分区域中被摄体的距离变化。
[0091]在步骤F22中，被摄体距离变化确定单元3确定每个划分区域的接近或远离趋势。例如，当在某段时间期间观察到距离变化并且划分区域的被摄体接近时，距离值逐渐减小并且在某种程度上平均地、累计地或者持续地观察到沿距离缩短的方向的距离变化量。在这种情况下，划分区域的被摄体可以被确定为在成像位置处具有接近趋势。
[0092]相反，当划分区域的被摄体远离时，距离值逐渐增加并且在某种程度上平均地、累计地或者持续地观察到沿距离拉长的方向的距离变化量。在这种情况下，划分区域的被摄体可以被确定为在成像位置处具有远离趋势。
[0093]在步骤F23中，主要被摄体确定单元2确定包含存在接近或远离趋势的划分区域的被摄体图像区域。划分区域是从图像区域划分的，并且不是以一对一的方式与被摄体图像的区域对应。例如，在许多情况下，一个被摄体图像跨多个划分区域而存在。因而，在例如与具有接近或远离趋势的划分区域具有基本相同的被摄体距离值并且与该划分区域连续的区域(相邻区域或者还与该相邻区域相邻的区域)的条件下，主要被摄体确定单元2确定一个被摄体图像的区域范围。
[0094]然后，在步骤F24中，将在确定区域范围中的被摄体图像确定为主要被摄体。
[0095]通过上述处理，接近成像位置的被摄体可以被自动地确定为主要被摄体，或者相反，从成像位置远离的被摄体可以被自动地确定为主要被摄体。
[0096]在图1的图像处理设备I中，主要被摄体确定处理是如在上述每个例子中那样执行的，使得可以通过被摄体的运动(接近/远离)来估计用户意图作为目标的被摄体。因此，可以自动地执行主要被摄体确定，而不依赖于用户的人工操控。因此，图1中的图像处理设备I安装在根据主要被摄体的设定来执行操作的任意各种电子装置上，由此显著改进用户的可操作性。
[0097]<2.成像装置的配置〉
[0098]在下文中，将详细描述例示包括上述图像处理设备的成像装置10的主要被摄体确定处理。
[0099]在图3中示出根据该实施例的成像装置10的配置例。成像装置10的配置例适用于第一实施例。根据第二至第四实施例的成像装置10的配置例将在每次进行描述。
[0100]成像装置10被认为是所谓的数码静止照相机或所谓的数码摄像机，并且是执行成像或记录静止图像或移动图像并包括权利要求书中所描述的图像处理设备的装置。
[0101]图3中所示的成像装置10具有:光学系统11、成像器12、光学系统驱动单元13、传感器单元14、记录单元15、通信单元16、数字信号处理单元20、控制单元30、用户界面控制器(下文中称为“Π控制器”)32以及用户接口 33。
[0102]光学系统11具有诸如盖透镜(cover lens)、变焦透镜和对焦透镜的透镜以及