基于物体区域处理图像的装置及方法与流程

本发明涉及基于图像中的物体区域处理图像的装置及方法。

背景技术：

近年来，监控照相机已变得流行。因此，通过公共场所中的监控照相机捕获的视频图像中包括的个人外表，能够被其他人容易地看到。从隐私的角度来看，这就变成了问题。因此，存在如下迫切需求：模糊监控照相机视频图像的人物部分，或者仅显示进入了禁止区域的人物而模糊其他人。还存在如下需求：例如，不仅在监控照相机视频图像中，而且在公共场所的广播视频图像中，仅显示播音员而模糊其他人。

作为保护照相机视频图像中的隐私的方法，日本特开2008-191884号公报讨论了如下方法：使用背景图像提取视频图像中的人物区域，并进行模糊处理。日本特开2004-62560号公报讨论了如下方法：通过面部检测处理来提取视频图像中的面部区域，并通过将提取出的面部区域与预先登记的面部图像进行对照，来仅显示特定人物。日本特开2011-130203号公报讨论了如下方法：识别视频图像中的人物的异常行为，并仅显示进行了该异常行为的人物。

然而，在日本特开2008-191884号公报中讨论的方法中，将背景图像与照相机视频图像相互进行比较以提取人物区域。因此，当视频图像中包括人物以外的动物体时，或者当背景被改变时，无法将人物与其他部分相互区分。在日本特开2004-62560号公报中讨论的方法中，当面部认证失败时，显示了期望被保护的部分。在日本特开2011-130203号公报中讨论的方法中，当不是异常的行为被错误地识别为异常行为时，也显示了期望被保护的部分。

技术实现要素：

本发明旨在提供如下技术：提取特定区域中存在的物体区域，并显示提取出的物体区域。利用该技术，例如能够显示特定位置处的人物，同时保护其他人物的隐私。

根据本发明的一方面，图像处理装置包括：图像数据获取单元，其被构造为获取图像数据；距离信息获取单元，其被构造为获取与所述图像数据相对应的距离信息；检测单元，其被构造为基于所述距离信息，从所述图像数据中检测各自表示物体的一个或更多个物体区域；提取单元，其被构造为基于所述距离信息，从检测到的物体区域当中提取表示不与特定三维区域交叠的物体的物体区域；以及图像处理单元，其被构造为基于所提取出的物体区域，对所述图像数据进行图像处理。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1例示了图像处理装置的硬件构造的示例。

图2例示了图像处理装置的软件构造的示例。

图3是例示信息处理的示例的流程图。

图4例示了图像获取单元获取的图像数据的示例。

图5例示了深度图像的示例。

图6例示了与图像数据相对应的物体检测结果的示例。

图7例示了区域设置单元设置的特定区域的示例。

图8例示了背景图像的示例。

图9例示了合成图的示例。

图10例示了图像合成结果的示例。

具体实施方式

下面将参照附图描述本发明的示例性实施例。

图1例示了图像处理装置100的硬件构造的示例。在图1中，中央处理单元(CPU)101控制连接到系统总线104的各种设备。

只读存储器(ROM)102存储基本输入输出系统(BIOS)程序和引导程序。随机存取存储器(RAM)103用作CPU 101中的主存储设备。

键盘控制器(KBC)105进行与来自诸如鼠标的指示设备(PD)109和键盘(KB)110的信息的输入相关的处理。

显示控制单元(CRTC)106在其内部具有视频存储器，并根据来自CPU 101的指令在视频存储器上绘制图像数据，同时输出在视频存储器上绘制的图像数据，作为视频信号。尽管在图1中例示了阴极射线管(CRT)111作为显示设备，但是显示设备是什么类型并不重要。显示设备的示例为液晶显示设备。

盘控制器(DKC)107访问硬盘驱动器(HDD)112。

网络接口卡(NIC)108连接至网络，并经由网络进行信息通信。

硬盘驱动器(HDD)112是存储设备的示例。HDD 112存储操作系统(OS)的程序和在OS上运行的各种类型应用的各程序。

在前述构造中，当接通图像处理装置100的电源时，CPU 101根据存储在ROM 102中的引导程序，将OS的程序从HDD 112读取到RAM 103中，并进行处理以实现各设备的功能。

更具体地说，当图像处理装置100中的CPU 101基于程序进行处理时，实现图像处理装置100的软件构造、以及以下描述的流程图中的处理。

图2例示了图像处理装置100的软件构造的示例。

图像处理装置100包括图像获取单元210和图像获取单元220、深度图像获取单元200、区域设置单元300、物体检测单元400以及物体区域提取单元500，作为软件构造。图像处理装置100还包括背景图像存储单元600、合成图生成单元700、图像处理单元800以及结果输出单元900。

图像获取单元210和图像获取单元220分别获取通过不同照相机中的图像捕获单元捕获的图像数据。通过图像获取单元210和图像获取单元220中的各个获取的图像数据为红色(R)、绿色(G)和蓝色(B)图像数据。深度图像获取单元200获取与各像素相对应的距离信息，并获取使用距离信息作为像素值的深度图像，所述各像素构成从由图像获取单元210和图像获取单元220获取的图像数据当中的、由图像获取单元210获取的图像数据。

区域设置单元300设置由图像获取单元210获取的图像数据表示的图像中的特定区域。

物体检测单元400使用由深度图像获取单元200获取的深度图像，从由图像获取单元210获取的图像数据中检测物体位置。在本示例性实施例中，由物体检测单元400检测到的物体为人物。

物体区域提取单元500在由物体检测单元400检测到的物体当中，对存在于由区域设置单元300设置的特定区域内部的物体、以及存在于特定区域外部的物体进行区分，并且使用由深度图像获取单元200获取的深度图像，来提取物体区域。

背景图像存储单元600将仅表示背景而不包括人物的图像数据(下文中称为背景图像)，存储在RAM 103或HDD 112中，该图像数据已被图像获取单元210预先获取。

合成图生成单元700使用由物体区域提取单元500提取的物体区域，生成用于对由图像获取单元210获取的图像数据和存储在背景图像存储单元600中的背景图像进行合成的合成图。合成图是表示用于针对各像素合成两个图像数据的合成比率的图。

图像处理单元800使用由物体区域提取单元500提取的物体区域，对由图像获取单元210获取的图像数据和存储在背景图像存储单元600中的背景图像进行合成。

结果输出单元900将由图像处理单元800获得的合成图像数据显示在CRT 111上。

下面将参照图3的流程图来描述根据本示例性实施例的信息处理。

在步骤S100中，图像获取单元210和图像获取单元220获取捕获的图像数据。图像获取单元210和图像获取单元220中的各个将获取的图像数据存储在诸如RAM 103或HDD 112等的存储器中。图4中例示了由图像获取单元210获取的图像数据的示例。调整图像获取单元210和图像获取单元220中的各个的视野，使得获取的图像数据的各图像捕获场景基本上相互交叠。步骤S100中的处理是用于获取图像数据的处理的示例。

在步骤S200中，深度图像获取单元200获取分别与构成由图像获取单元210和图像获取单元220获取的图像数据中的、由图像获取单元210获取的图像数据的像素相对应的深度图像。在本示例性实施例中，深度图像获取单元200基于立体三角测量法的原理来获取深度图像。更具体地说，深度图像获取单元200通过模式匹配来找到由图像获取单元220获取的图像数据的像素位置(该像素位置与构成由图像获取单元210获取的图像数据的各像素相对应)，并获取视差位移量的二维分布作为深度图像。

深度图像获取单元200籍以获取深度图像的方法不限于该方法。例如，可以使用投影结构光图案以基于光投影编码图案来获得深度图像的图案投影方法或者基于光的飞行时间来测量距离的飞行时间方式。深度图像获取单元200将获取的图像数据存储在诸如RAM 103或HDD 112等的存储器中。图5中例示了由深度图像获取单元200获取的、与图4中例示的图像数据相对应的深度图像的示例。图5指示了像素的像素值越高，距离越近。

在步骤S300中，物体检测单元400从由图像获取单元210获取的图像数据中检测物体位置。物体检测单元400能够使用Dalal,N.,and Triggs B.,2005.Histograms of Oriented Gradients for Human Detection.IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR’05),Vol 1,886–893中讨论的方法，作为从图像中检测物体位置的方法。该方法用于从图像中提取像素值的梯度方向的直方图，并使用提取出的直方图作为特征量(方向梯度直方图(HOG)特征量)，来确定图像中的部分区域是否对应于人物。还可以使用类Haar特征量和SIFT特征量中的一者来替代HOG特征量。更具体地说，物体检测单元400能够使用像素值的梯度方向的特征量来表示人体的轮廓，并识别人物。

在本示例性实施例中，在步骤S200中获取深度图像。因此，物体检测单元400还从深度图像中提取用于识别人物的轮廓的特征量，并与HOG特征量结合使用该特征量来确定图像中的部分区域是否为人物。当从图像中检测物体位置时，物体检测单元400能够通过使用深度图像更加精确地捕捉人物的轮廓。尽管在本示例性实施例中使用人物作为对象来检测物体，但是也可以使用人物之外的物体作为检测对象。在这种情况下，物体检测单元400可以进行与用于识别充当检测对象的物体的特征量的对照。物体检测单元400输出检测到的物体的位置的坐标。图6中例示了与图4中例示的图像数据相对应的物体检测结果的示例。在图6中，分别通过矩形R1至R5来指示检测到的人物的位置。

在步骤S400中，物体区域提取单元500首先在由物体检测单元400检测到的物体当中，对存在于由区域设置单元300预先设置的特定区域内部的物体、以及存在于特定区域外部的物体进行区分，并提取物体区域。图7中例示了由区域设置单元300设置的特定区域。例如，在场景中放置占据如图7中的R所指示的三维区域的物体，通过图像获取单元210和图像获取单元220获取场景的图像数据，并且通过深度图像获取单元200使用场景的图像数据，来获取场景的深度图像。区域设置单元300将三维空间上与深度图像中的物体相对应的区域，设置为特定区域。

首先，物体区域提取单元500从深度图像中获取与由物体检测单元400检测到的各物体位置(图6中例示的示例中的R1至R5)相对应的距离数据，并根据各物体位置的三维坐标确定各物体位置是否在由区域设置单元300设置的特定区域内。

例如，在图6中例示的物体检测结果中，将由R1指示的物体位置确定为在图7中例示的区域R内。作为示例，我们假设在由图6中例示的R1指示的区域中检测到的人物后面存在其他人物。如果仅通过使用图像中的二维位置关系来将该其他人物确定为类似地在区域R内，则作为结果，无法将该其他人物与在由R1指示的区域中检测到的人物相区分。

然而，在本示例性实施例中，物体区域提取单元500使用深度图像，基于三维位置关系，来确定由R1指示的物体位置是否在特定区域内。因此，即使在由R1指示的区域中检测到的人物后面存在其他人物，也能够区分这两个人物。

物体区域提取单元500基于相应距离数据的边缘位置，从深度图像中的图像区域(图5中例示的虚线矩形)中分别提取人物的轮廓，这些图像区域对应于与特定区域外部的物体相对应的物体检测结果(即，图6中例示的R2至R5)。物体区域提取单元500从由图像获取单元210获取的图像数据的轮廓位置中提取物体区域，该轮廓位置对应于提取出的轮廓(从深度图像中提取的)。由物体区域提取单元500输出的物体区域可以是表示轮廓的图像上的坐标值，或者可以是坐标值的矢量表示。物体区域可以是由在区域内部为“1”或者在区域外部为“0”的各像素构成的二值图像。

在步骤S500中，图像处理单元800使用由物体区域提取单元500提取的物体区域，对由图像获取单元210获取的图像数据与存储在背景图像存储单元600中的背景图像进行合成。图8中例示了存储在背景图像存储单元600中的背景图像的示例。背景图像是由图像获取单元210事先获取的不存在人物(物体)的图像数据。

合成图生成单元700首先使用由物体区域提取单元500提取的物体区域，生成用于对由图像获取单元210获取的图像数据和存储在背景图像存储单元600中的背景图像进行合成的合成图。合成图是如下图，在该图中，针对在由物体区域提取单元500提取的物体区域内部为“1”或者在物体区域外部为“0”的各像素构成的二值图像，将实数k(其中，0≤k<1)分配给像素“1”，并将实数1分配给像素“0”。

图9中例示了合成图的示例。在图9中，白色区域中的值为1，灰色区域中的值为k。图形处理单元800使用由合成图生成单元700生成的合成图，对由图像获取单元210获取的图像数据和背景图像进行合成。当由图像获取单元210获取的图像数据中的像素(i，j)处的像素值为P_A(i，j)、背景图像中的像素值为P_B(i，j)、合成图中的值为α(i，j)时，通过以下等式(1)来表达合成之后的像素值P(i，j)：

P(i,j)＝α(i,j)×P_A(i,j)+(1–α(i,j)×P_B(i,j)…(1)

更具体地说，将由图像获取单元210获取的图像数据直接合成在由物体区域提取单元500提取的物体区域之外的区域中，并且以k：(1-k)的比率将获取的图像数据和背景图像合成在由物体区域提取单元500提取的物体区域中。在k＝0的情况下，利用背景图像来替换特定区域外部的人物。当k的值被设置为适当小的值(例如0.1)时，使特定区域外部的人物半透明显示。因此，通过显示的图像，虽然能够找到人物存在的场所，但是不能识别人物个体。图10中例示了与图4中例示的图像数据相对应的图像合成结果的示例。

虽然在本示例性实施例中，使特定区域外部的人物半透明，但是相反地可以仅使特定区域内部的人物半透明。在这种情况下，在步骤S400的处理中，物体区域提取单元500提取与检测结果(图6中例示的示例中的R1)相对应的物体区域，该检测结果与由区域设置单元300设置的特定区域内部的物体相对应。

图像处理单元800能够在不使特定区域外部的人物半透明而使人物模糊的情况下保护隐私。在这种情况下，图像处理单元800可以进行使用合成图中的值来模糊由图像获取单元210获取的图像数据的处理，以替代进行在步骤S500的处理中利用背景图像进行图像合成的处理。

在步骤S600中，结果输出单元900显示由图像合成单元800获得的合成图像数据。步骤S600中的处理是用于输出处理结果的处理的示例。

针对各获取的图像数据反复进行步骤S100至S600中的处理。

如上所述，在本示例性实施例中，从获取的图像中检测物体，使用深度图像在检测到的物体当中对存在于特定区域内部的物体和存在于特定区域外部的物体进行区分，并且提取物体区域。因此，对分别与输入图像中的特定物体和其他物体相对应的区域进行区分，使得能够针对这些区域分别进行不同的图像处理。

因此，能够提供如下技术：显示特定位置处的人物并保护其他人物的隐私。

其他实施例

另外，可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多程序)以执行上述实施例中的一个或更多的功能、并且/或者包括用于执行上述实施例中的一个或更多的功能的一个或更多电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多的功能、并且/或者控制所述一个或更多电路执行上述实施例中的一个或更多的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存设备以及存储卡等中的一者或更多。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。