图像处理装置、图像处理方法和图像处理系统的制作方法
【专利摘要】本发明公开一种图像处理装置、图像处理方法和图像处理系统。图像处理装置包括被配置为对图像执行第一种检测处理的第一检测单元，被配置为执行用于从图像中通过第一种检测处理检测的区域中检测预定对象的第二种检测处理的第二检测单元，被配置为在第二检测单元在图像中从通过第一种检测处理检测到的区域没有检测到预定对象的情况下，确定用于提高第二种检测处理的精确度的摄像条件的确定单元，以及被配置为设置通过确定单元确定的摄像条件的设置单元。
【专利说明】
图像处理装置、图像处理方法和图像处理系统
技术领域
[0001]本发明涉及一种执行用于从图像检测预定对象的检测处理的图像处理装置、图像处理方法和图像处理系统。
【背景技术】
[0002]在监控摄像系统的领域中，存在一种通过使用图像分析技术从图像检测与预定条件匹配的物体的技术。在从图像检测诸如人体及面部等特定对象中，使用存储目标物体的特征的校对图案(collat1n pattern)(库)从图像中要被检测的区域中检测与该校对图案匹配的物体。
[0003]日本特开第2009-211311号公报讨论了此种图像处理装置。这项技术包括通过预定的比例因子缩减图像数据、从缩减的图像数据裁切要校对的图案并对其执行分析处理。在日本特开第2009-211311号公报中，顺次使用不同的比例因子应用于缩减处理，随后进行分析处理。通过这种方式，能够检测各种尺寸的人体。
[0004]诸如人体检测和面部检测等检测功能具有用以定义能够检测对象的最小尺寸和最大尺寸的规格。以可检测范围外的尺寸在图像上出现的人体或面部，要么不能被检测到，要么即使能够被检测到，也不能保证检测的精确度。
[0005]通过用户使用设置工具进行各种相关参数的设置，诸如检测功能执行开启/关闭设置及要检测的区域的设置等。通过在显示画面上重叠显示人体框或面部框、或者通过检测结果元数据的显示，向用户通知检测结果。
[0006]根据前述传统的图像处理装置，如果执行分析处理并且检测到诸如人体及面部等与预定条件匹配的物体，则清晰地显示结果。然而，如果没有检测到物体，则不显示结果。从而，用户不能容易地确认是否正确地设置了检测功能，以及检测功能是否在正确地运行。更具体地说，用户不能查明没有检测到物体的原因是在于检测功能无效还是在于与检测处理相关的参数的设置不恰当。因此，用户不能执行恰当的设置操作或参数修正操作来获得期望的处理结果。
【发明内容】
[0007]根据本发明的一方面，所述图像处理装置包括:第一检测单元，其被配置为对图像执行第一种检测处理;第二检测单元，其被配置为执行用于在所述图像中从通过所述第一种检测处理检测到的区域检测预定对象的第二种检测处理;确定单元，其被配置为在所述第二检测单元在所述图像中从通过所述第一种检测处理检测到的区域没有检测到所述预定对象的情况下，确定用于提高所述第二种检测处理的精确度的摄像条件；以及设置单元，其被配置为设置所述确定单元确定的所述摄像条件。
[0008]根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。
【附图说明】
[0009]图1是例示图像处理系统的示例的网络连接配置图。
[0010]图2是例示摄像装置的硬件配置的示例的框图。
[0011 ]图3是例示摄像装置的功能框图。
[00?2]图4是例不对象和人物之间的关联的不例图。
[0013]图5是例示对象和人物之间的关联的示例图。
[0014]图6是例示通过轨迹管理单元管理的信息的示例图。
[0015]图7是例示图像处理装置的操作的流程图。
[0016]图8是例示估计提示处理的流程图。
[0017]图9是例示设置变更前的信息提示画面的示例图。
[0018]图10是例示确认对话框的示例图。
[0019I图11是例示设置变更后的显示画面的示例图。
【具体实施方式】
[0020]下文将参照附图描述本发明的示例性实施例。
[0021]以下示例性实施例仅是用于执行本发明的示例，并且可以根据应用本发明的装置的配置适当地改正或修改示例性实施例。本发明并不限于以下示例性实施例。
[0022]图1是例示根据本示例性实施例的图像处理系统的操作环境的示例的网络连接配置图。在本示例性实施例中，将图像处理系统应用到网络摄像系统。
[0023]网络摄像系统10包括至少一个网络摄像机(以下还简称为“摄像机”)20以及至少一个信息处理装置30。通过局域网(LAN)40(S卩，网络线路)连接摄像机20和信息处理装置30。网络线路并不限于LAN，而可以是互联网或广域网(WAN)。与LAN 40的物理连接形态可以是有线或无线。在图1中，两个摄像机20(以下，共同称作“摄像机20”)以及两个信息处理装置30(以下，共同称作“信息处理装置30”)与LAN 40相连接。与LAN 40连接的装置台数并不限于图1中例示的台数。根据本示例性实施例的摄像机20用作执行用于从图像检测预定对象的检测处理的图像处理装置。
[0024]摄像机20具有光学变焦功能，并以预定的视角拍摄被摄体的图像。摄像机20具有从拍摄的图像检测与预定条件匹配的特定物体(诸如人的面部)的各种检测功能。检测功能的示例包括运动物体检测功能，人体检测功能以及面部检测功能。
[0025]摄像机20能够使用上述检测功能基于拍摄的图像数据执行检测处理，并经由LAN40向信息处理装置30发送处理结果和拍摄的图像数据。摄像机20还具有根据来自外部的通信变更诸如焦点等的摄像机摄像设置以及摄像机的视角的功能。摄像机20可以是鱼眼摄像机或多眼摄像机。
[0026]信息处理装置30包括例如个人计算机(PC)。用户(例如观察者)能够操作信息处理装置30。信息处理装置30具有再现从摄像机20分配的图像数据的显示控制功能，并显示检测处理结果。信息处理装置30还用作输入单元，利用该输入单元执行诸如与摄像机20执行的检测处理相关的参数设置等各种操作。
[0027]图2是例示摄像机20的硬件配置的示例的框图。
[0028]摄像机20包括中央处理单元(CPU)21、只读存储器(R0M)22、随机存取存储器(RAM)23、外部存储器24、摄像单元25、输入单元26、通信接口(I/F)27以及系统总线28。
[0029]CPU 21整体控制摄像机20的操作。CPU 21经由系统总线28控制各组成单元(22到27)。
[0030]ROM 22是存储CPU 21执行处理所需的控制程序的非易失性存储器。可以在外部存储器24或可移除存储介质(未例示)中存储控制程序。
[0031]RAM 23用作CPU 21的主存储器和工作区。更具体地说，CPU 21在执行处理时将必需的程序从ROM 22加载到RAM 23中，并执行程序以实现各种功能和操作。
[0032]外部存储器24存储例如CPU21使用程序执行处理时所需的各种数据和各种信息。外部存储器24还存储例如通过CPU 21使用程序执行处理时获得的各种数据和各种信息。
[0033]摄像单元25拍摄被摄体的图像。摄像单元25包括诸如互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件(CXD)图像传感器等的图像传感器。
[0034]输入单元26包括电源按钮。摄像机20的用户能够经由输入单元26向摄像机20发出指令。
[0035]通信I/F27是用于与外部装置(这里是信息处理装置30)通信的接口。例如，通信I/F 27是LAN接口。
[0036]系统总线28可通信地与CPU 2UR0M 22,RAM 23、外部存储器24、摄像单元25、输入单元26及通信I/F 27相互连接。
[0037]通过CPU21执行ROM 22或外部存储器24中存储的程序实现摄像机20的各部的功會K。
[0038]信息处理装置30包括诸如替代摄像单元25的显示单元等的硬件配置。显示单元包括诸如液晶显示器(IXD)等的监视器。作为输入单元26，信息处理装置30包括使信息处理装置30的用户能够向信息处理装置30发出指令的键盘和诸如鼠标等的定位设备。
[0039]图3是例示图像处理装置200的功能配置的框图。在本示例性实施例中，摄像机20作为示例用作图像处理装置200。然而，信息处理装置30可以用作图像处理装置200。一般的PC或其他设备可以用作图像处理装置200。图像处理装置200具有在图像处理装置30的显示画面上显示用于变更检测参数和视角的设置画面、并通过用户输入各种操作进行与检测处理相关的各种设置的功能。
[0040]尽管将本示例性实施例应用于图像处理装置，但因为如果逐帧地处理拍摄的视频图像，则处理内容与图像处理装置的处理内容相似，所以还可以将本示例性实施例应用到视频处理装置。
[0041 ]图像处理装置200包括图像获取单元201、物体检测单元202、参数设置单元203、物体追踪单元204、人体检测单元205、面部检测单元206及物体关联单元207。图像处理装置200还包括轨迹管理单元208、轨迹信息确定单元209、外部输出单元210、面部估计单元211、设置值计算单元212及摄像控制单元213。
[0042]图像获取单元201获得内部摄像传感器(摄像单元25)拍摄的运动图像或静止图像，并向物体检测单元202发送获得的运动图像或静止图像。图像可以是从外部供给的图像。
[0043]当图像获取单元201获得运动图像时，图像获取单元201向物体检测单元202顺次发送构成运动图像的各帧的图像。当图像获取单元201获得静止图像时，图像获取单元201向物体检测单元202发送静止图像。运动图像或静止图像的供给源并无特别限制。供给源可以是以有线或无线方式供给运动图像或静止图像的服务器装置或摄像装置。此外，图像获取单元201可以从图像处理装置200的存储器(例如，外部存储器24)获得运动图像或静止图像。在以下描述中，作为示例，不论图像获取单元201是获得了运动图像还是静止图像，都向物体检测单元202发送单一图像。在前述情况中，单一图像对应于构成运动图像的各帧。在后述情况下，单一图像对应于静止图像。
[0044]物体检测单元202使用背景差分法从图像获取单元201获得的帧图像(拍摄的图像)检测拍摄的图像中的特定物体。与检测的物体相关的信息包括物体在画面上的位置、物体的外接矩形以及物体的尺寸。通过参数设置单元203设置物体检测单元202执行此物体检测处理的区域(物体检测处理区域)。在本示例性实施例中，为简化描述，执行物体检测处理的区域是没有设置检测范围的整个画面。尽管物体检测单元202执行用于从图像检测物体的处理，但处理方法并不限于诸如背景差分方法等的任何特定的方法。可以适当应用用于执行相似处理的方法。
[0045]如果物体检测单元202从关注帧的图像检测到与从关注帧的前一帧的帧的图像检测的物体相同的物体，则物体追踪单元204使各帧中的物体相互关联。例如，假如物体追踪单元204向通过物体检测单元202从关注帧的前一帧的帧的图像检测的物体分配物体标识符(ID)=A。然后，如果物体检测单元202也从关注帧的图像检测到此对象，则物体追踪单元204向该物体分配物体ID = A。通过这种方式，如果从多个帧检测到相同的物体，则向各物体分配相同的物体ID ο如果从关注帧检测到新的物体，则向其分配新的物体ID。与前述物体检测处理区域相似，通过参数设置单元203设置使物体追踪单元204执行物体追踪操作的区域(物体追踪处理区域)。
[0046]用于物体追踪单元204从多个帧确定相同物体的方法，包括:使用检测物体的移动矢量，在预测的物体移动位置和检测的物体位置落入一定的距离内的情况下确定是相同的物体。可选地，作为另外的方法，可以使用物体的颜色、形状和/或大小(面积)来关联帧之间高相关的物体。尽管物体追踪单元204执行用于从多个帧确定并追踪相同物体的处理，但处理方法并不限于任何特定的方法。可以适当应用用于执行相似处理的方法。
[0047]人体检测单元205通过使用以前存储的校对图案库对物体检测单元202检测到物体的区域以及物体追踪单元204的追踪物体区域执行人体检测处理来检测人体。在本示例性实施例中，人体检测单元205仅需要具有从图像中检测人体的功能，并且人体检测处理并不限于图案处理。在本示例性实施例中，尽管要检测的是人体，但要检测的对象并不限于人体。要检测的对象可以是人物面部、机动车或动物。还可以包括检测多种特定物体的特定物体检测单元。如果能够同时检测多种物体，则可以执行多个特定物体检测处理。
[0048]人体检测单元205执行人体检测处理的区域未必是物体检测单元202检测到物体的区域或物体追踪单元203的追踪物体区域。例如，仅对通过参数设置单元203设置的人体检测处理区域执行人体检测处理。可选地，参数设置单元203可以指定要检测的人体的最大或最小尺寸，并且在此范围外不能执行人体检测处理。由此能够省略人体检测处理或人体检测区域的一部分以加速人体检测处理。
[0049]如上所述，参数设置单元203是图像处理装置200中实施的检测处理设置应用，并设置物体检测单元202、物体追踪单元204以及人体检测单元205的处理参数。通过使用信息处理装置30的用户界面能够设置处理参数。
[0050]面部检测单元206通过对人体检测单元205检测到的人体区域执行面部检测处理来执行面部检测。面部检测处理执行例如用于从人体区域检测眼和口的边缘的处理来检测人物面部的特征部分。换言之，面部检测处理基于面部位置、面部大小和面部的可能性来检测面部区域。面部检测单元206可以从检测到的面部区域提取用于个人认证的特征信息，并使用模式匹配比较提取的特征信息与预先存储的库数据来执行面部认证。执行面部检测处理的区域可以是整个画面。如果要检测的是人体外的对象，则面部检测单元206可以是检测要检测的对象的特征量(例如，在机动车的情况中是牌照)的特征量检测单元。
[0051 ]物体关联单元207使物体检测单元202检测到的物体与人体检测单元205检测到的人体相关联。参照图4和图5，将描述检测到的物体和检测到的人体之间的关联的示例。图4例示了检测到的物体的外接矩形51中不包括检测到的人体P的外接矩形52的示例。在这种情况下，如果人体P的外接矩形52相对于物体的外接矩形51的重叠率超过预设阈值，则物体关联单元207执行关联。这里采用的重叠率指物体的外接矩形51和人体P的外接矩形52重叠部分的面积与人体的P的外接矩形52的面积的比率。图5例示了从检测到的物体的外接矩形53检测到多个人体Pl和P2的示例。在这种情况下，如果人体Pl的外接矩形54和人体P2的外接矩形55相对于物体的外接矩形53的各重叠率超过预设阈值，则物体关联单元207执行关耳关。
[0052]轨迹管理单元208逐个物体地管理与从物体检测单元202和物体追踪单元204获得的物体相关的信息，作为管理信息。参照图6，将描述轨迹管理单元208管理的管理信息的示例。管理信息208a针对各物体ID管理物体信息208b。与物体相关的物体信息208b管理与检测到物体的各帧相关的信息208c。信息208c包括表示信息208c的生成日期和时间的时间标记(时间戳)、检测到的物体的坐标位置(位置)、定义包括检测到的物体的区域的外接矩形的信息(边界框)、物体的大小及物体的属性。信息208c中包括的信息并不限于此，并且可以包括任何信息。轨迹信息确定单元209(下文所述)使用通过轨迹管理单元208管理的管理信息208a。
[0053]轨迹管理单元208根据物体关联单元207的关联结果更新物体的属性。轨迹管理单元208还根据关联结果更新过去物体的属性。此外，轨迹管理单元208可以根据关联结果设置后续物体的属性。此处理使得具有相同物体ID的物体的追踪结果在任何时候都具有相同属性。
[0054]轨迹信息确定单元209用作通过物体检测单元。作为用于要检测的对象的确定处理，轨迹信息确定单元209根据参数设置单元203设置的确定参数以及轨迹管理单元208管理的管理信息208a执行通过确定处理。根据本示例性实施例，通过确定处理是指用于确定图像中的对象是否通过了画面上设置的用于对象确定的线。
[0055]轨迹信息确定单元209确定从关注帧的前一帧的帧中的人体属性物体的外接矩形到关注帧中的人体属性物体的外接矩形的运动矢量是否穿过了由参数设置单元203定义的线段(检测线)。确定运动矢量是否穿过定义的线段相当于确定人体属性物体是否通过了设置的线段。经由外部输出单元210向信息处理装置30的显示单元输出轨迹信息确定单元209的确定结果。如果外部输出单元210包括具有阴极射线管(CRT)或液晶屏的显示单元的功能，则可以通过使用外部输出单元210代替信息处理装置30的显示单元来显示确定结果。尽管通过轨迹信息确定单元209执行的轨迹信息确定处理是根据本示例性实施例的通过确定处理，但轨迹信息确定处理可以是使用确定参数和轨迹信息的任何确定处理。
[0056]如果面部检测单元206未能检测到面部，则面部估计单元211从人体检测单元205的人体检测结果估计目标人体的面部的大小。从人体检测结果估计面部的大小的方法的示例包括简单地将面部大小估计为人体宽度的一半。如果人体宽度是50像素，则将面部宽度估计为25像素。
[0057]为了简化描述，这里估计的面部宽度是统一以人体宽度的1/2的比率估计的。然而，该比率并不需要统一。例如，可以根据人体的运动方向和/或拍摄人体的角度适当的变更该比率。例如，在人体侧位的状态下，用于使比率接近I的处理使得能够更适当地估计面部大小。
[0058]如果图像分析处理(面部检测处理和/或面部认证处理)失败了，则设置值计算单元212估计(确定)用于使分析处理成功的摄像条件，并确定用于使分析处理成功的摄像参数设置值。在本示例性实施例中，如果面部检测单元206未能检测到面部，则设置值计算单元212确定用于使面部检测单元206的面部检测成功的摄像参数设置值(摄像条件)。在面部确定处理的情况下，如果画面上出现的面部大小不满足面部检测的最小所需像素数，则不能恰当地检测到面部。然后，设置值计算单元212根据人体检测单元205基于人体检测结果估算的面部大小(像素数)以及上述最小所需像素数来确定摄像参数设置值，从而使面部以能够进行面部检测的大小出现。这里，摄像参数设置值是摄像机20的光学变焦值的变更倍率。
[0059]例如，当面部检测单元206的最小所需像素数在宽度和高度上都是50像素、并且面部估计单元211估计的面部宽度是25像素时，能够计算出用于使目标人体的面部检测成功的光学变焦值的变更倍率是2倍。由于针对最低面部宽度计算变更倍率可能导致面部检测的失败，因此设置了某个系数(margin)( X 1.25)以通过以下等式计算出光学变焦值的变更倍率是2.5倍:
[0060](50/25) X1.25 = 2.5....(I)
[0061]在面部检测处理的情况下，如果出现在画面上的面部大小超过能够进行面部检测的最大像素数，则不能恰当地检测到面部。如果面部估计单元211估计的面部的大小(像素数)超过最大像素数，则设置值计算单元212随后计算摄像参数设置值(光学变焦值)，以使面部以能够进行面部检测的大小出现。设置值计算单元212通过这种方式估计摄像条件，以便使估计的面部大小落入面部检测所需的预定范围内。
[0062]在本示例性实施例中，将光学变焦值的变更倍率用作摄像参数设置值。然而，摄像参数设置值可以是摄像分辨率(执行人体检测的图像分辨率)。例如，如果要使摄像分辨率加倍并且将640 X 480像素的图像用于人体检测，则设置值计算单元212确定摄像分辨率为1280 X 960像素。
[0063]在本示例性实施例中，设置单元计算单元212计算用于使面部检测处理成功的摄像参数设置值。然而，分析处理并不限于面部检测处理。例如，分析处理可以是面部认证处理。如果要检测的对象是机动车，则分析处理可以是牌照检测处理。
[0064]摄像控制单元213根据设置值计算单元212计算出的光学变焦值执行变焦控制，以变更摄像机20的视角。由此，以能够进行面部检测的分辨率拍摄面部的图像。在本示例性实施例中，在摄像控制单元213应用设置值计算单元212计算出的摄像参数设置值来变更视角之前，可以通过使用用户界面(UI)要求用户进行确认。在这种情况下，摄像控制单元213可以提示表示分析处理失败的消息、分析处理失败的原因以及使分析处理成功的摄像条件(推荐设置)。这种配置可以大幅提高可操作性。
[0065]接下来，将参照图7描述图像处理装置200的操作。通过摄像机20的CPU21读取并执行所需程序来实现图7的处理。可以通过专用硬件实现图7的部分或所有处理。响应于开始检测处理的用户指令的输入而开始图7的处理。但图7的处理的开始定时并不限于前述定时。
[0066]在步骤SI中，图像处理装置200确定是否继续图像处理。例如，图像处理装置200根据是否从用户接受到结束图像处理的指令，来确定是否继续图像处理。如果图像处理装置200确定结束图像处理(在步骤SI中为“否”)，则处理结束。另一方面，如果图像处理装置200确定继续图像处理(在步骤SI中为“是”)，则处理进入步骤S2。
[0067]在步骤S2中，图像获取单元201获得图像数据。处理进入步骤S3。在步骤S3中，物体检测单元202对步骤S2中获得的图像数据执行物体检测处理。在步骤S4中，物体检测单元202确定是否通过步骤S3中的物体检测处理检测到了物体。如果确定没有检测到物体(在步骤S4中为“否”)，则处理返回步骤SI。如果确定检测到了物体，(在步骤S4中为“是”)，则处理进入步骤S5。
[0068]在步骤S5中，物体追踪单元204执行物体追踪处理。在步骤S6中，轨迹管理单元208根据步骤S5中的物体追踪处理的结果更新轨迹信息。在步骤S7中，在参数设置单元203设置的人体检测处理区域中，人体检测单元205对通过步骤S3的物体检测处理检测到物体的区域执行人体检测处理。在步骤S8中，人体检测单元205确定是否通过步骤S7中的人体检测处理检测到了人体。如果确定没有检测到人体(在步骤S8中为“否”)，则处理返回步骤SI。如果确定检测到了人体(在步骤S8中为“是”)，则处理进入步骤S9。
[0069]在步骤S9中，面部检测单元206对通过人体检测单元205检测到的人体区域执行面部检测处理。在步骤SlO中，图像处理装置200通过使用步骤S7中的人体检测处理结果和步骤S9中的面部检测处理的结果执行估计提示处理。估计提示处理是在步骤S9的面部检测处理未能检测到面部的情况下，用于估计并提示面部检测所需的摄像参数设置值的处理。下文将详细描述估计提示处理。
[0070]在步骤Sll中，物体关联单元207执行用于使物体和人体关联的关联处理。在步骤S12中，轨迹管理单元208根据步骤Sll中的关联处理的结果更新轨迹信息。在步骤S13中，轨迹信息确定单元209执行轨迹信息确定处理以确定物体是否通过了检测线。在步骤S14中，外部输出单元210向外部输出轨迹信息确定处理的结果。处理返回步骤SI。
[0071]接下来，将描述步骤SlO中执行的估计提示处理。
[0072]如图8中所示，在步骤SlOl中，图像处理装置200确定是否执行估计提示处理。例如，图像处理装置200根据是否从用户接受到结束估计提示处理的指令来确定是否继续估计提示处理。如果图像处理装置200确定结束估计提示处理(在步骤SlOl中为“否”)，则处理结束。然后处理进入图7的步骤S11。另一方面，如果图像处理装置200确定继续估计提示处理(在步骤SlOl中为“是”)，则处理进入步骤S102。
[0073]在步骤S102中，图像处理装置200基于前述步骤S9中的面部检测处理的结果确定是否在参数设置单元203设置的面部检测设置区域内检测到了预定范围内的面部。如果确定检测到了面部(在步骤S102中为“是”)，则处理直接结束。如果确定没有检测到面部(在步骤S102中为“否”)，则处理进入步骤S103。面部检测设置区域，是指与人体检测单元205检测到的人体区域对应的区域。面部检测设置区域可以是与人体区域相同的区域，或者可以是围绕且比人体区域宽的区域。
[0074]在步骤S103中，面部估计单元211基于前述步骤S7中的人体检测处理的结果估计目标人体的面部大小。在步骤S104中，设置值计算单元212基于步骤S103中估计的面部大小计算使面部以能够进形面部检测的大小出现的摄像参数设置值。
[0075]在步骤S105中，设置值计算单元212向信息处理装置30输出步骤S104的计算结果，并在信息处理装置30的显示单元上提示计算结果。设置值计算单元212还显示用于接受设置变更指令的画面。
[0076]图9例示了设置变更前的信息提示画面的示例。图9中例示的设置画面窗口300是用于在摄像控制中做出变更的UI画面，诸如变更图像处理装置200的各种检测功能的参数和视角等。设置画面窗口300包括显示拍摄的视频图像的视频显示部310，以及作为用于设置图像处理装置200执行的各种检测功能的UI的设置部320。设置画面窗口 300还包括用于显示推荐信息的信息显示部330和用户输入设置变更指令的设置变更指示部(自动设置按钮)3400
[0077]在图9例示的示例中，视频显示部310显示从画面的左上角到画面的右下角延伸的路径拍摄的视频图像。在画面的中央部拍摄人体P。设置部320包括可以将各种检测功能在有效和无效状态之间进行切换的复选框321a到321c。图9例示了使人体检测功能、面部检测功能和面部认证功能有效的示例。
[0078]设置部320还包括能够显示各有效功能的检测结果是成功还是失败的成功/失败指示灯322a到322c。图9例示了人体检测成功，以及面部检测和面部认证失败的示例。
[0079]还能够从视频显示部310确认各功能的检测结果是成功还是失败。如果人体检测成功，则视频显示部310如图9中例示的那样将结果显示为围绕检测的人体P的人体帧311。如果面部检测成功了，则视频显示部310显示围绕检测的面部的面部帧。此外，如果面部认证成功了，则在视频显示部310显示的面部帧附近显示面部认证结果(诸如注册名等)。各功能的检测结果的显示方法并不限于以上描述。
[0080]如图9中例示的示例，尽管人体检测成功，但面部检测和面部认证可能失败。主要有两个原因导致失败。第一是处理所需的像素(分辨率)不足。通常，将各种检测功能所需的最小分辨率定义为针对各检测功能的规格。如果处理目标低于最小分辨率，则检测处理变得不能进行或者检测精确度降低。第二个原因简单地在于图像中没有拍摄到面部。
[0081]如果尽管人体检测成功，但面部检测和面部认证失败，则设置值计算单元212确定用于面部检测或面部认证的分辨率不足。然后，如图9中所例示，信息显示部330显示用于推荐变焦的推荐信息。视频显示部310还显示推荐的视角312。图像处理装置200通过这种方式确定使面部检测和面部认证成功的摄像条件，并在画面上显示与确定的摄像条件相关的信息。
[0082]这里，如果用户按下自动设置按钮340，则信息处理装置30在显示单元上显示图10中例示的确认对话框350。如果用户后来选择图10中例示的“是”按钮351，则信息处理单元30向图像处理装置200发送用户的设置变更指令。另一方面，如果用户选择了图10中例示的“否”按钮352，则取消设置变更(视角的变更)，并且信息处理装置30使画面显示回到图9的设置画面窗口 300的状态。通过这种方式，根据在显示表示面部检测和面部认证失败的错误信息后的用户输入，本示例性实施例的信息处理装置30设置使面部检测和面部认证成功所需的摄像条件。然而，并不限于上述配置。如果面部检测和面部认证失败，则可以将使面部检测和面部认证成功所需的摄像条件设置为自动地进行设置。
[0083]返回图8，在步骤S106中，如果设置值计算单元212接收到设置变更指令(在步骤S106中为“是”)，则处理进入步骤S107。另一方面，如果设置值计算单元212没有接收到设置变更指令(在步骤S106中为“否”)，则设置值计算单元212确定不进行设置变更，并且处理直接结束。
[0084]在步骤S107中，摄像控制单元213基于步骤S104中计算的摄像参数设置值进行摄像设置变更处理。更具体地，摄像控制单元213变更光学变焦值以变更视角。
[0085]在完成视角的变更后，如图11所例示，图像处理单元200切换信息处理装置30的显示单元的显示。此时，视频显示部310显示以图9中例示的推荐视角312拍摄的视频图像。此夕卜，图像处理装置200以变更的视角执行检测处理。如果以变更的视角成功进行了面部检测处理，则如图11所例示的那样显示面部帧313。此时，还能在面部帧313附近(例如，在右侧上)显示注册名作为面部认证处理的结果。
[0086]因为前述第二个原因，所以即使在视角变更后再次执行检测处理，面部检测有时也可能失败。也就是说，只是因为例如目标人体面朝后面，所以没有拍摄到面部。在这种情况下，可以控制图8的估计提示处理停止一段时间。如果人体采取了使面部出现的移动方向，则恢复估计提示处理。
[0087]如果画面上有许多人体，则可以使用户指定人体来进行检测，或者可以计算检测目标区域内各人体的平均的估计面部大小。
[0088]如上所述，根据本示例性实施例，如果对在图像中与预定条件匹配的特定物体进行了分析处理，并且分析处理失败了，则显示失败信息。在具体示例中，如图9所例示，可以使用复选框321a到321c以及成功/失败指示灯322a到322c清楚地显示被用户激活的检测功能以及其成功/失败结果。这就使用户能够视觉地确认是否恰当地设置了期望的检测功能以及是否恰当地运行了期望的检测功能。换言之，用户能够容易地发现所期望的分析处理失败的原因是所期望的检测功能无效、还是处理参数设置不恰当。由此，用户能够执行恰当的设置操作和/或参数修正操作，用以执行所期望的分析处理。
[0089]此时，图像处理装置200估计使分析处理成功所需的摄像条件，并提示与摄像条件相关的信息。因此，用户能容易地确认未能执行所期望的分析处理的原因，并查明能够对设置做何变更来执行所期望的分析处理。
[0090]如果图像处理装置200从图像检测物体、并从检测到的物体检测特定物体，则图像处理装置200基于物体检测的结果来估计使特定物体的检测成功的摄像条件。如果由于摄像参数的不恰当设置导致特定物体的检测失败，则图像处理装置200能够恰当的估计摄像参数(摄像条件)。此时，图像处理装置200提示估计的摄像条件作为推荐摄像设置。在具体示例中，如图9所示，信息显示部330显示出执行变焦则能够执行面部检测和面部认证的信息，并且视频显示部310显示推荐的视角312。用户由此能容易地查明能够对摄像设置做何变更以使特定物体的检测成功。
[0091]为了检测作为特定物体的人物面部，图像处理装置200首先从图像检测人物，并从检测到的人物检测人物面部。基于检测的人物大小，图像处理装置200估计人物面部的大小。如果估计的面部大小没有落入面部检测处理所需的预定范围(例如，低于最小所需像素数)内，则图像处理装置200确定面部检测处理失败的原因是摄像参数的不恰当设置。通过这种方式，能够准确地确定所期望的分析处理的失败原因。
[0092]在这种情况下，图像处理装置200估计用于使估计的面部大小进入前述预定范围的摄像条件。例如，图像处理装置200计算摄像参数设置值以使用前述最小所需像素数或更多像素数来拍摄面部。通过这种方式，图像处理装置200能够恰当的估计使所期望分析处理成功的摄像条件。
[0093]此外，此时，图像处理装置200计算作为摄像参数设置值的摄像机20的光学变焦值。由此能够容易地实现使所期望的分析处理成功的摄像条件。
[0094]如上所述计算使所期望的分析处理成功的摄像参数设置值，图像处理装置200将计算的摄像参数设置值应用于摄像机20，并自动变更摄像条件。因此，可以容易地进行设置变更。当变更摄像条件时，图像处理装置200通过使用用户界面预先获得来自操作者的确认。这种配置能够提高可操作性。
[0095](变型例)
[0096]在前述示例性实施例中，作为示例，摄像参数设置值是光学变焦值，并且将推荐变焦的信息提示为推荐信息。然而，可以应用其他信息。例如，如果确定由于物体移动速度高而导致所期望的分析处理失败，则摄像参数设置值可以是帧速率，并且推荐信息可以是用于推荐帧速率的增加的信息。这种配置使得即使物体移动速度相对高也能够追踪该物体。然而，如果目标对象是机动车，则能够通过此配置认证牌照。
[0097]例如，如果确定由于亮度不足而导致所期望的分析处理失败，则摄像参数设置值可以是高动态范围(HDR)功能的开启/关闭设置值，并且推荐信息可以是用于推荐使照明更亮的信息。因此，即使亮度不足，也能够开启HDR功能以使能够进行所期望的分析处理。此夕卜，可以根据用户使之有效的检测功能确定将何用作摄像参数设置值。例如，如果用户使之有效的检测功能是面部认证或牌照检测，则摄像参数设置值可以是变焦值。如果用户使之有效的检测功能是物体的通过检测，则摄像参数设置值可以是帧速率。
[0098]在前述示例性实施例中，作为示例，在设置画面窗口 300上逐帧地显示通过图像获取单元201获得的视频图像以执行一系列的估计提示处理。然而，并不限于此。例如，可以对过去拍摄的视频图像和静止图像以及其他存储媒介中存储的静止图像执行前述处理。
[0099]由于要拍摄的人体在运动，因此拍摄的人体的大小也相应地变化。因此，可以逐帧地或使用平均人体大小以若干帧为单位执行估计提示处理。可选地，设置画面窗口 300可以包括用于停止更新视频显示部310上显示的视频图像的UI，以便能够在视频显示部310上显示并操作静止图像。
[0100]在前述示例性实施例中，作为示例，图像获取单元201用来获得图像的摄像机与通过摄像控制单元213变更了视角的摄像机相同。然而，摄像机可以是分别不同的摄像机。
[0101]在前述示例性实施例中，通过相同的图像处理装置200执行人体检测处理和面部检测处理，但可以通过不同的图像处理装置执行此处理。此外，通过相同的图像处理装置200执行各种检测处理和设置值计算处理，但可以通过不同的图像处理装置执行此处理。例如，可以在多个摄像机之间分享检测功能的设置和视角的设置。然后，可以将从各不同的摄像机获得的各种检测处理结果输入到另外的图像处理装置200中以计算设置值，并且可以将设置值应用于其他摄像机。
[0102]根据前述示例性实施例的分析处理可以是用于检测预定物体的检测处理。换言之，摄像机20能够执行例如第二种检测处理，该第二种检测处理用于在通过用于检测人体的第一种检测处理检测到人体的区域上检测面部。如果通过第一种检测处理检测到了人体但通过第二种检测处理未检测到面部，则摄像机20确定第二种检测处理失败。然后，摄像机20确定使第二种检测处理成功的摄像条件，并将摄像条件设置到摄像机20中。第一种检测处理并不限于人体的检测，而可以检测运动物体、机动车或除人类之外的动物。第二种检测处理并不限于面部的检测处理，而可以是诸如牌照等的特征区域的检测处理。
[0103]根据本示例性实施例的配置，能够向用户提示用于执行恰当的图像分析处理的信息。
[0104]其他实施例
[0105]本发明的实施例还可以通过如下的方法来实现，S卩，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
[0106]虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。
【主权项】
1.一种图像处理装置，所述图像处理装置包括: 第一检测单元，其被配置为对图像执行第一种检测处理； 第二检测单元，其被配置为执行用于在所述图像中从通过所述第一种检测处理检测到的区域检测预定对象的第二种检测处理； 确定单元，其被配置为在所述第二检测单元在所述图像中从通过所述第一种检测处理检测到的区域没有检测到所述预定对象的情况下，确定用于提高所述第二种检测处理的精确度的摄像条件；以及 设置单元，其被配置为设置所述确定单元确定的所述摄像条件。2.根据权利要求1所述的图像处理装置，所述图像处理装置还包括: 显示控制单元，其被配置为在所述第二种检测处理在所述图像中从通过所述第一种检测处理检测到的区域没有检测到所述预定对象的情况下，在显示画面上显示错误信息；以及 接受单元，其被配置为接受用户输入的指令， 其中，所述设置单元被配置为响应于在所述显示控制单元显示所述错误信息后通过所述接受单元接受的指令，设置通过所述确定单元确定的所述摄像条件。3.根据权利要求2所述的图像处理装置， 其中，所述显示控制单元被配置为在所述显示画面上进一步显示表示所述确定单元确定的所述摄像条件的条件信息，以及 其中，所述设置单元被配置为响应于在所述显示控制单元显示所述错误信息和所述条件信息后通过所述接受单元接受的指令，设置所述确定单元确定的所述摄像条件。4.根据权利要求1所述的图像处理装置， 其中，所述第一检测单元被配置为检测人物以作为所述第一种检测处理， 其中，所述第二检测单元被配置为检测作为所述预定对象的人物面部，以及其中，所述确定单元被配置为基于通过所述第一检测单元在所述图像中检测到的所述人物的大小确定所述图像中所述人物面部的大小，并基于所述面部的大小确定所述摄像条件，以便通过所述第二检测单元检测人物面部。5.根据权利要求4所述的图像处理装置，其中，所述确定单元被配置为确定用于拍摄所述图像的摄像装置的变焦倍率作为所述摄像条件。6.根据权利要求1所述的图像处理装置，其中，所述设置单元被配置为将所述确定单元确定的所述摄像条件设置到除拍摄到所述图像的所述摄像装置外的摄像装置中。7.—种包括一个或更多个摄像装置以及一个或更多个图像处理装置的图像处理系统，所述图像处理系统包括: 第一检测单元，其被配置为对图像执行第一种检测处理； 第二检测单元，其被配置为执行用于在所述图像中从通过所述第一种检测处理检测到的区域检测预定对象的第二种检测处理； 确定单元，其被配置为在所述第二检测单元在所述图像中从通过所述第一种检测处理检测到的区域没有检测到所述预定对象的情况下，确定用于提高所述第二种检测处理的精确度的摄像条件；以及 设置单元，其被配置为设置通过所述确定单元确定的所述摄像条件。8.一种图像处理方法，所述图像处理方法包括: 对图像执行第一种检测处理； 执行用于在所述图像中从通过所述第一种检测处理检测到的区域检测预定对象的第二种检测处理； 在所述第二种检测处理在所述图像中从通过所述第一种检测处理检测到的区域没有检测到所述预定对象的情况下，确定用于提高所述第二种检测处理的精确度的摄像条件；以及 设置所确定的摄像条件。9.根据权利要求8所述的图像处理方法，所述图像处理方法还包括: 在所述第二种检测处理在所述图像中从通过所述第一种检测处理检测到的区域没有检测到所述预定对象的情况下，在显示画面上显示错误信息；以及 接受用户输入的指令， 其中，根据在显示所述错误信息后接受的用户指令设置所确定的摄像条件。10.根据权利要求9所述的图像处理方法，其中，在所述显示画面上进一步显示表示所确定的摄像条件的条件信息，以及 其中，响应于在显示所述错误信息和所述条件信息后接受的用户指令，设置所确定的摄像条件。
【文档编号】H04N5/232GK105979134SQ201610056198
【公开日】2016年9月28日
【申请日】2016年1月27日
【发明人】安达启史
【申请人】佳能株式会社