分布图像处理系统的制作方法
【专利摘要】提供一种分布图像处理系统，能够高精度地检测位于监视对象区域内的物体及其属性，并且能够抑制系统构建成本的增加。在终端（1）中，对由摄像机（2）拍摄出的图像进行处理，检测有无拍摄到物体。在终端（1）中，如果检测出位于监视对象区域内的物体，将数码照相机（3）的拍摄视场对准所检测出的物体，对该数码照相机（3）输入快门开放信号。终端（1）将由数码照相机（3）拍摄出的静止画像经由网络（5）而发送至服务器（4）。服务器（4）对从终端（1）发送来的静止画像进行处理，检测所拍摄出的物体的种类、大小等的属性。服务器（4）根据针对位于监视对象区域内的物体的检测结果来进行输出。
【专利说明】分布图像处理系统
【技术领域】
[0001]本发明涉及利用终端与服务器来分布进行图像处理的分布图像处理系统，所述图像处理用于位于监视对象区域内的物体的检测以及与检测出的物体的种类、大小等的属性相关的检测。
【背景技术】
[0002]以往，在学校、工厂等的各种场所，为了针对可疑人、可疑物(放置物)进行监视，而设有摄像机(监视摄像头)。例如，为了针对可疑人、可疑物等进行安心、安全的监视，将摄像机的拍摄区域设置为对准学校、工厂等设施的出入口等。另外，对监视摄像头的拍摄图像进行处理，来检测可疑人、可疑物，或者对由摄像机拍摄出的拍摄图像(动画)进行记录(录像)。
[0003]另外，专利文献1、2记载了这样的结构:该结构能够降低在由摄像机拍摄的拍摄区域内正在移动的移动体的检测所需的处理负荷，并且抑制移动体的检测精度的下降。在该专利文献I以及2中，根据在摄像机的拍摄区域内设定的检测点的亮度变化，来检测在该检测点通过的人、车辆等的移动体。另外，在专利文献I以及2中，如果检测出在检测点有移动体通过，则用数码照相机对拍摄区域进行拍摄，存储一定时间内的其静止图像和摄像机的动画(视频)，由此抑制动画的存储容量。进而，在专利文献2中，将附加了由数码照相机拍摄出的静止图像的电子邮件，发送到保安人员等所持有的移动电话等的便携终端，由此针对检测出的移动体实现迅速应对。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献I JP特开2009 - 38779号公报
[0007]专利文献2 JP特开2010 — 177893号公报
【发明内容】
[0008]发明要解决的问题
[0009]然而，在专利文献1、2中，虽然能够检测出移动体(可疑人等)，但无法检测出该移动体的种别(人、车等)、大小等的属性。另外，在专利文献1、2中，不会检测出作为非移动体的可疑物，更不会检测出该可疑物的种类、大小等的属性。
[0010]此外，最近越发重视针对恐怖行为等的安心、安全的保安，因此，希望迅速发现被放置的可疑物以及对该可疑物进行迅速应对。
[0011]针对由摄像机拍摄到的物体的种类、大小等的属性进行的检测，可以通过公知的图案匹配等的图像处理来进行，但是，为了提高物体属性的检测精度而需要比较复杂的图像处理。其结果，导致进行图像处理的装置的负荷增大。即，就进行图像处理的装置而言，必须使用处理性能高达某种程度的设备。另一方面，在比较广阔的设施中，要在多个位置设置用于对可疑人、可疑物进行监视的监视对象区域，针对每个监视对象区域设置摄像机。针对每个摄像机(每个监视对象区域)，使用适用于对该摄像机所拍摄出的图像进行图像处理的处理性能的终端，这导致系统的构建成本增大。
[0012]本发明的目的在于，提供一种分布图像处理系统，能够高精度地检测位于监视对象区域内的物体及其属性，并且能够抑制系统构建成本的增加。
[0013]用于解决问题的手段
[0014]为了解决上述问题而达到该目的，本发明的分布图像处理系统按照如下构成。
[0015]该分布图像处理系统具有以能够通信的方式连接的终端和服务器。以能够通信的方式与服务器连接的终端可以是一台也可以是多台。
[0016]终端连接有第一摄像头。该第一摄像头将拍摄到的监视对象区域的动画输入至终端的动画输入部。在终端中，在简易图像处理部中对输入至动画输入部的动画进行处理，来检测所拍摄到的物体。该简易图像处理部仅检测拍摄到的物体的有无，无需检测该物体的种类、大小等的属性。简易图像处理部例如生成由动画输入部接收的动画的帧图像与监视对象区域的背景图像之间的差分图像，根据该差分图像来检测有无物体。即，简易图像处理部执行处理负荷小的图像处理。在简易图像处理部检测出物体时，静止图像发送部将拍摄所检测出的物体而得的静止图像发送至服务器。
[0017]在服务器中，利用图像处理部对从终端发送来的静止图像进行处理，从而检测在该静止图像中拍摄出的物体的属性。该图像处理部通过图案匹配等，检测在静止图像中拍摄出的物体的种类，并且根据检测出的物体的种类进行识别处理等。例如，如果检测出的物体是可疑人，则通过脸部识别，来检测该可疑人的性别、年龄等的属性。另外，如果是车辆，则进行文字识别，来识别该车辆的号码牌所示的车牌号码。进而，在服务器中，在输出部中基于图像处理部的处理结果进行输出。例如，启动保安室的警报，将处理结果通知给正在待机的保安人员等，或以电子邮件方式将处理结果发送至保安人员等所持的便携终端。由此，能够迅速应对所检测出的可疑人、可疑物。
[0018]这样一来，终端只要在由第一摄像头拍摄出的拍摄图像中检测是否拍摄到物体(物体的有无)即可，无需对拍摄到的物体的种类、大小等的属性进行检测，因此，与物体检测相关的图像处理的处理负荷非常小。另外，终端在检测出物体时，将拍摄物体而得的拍摄图像发送至服务器，在没有检测出物体时，不向服务器发送拍摄图像。并且，终端不向服务器发送动画，而仅发送静止图像。由此，终端还能够抑制向服务器发送的图像的数据量，抑制与服务器进行通信的负荷。另外，还能够抑制以可通信方式对终端与服务器进行连接的网络的数据流量。
[0019]因此，就终端而言，使用处理性能低的廉价设备也没有问题。另外，就位于监视对象区域内的物体的检测及其属性的检测而言，是在服务器中高精度执行的。即，能够高精度地检测位于监视对象区域内的物体及其属性,并且,能够抑制系统构建的成本增加。
[0020]另外，终端也可以具有拍摄视场控制部，其控制用于拍摄静止图像的第二摄像头的拍摄视场。在此所述的拍摄视场是指，拍摄方向、拍摄倍率等。例如，将第二摄像头安装在云台上，云台能够分别在正交的两个轴方向(平面方向和俯仰方向)上转动，拍摄视场控制部分别控制该云台的平面方向和俯仰方向的转动角，从而控制第二摄像头的拍摄方向。另夕卜，第二摄像头可以具有变焦功能，由拍摄视场控制部控制第二摄像头的拍摄倍率。
[0021]此时，简易图像处理部检测所拍摄到的物体，并且对所检测出的物体在监视对象区域内的位置进行检测，拍摄视场控制部基于由简易图像处理部检测出的监视对象区域内物体的位置，来控制第二摄像头的拍摄视场(拍摄方向、拍摄倍率等)即可。由此，能够通过第二摄像头来鲜明地拍摄所检测出的物体。静止图像发送部将第二摄像头所拍摄出的静止图像发送至服务器。这样一来，能够更加高精度地在服务器中检测物体的属性。
[0022]进而，终端的简易图像处理部检测拍摄到的物体，并且对所检测出的物体是否为移动体进行检测，静止图像发送部可以将表示所检测出的物体是否为移动体的信息与静止图像一起发送至所述服务器。
[0023]发明的效果
[0024]根据本发明，能够高精度地检测位于监视对象区域内的物体及其属性，并且，能够抑制系统构建的成本增加。
【专利附图】
【附图说明】
[0025]图1是表示分布图像处理系统的结构的概略图。
[0026]图2是表示区域终端的主要部分的结构的框图。
[0027]图3是表示服务器的主要部分的结构的框图。
[0028]图4是表示摄像机的拍摄区域与数码照相机的拍摄区域之间的关系的图。
[0029]图5是表示区域终端的动作的流程图。
[0030]图6是表示服务器的动作的流程图。
【具体实施方式】
[0031] 下面，说明作为本发明的实施方式的分布图像处理系统。
[0032]图1是表示该分布图像处理系统的结构的概略图。在该分布图像处理系统中，针对每个用于对可疑人、放置物(可疑物)进行监视的监视对象区域，设置区域终端1、摄像机
2、数码照相机3。另外，在中心(中心设施)内设置服务器4。针对各监视对象区域设置的区域终端1，经由网络5而与服务器4以可通信的方式连接。
[0033]摄像机2以及数码照相机3将拍摄图像输入至区域终端I。摄像机2设置为能够使拍摄区域覆盖整个监视对象区域。换言之，摄像机2的拍摄区域是监视对象区域。摄像机2将拍摄监视对象区域而得到的动画(例如，I秒钟30帧的拍摄图像)输入至区域终端I。
[0034]数码照相机3安装在云台(未图示)上，能够在正交的两个轴方向(平面方向、俯仰方向)上单独转动。另外，数码照相机3驱动拍摄光学系统，而具有使拍摄倍率变化的变焦功能。数码照相机3响应于快门开放信号的输入，来拍摄静止图像。
[0035]摄像机2相当于本发明所述的第一摄像头，数码照相机3相当于本发明所述的第二摄像头。
[0036]区域终端1，对摄像机2所拍摄出的图像(动画)进行处理，检测有无拍摄到物体，即，检测在监视对象区域内有无物体。另外，在区域终端I中，如果检测出在监视对象区域内存在物体，则使数码照相机3的拍摄视场对准所检测出的物体，对该数码照相机3输入快门开放信号。区域终端I将数码照相机3所拍摄出的图像(静止图像)经由网络5发送至服务器4。
[0037]服务器4，对从区域终端I发送来的静止图像进行处理，检测所拍摄到的物体(即，位于监视对象区域内的物体)的种类、大小等的属性。服务器4输出针对位于监视对象区域内的物体(区域终端I所检测出的物体)的检测结果相关的信息。
[0038]图2是表示区域终端的主要部分的结构的框图。区域终端I具有控制部11、动画输入部12、图像处理部13、拍摄视场控制部14、拍摄指示部15、静止图像输入部16、图像存储部17、通信部18。控制部11控制区域终端I主体各部的动作。
[0039]对于动画输入部12，输入由摄像机2拍摄出的监视对象区域的动画。摄像机2将I秒钟30帧的拍摄图像输入至动画输入部12。
[0040]图像处理部13，针对输入至动画输入部12的每帧图像，生成该帧图像与监视对象区域的背景图像之间的差分图像，根据所生成的差分图像，来检测是否拍摄到位于监视对象区域内的物体(可疑人、可疑物)。如公知技术那样，在所述差分图像中，会显现出位于监视对象区域内的可疑人、可疑物等的物体。
[0041]拍摄视场控制部14控制数码照相机3的拍摄视场。具体而言，拍摄视场控制部14分别控制安装有数码照相机3的云台的平面方向和俯仰方向的转动角。在该云台上，设有用于使云台在平面方向和俯仰方向转动的驱动机构(未图示)。即，拍摄视场控制部14控制云台的驱动机构，从而控制平面方向和俯仰方向的转动角。通过改变云台的平面方向和俯仰方向的转动角，来改变数码照相机3的拍摄方向。另外，拍摄视场控制部14针对数码照相机3指不拍摄倍率。
[0042]拍摄指示部15对数码照相机3输入快门开放信号。
[0043]静止图像输入部16接收由数码照相机3拍摄出的静止图像。
[0044]图像存储部17具有硬盘等的存储介质，用于存储由摄像机2拍摄出的监视对象区域的动画，即，存储输入至动画输入部12的动画。
[0045]通信部18控制经由网络5而与服务器4进行的通信。
[0046]图3是表示服务器的主要部分的结构的框图。服务器4具有控制部41、通信部42、图像处理部43、图像存储部44、输出部45。控制部41控制服务器4主体各部的动作。
[0047]通信部42控制经由网络5而与区域终端I进行的通信。
[0048]图像处理部43对从区域终端I发送来的静止图像进行处理，检测所拍摄到的物体的种类、大小等的属性。图像处理部43进行公知的图案匹配等相关的图像处理，来检测所拍摄到的物体的种类、大小等的属性。另外，如果检测出的物体是人，则进行脸部识别处理，从而推断性别、年龄等。另外，如果检测出的物体是车辆，则进行文字识别处理，来识别号码牌所示的车牌号码。
[0049]图像存储部44存储从区域终端I发送来的静止图像。
[0050]输出部45基于图像处理部43的图像处理的结果，来进行输出。例如，在检测出可疑人、可疑物时，将检测出的可疑人、可疑物的种类、大小等作为处理结果，来启动保安室的警报，通知正在待机(等待)的保安人员等，或者通过电子邮件将处理结果发送至保安人员等所持的便携终端。
[0051]接下来，参照图4，说明摄像机2的拍摄区域与数码照相机3的拍摄区域之间的关系。如上述，摄像机2的拍摄区域，相当于对所连接的区域终端I分配的监视对象区域。摄像机2的拍摄区域是固定的。另一方面，数码照相机3的拍摄区域能够根据拍摄倍率来改变其大小，并且，通过使安装该数码照相机3的云台的平面方向和俯仰方向的转动角发生变化，能够使该拍摄区域对准监视对象区域的任何一个位置。
[0052]此外，数码照相机3无法同时拍摄图4所示的两个位置的拍摄区域。
[0053]接下来，参照图5和图6，说明该分布图像处理系统的动作。图5是表示区域终端的动作的流程图。图6是表示服务器的动作的流程图。
[0054]在区域终端I中，如果从摄像机2将拍摄图像(巾贞图像)输入至动画输入部12 (步骤SI)，则在图像处理部13中，生成该帧图像与监视对象区域的背景图像之间的差分图像(步骤S2)。在图像处理部13中，根据在步骤S2中生成的差分图像，检测在监视对象区域内有无物体(可疑人、可疑物)(步骤S3)。在区域终端I中，如果在步骤S3中检测出在监视对象区域内没有物体，则返回至SI。
[0055]此外，在此，针对由摄像机2拍摄出的每帧图像执行步骤SI?S3的处理即可，但例如也可以每5帧或每10执行一次步骤SI?S3的处理。
[0056]在区域终端I中，如果在步骤S3中检测出位于监视对象区域内的物体，则检测该物体的位置(在监视对象区域内的位置)和大小(步骤S4)。能够根据该物体在帧图像上的位置，来检测出监视对象区域内的物体的位置。另外，能够根据该物体在帧图像上的大小，来检测出物体的大小。
[0057]拍摄视场控制部14，基于在步骤S4中检测出的物体的位置和大小，计算出安装有数码照相机3的云台的平面方向和俯仰方向的转动角，并且，计算出数码照相机3的拍摄倍率(步骤S5)。在步骤S5中，以使得在步骤S3中检测出的整个物体被容纳在数码照相机3的拍摄视场内的方式，来计算平面方向和俯仰方向的转动角和数码照相机3的拍摄倍率。
[0058]数码照相机3不必拍摄整个监视对象区域，只要拍摄所检测出的物体即可，因此，能够使其拍摄倍率大于摄像机2的拍摄倍率。因此，数码照相机3的拍摄图像比摄像机2的拍摄图像更能够鲜明地拍摄出所检测出的物体。
[0059]拍摄视场控制部14，对安装有数码照相机3的云台，指示在步骤S5中计算出的云台的平面方向和俯仰方向的转动角，并且对数码照相机3指示拍摄倍率(步骤S6)。由此，使云台在平面方向和俯仰方向转动，使数码照相机3的拍摄方向改变。另外，数码照相机3将拍摄倍率变更为本次指示的倍率。
[0060]在区域终端I中，由拍摄指示部15对数码照相机3输入快门开放信号(步骤S7)。由此，数码照相机3以该时点的拍摄视场来进行拍摄，将拍摄出的静止图像输入至静止图像输入部16。如上述，由于区域终端I按照本次检测出的物体的位置、大小来调整数码照相机3的拍摄视场，使其适于该物体的位置、大小，因此，与由摄像机2拍摄出的帧图像相比，能够得到更鲜明地拍摄出所检测出的物体的静止图像。
[0061]区域终端I如果接收到数码照相机3所拍摄出的静止图像(步骤S8)，则将该静止图像发送至服务器4 (步骤S9)。此时，区域终端I将在步骤S4中检测出的物体的位置和在步骤S5中计算出的数码照相机3的拍摄倍率也发送至服务器4。
[0062]另外，在区域终端I中，可以一直将由动画输入部12接收的由摄像机2拍摄出的监视对象区域的动画存储在图像存储部17中，但是为了抑制图像存储部17的存储容量，也可以将在步骤S3中检测出物体的时刻作为开始时刻，仅在之后的一定(规定)时间内，存储由动画输入部12接收的由摄像机2拍摄出的监视对象区域的动画，即，仅保持存储一定(规定)的时间。[0063]根据上述说明可知，区域终端I能够充分抑制与物体检测相关的由图像处理部13执行的图像处理的处理负荷以及向服务器4发送图像的处理负荷。
[0064]接下来，参照图6，说明服务器4的动作。
[0065]在服务器4中，如果利用通信部42经由网络5接收到从所连接的某个区域终端I发送来的静止图像(步骤S11)，则利用图像处理部43对本次接收的静止图像进行处理(步骤S12)。在步骤S12中，与上述区域终端I的图像处理部13之间的不同点在于，执行图案匹配的图像处理，在本次接收的静止图像中检测所拍摄出的物体的种类、大小等的属性。具体而言，在服务器4中，在图像处理部43中进行图案匹配，从而检测所拍摄到的物体是作为移动体的人、车等，还是作为非移动体的提包、手提箱等。另外，在服务器4中，如果检测出的物体是人，则利用图像处理部43来执行脸部识别处理，推断性别、年龄等。另外，在服务器4中，如果检测出的物体是车辆，则利用图像处理部43执行文字识别处理，识别该车辆的号码牌所示的车牌号码。
[0066]此外，服务器4从区域终端I接收由数码照相机3拍摄出由通信部42接收到的静止图像时的拍摄倍率，因此，能够根据该静止图像上的物体的大小，来计算该物体的实际大小。
[0067]图案匹配、脸部识别处理、文字识别处理等是公知的，因此在此省略详细说明。
[0068]在服务器4中，在输出部45中根据步骤S12的检测结果进行输出(步骤S13)。例如，将本次检测出的可疑人、可疑物的种类、大小等作为处理结果，来启动保安室的警报，通知正在待机的保安人员等，或通过电子邮件将处理结果发送至保安人员等所持的便携终端。
[0069]另外，服务器4将从经由网络5连接的区域终端I发送来的静止图像存储在图像存储部44中。
[0070]如上述，区域终端I能够充分抑制与物体检测相关的由图像处理部13执行的图像处理的处理负荷以及向服务器4发送图像的处理负荷。
[0071 ] 另外，在服务器4中，对由区域终端I检测出的物体的属性进行检测。服务器4不进行与有无物体相关的检测。另外，用于服务器4检测物体属性的静止图像，是由数码照相机3针对检测出的物体鲜明地拍摄出的图像。由此，服务器4能够高精度地检测位于监视对象区域内的物体的属性。另外，区域终端I将拍摄所检测出的物体而得的静止图像发送至服务器4，不将由摄像机2拍摄出的动画发送至服务器4，因此还能够抑制网络5的数据流量。
[0072]因此，在该分布图像处理系统中，就区域终端I而言，即使使用处理性能低的廉价设备，也没有问题。另外，位于监视对象区域内的物体的检测及其属性的检测，是在服务器4中高精度地执行的。由此，能够高精度地检测位于监视对象区域内的物体及其属性，并且，能够抑制系统构建的成本增加。
[0073]另外，也可以不设置上述的数码照相机3、云台、区域终端I的拍摄视场控制部14、拍摄指示部15和静止图像输入部16，由区域终端I将通过摄像机2对所检测出的物体进行拍摄而得到的帧图像作为静止图像，发送至服务器4。这样一来，能够更加降低区域终端I的处理负荷。
[0074]另外，区域终端I也可以将通过摄像机2对所检测出的物体进行拍摄而得到的帧图像和通过数码照相机3对该检测出的物体进行拍摄而得到的静止图像，都发送至服务器4。
[0075]进而，区域终端I也可以针对检测出的物体是移动体还是非移动体来进行检测，并通知服务器4。区域终端I能够根据所检测出的物体的位置是否随时间经过而发生变化，来检测该物体是移动体还是非移动体。这样一来，服务器4可以按照从区域终端I通知来的信息，分类为移动体或非移动体，之后对在静止图像中拍摄出的物体进行图案匹配。即，也能够降低服务器4的图像处理的负荷。
[0076]附图标记的说明
[0077]I…区域终端
[0078]2…摄像机
[0079]3…数码照相机
[0080]4…服务器
[0081]5…网络
[0082]11…控制部
[0083]12…动画输入部
[0084]I3…图像处理部
[0085]14...拍摄视场控制部
[0086]15…拍摄指示部
[0087]I6…静止图像输入部
[0088]I7…图像存储部
[0089]18…通信部
[0090]41…控制部
[0091]42…通信部
[0092]43…图像处理部
[0093]44…图像存储部
[0094]45…输出部
【权利要求】
1.一种分布图像处理系统，其特征在于， 具有以能够通信的方式连接的终端和服务器； 所述终端具有: 动画输入部，其接收由第一摄像头拍摄出的监视对象区域的动画， 简易图像处理部，其对由所述动画输入部接收的动画进行处理，检测拍摄到的物体， 静止图像发送部，其在所述简易图像处理部检测出物体时，以静止图像的方式，将对检测出的物体进行拍摄而得到的拍摄图像发送至所述服务器； 所述服务器具有: 图像处理部，其对由所述终端发送来的静止图像进行处理，检测在该静止图像中拍摄出的物体的属性， 输出部，其基于所述图像处理部的处理结果，进行输出。
2.如权利要求1所述的分布图像处理系统，其特征在于， 所述终端还具有拍摄视场控制部，该拍摄视场控制部控制第二摄像头的拍摄视场，该第二摄像头用于拍摄静止图像； 在所述终端中进行如下处理: 所述简易图像处理部，检测所拍摄到的物体，并且对所检测出的物体在所述监视对象区域内的位置进行检测， 所述拍摄视场控制部，基于由所述简易图像处理部检测出的所述监视对象区域内的物体的位置，来控制所述第二摄像头的拍摄视场， 所述静止图像发送部，将由所述第二摄像头拍摄出的静止图像发送至所述服务器。
3.如权利要求1或2所述的分布图像处理系统，其特征在于， 在所述终端中进行如下处理: 所述简易图像处理部，检测所拍摄到的物体，并且对所检测出的物体是否为移动体进行检测， 所述静止图像发送部，将表示所检测出的物体是否为移动体的信息与静止图像一起发送至所述服务器。
4.如权利要求1?3中任何一项所述的分布图像处理系统，其特征在于， 在所述终端中进行如下处理: 所述简易图像处理部，通过生成差分图像来检测所拍摄到的物体，所述差分图像是指，由所述动画输入部接收的动画的帧图像与所述监视对象区域的背景图像之间的差分图像。
5.如权利要求1?4中任何一项所述的分布图像处理系统，其特征在于， 在所述服务器中，所述图像处理部通过图案匹配，来检测在静止图像中拍摄出的物体的种类。
【文档编号】G08B13/196GK103548341SQ201280024655
【公开日】2014年1月29日 申请日期:2012年2月21日 优先权日:2011年6月8日
【发明者】梶谷浩一郎, 内藤丈嗣, 上野山徹, 長谷川诚, 一之瀬克彦 申请人:欧姆龙株式会社