使用图像的3d信息的监控设备和系统以及监控方法

使用图像的3d信息的监控设备和系统以及监控方法
【专利摘要】提供了一种使用图像的3D信息的监控设备和系统以及监控方法。使用3D信息的监控设备包括：图像获取单元，被配置为获得由PTZ相机捕捉的2D图像；信息提取单元，被配置为基于PTZ相机的水平/垂直角度来提取对象的2D坐标信息，并且基于PTZ相机的缩放比例来提取PTZ相机与对象之间的距离信息；操作单元，被配置为通过比较由图像获取单元获得的2D图像的当前帧和先前帧来操作2D坐标信息和距离信息的变化；位置跟踪单元，被配置为通过基于2D坐标信息和距离信息的变化控制PTZ相机来跟踪对象的位置。
【专利说明】使用图像的3D信息的监控设备和系统以及监控方法
【技术领域】
[0001]本发明涉及一种使用图像的三维(3D)信息的监控设备和系统以及使用图像的3D信息的监控方法，更具体地，涉及一种使用图像的3D信息的监控设备和系统以及使用图像的3D信息的监控方法，其中，所述监控设备和系统以及监控方法可根据使用PTZ(水平垂直缩放)相机的水平/垂直转动角度和图像的3D信息(B卩，根据缩放比例的对象与相机之间的距离信息)来获得对象的二维(2D)坐标，并且通过计算根据对象的移动的3D信息的变化来连续地监控和跟踪移动对象。
【背景技术】
[0002]根据用于获得作为立体图像的3D场景的一般方法，提供了用于捕捉左图像和右图像的两个相机，并且将根据相机之间的角度差的两幅不同图像进行合成以完成最终的3D场景。
[0003]此外，在跟踪移动物体(例如，观察者)的过程中，通过计算关于2D场景的图像的变化来抓取被跟踪的身体的位置，并且PTZ相机的焦点移动至抓取的位置。例如，接收捕捉到的图像帧，使用接收到的图像帧来检测观察者的位置，使用检测到的观察者的位置和先前检测到的观察者的位置中的至少一个来计算观察者的移动速度。随后，使用检测到的观察者的位置和计算出的移动速度来估计当过去预定时间时观察者的位置，并且基于估计出的观察者的位置来计算立体图像的变化。随后，基于计算出的立体图像的变化来显示立体图像。
[0004]根据上述现有技术，聚焦于在提供立体图像显示的环境中计算观察者的位置，以及在显示立体图像的过程中使用所述图像。在操作用于3D图像的两个相机的过程中，不提供PTZ (水平垂直缩放)功能，因此难以自由地实现立体图像。
[0005]具体地，注册号为20-0350161的韩国实用新型公开了一种通过感测接近的对象的移动并防止对象的接近来提供安全功能的立体图像安全控制装置。以下，将参照图1来描述所述装置的细节。
[0006]图1是注册号为20-0350161的韩国实用新型所公开的现有技术中的立体图像安全控制装置的配置图。
[0007]参照图1，立体图像安全控制装置I被配置为通过立体图像相机9、被连接至驱动电机10的安全装置11和扬声器12的连接来执行自动安全管理，其中，通过通信模块7和8将上述部件安装在多个地方的安全警备区(security compound)。在此,在通信模块7和8的情况下，所述通信模块各自的接口是专用的，因此不能通过通用接口来连接通信模块7和8。此外，应该安装专用的立体图像相机9，并且由于所述立体图像相机不是能够连续地跟踪在相机前面的对象的PTZ相机，因此不可能在广阔的地方对全方向的对象进行跟踪。
[0008]此外，现有技术中的对象跟踪装置的理论算法是用于通过计算在2D (静止图像)状态下先前场景与当前场景之间的图像中的不同来搜索移动对象的方法。例如，通过计算图像的变化(通过检测先前图像与当前图像的改变)以及更新作为跟踪目标的对象的水平坐标和垂直坐标，现有技术中的对象跟踪装置连续地捕捉移动对象的图像。当另一对象遮掩了对应的对象或者对应的对象与另一目标交错而过时，这种方法频繁地丢失对象。也就是说，在自动对象跟踪的成功率大幅降低的环境中，所述方法丢失正在跟踪的目标。

【发明内容】

[0009]因此，已经做出本发明以解决上述在现有技术中发生的问题，并且本发明所要解决的一个目标是提供一种使用图像的3D信息的监控设备和系统以及使用图像的3D信息的监控方法，其中，所述监控设备和系统以及监控方法可通过使用PTZ (水平垂直缩放)相机的所有PTZ功能计算对象的距离/高度信息来获得图像的3D信息，基于3D信息来更准确地获得移动对象的坐标，并且使用移动对象的坐标来更准确地监控和跟踪移动对象。
[0010]本发明所要解决的另一目标是提供一种使用图像的3D信息的监控设备和系统以及使用图像的3D信息的监控方法，其中，所述监控设备和系统以及监控方法可使用通过网络链接的PTZ相机来获得3D图像，并且在通过网络与其他相机共享获得的图像的同时全方位地监控和跟踪移动对象。
[0011]将在下面的说明书中部分阐述本发明的另外的优点、目标和特征，而且部分说明书对于审查了以下说明书后的本领域的普通技术人员而言将会变得清楚或者可以从对本发明的实践中学到。
[0012]根据本发明的一方面，提供一种使用图像的3D信息的监控设备，包括:图像获取单元，被配置为获得由PTZ相机捕捉的2D图像；信息提取单元，被配置为基于PTZ相机的水平/垂直角度来提取对象的2D坐标信息，并且基于PTZ相机的缩放比例来提取PTZ相机与对象之间的距离信息；操作单元，被配置为通过比较由图像获取单元获得的2D图像的当前中贞和先前巾贞来操作2D坐标信息和距离信息的变化；位置跟踪单元,被配置为通过基于2D坐标信息和距离信息的变化控制PTZ相机来跟踪对象的位置。
[0013]根据本发明的一方面，提供一种使用图像的3D信息的监控系统，所述监控系统通过经由多个PTZ相机的链接获得图像的3D信息来跟踪对象，其中，PTZ相机中的每个包括:接口单元，被配置为通过网络来连接到其他PTZ相机；图像捕捉单元，被配置为捕捉对象的图像；图像转换单元，被配置为将由图像捕捉单元捕捉到的2D图像与通过网络传输的其他PTZ相机的2D图像进行合成，并将合成的2D图像转换为3D图像；信息提取单元，被配置为基于PTZ相机的水平/垂直角度来提取对象的2D坐标信息，并且从3D图像中提取对象的高度信息；操作单元，被配置为通过比较3D图像的当前巾贞和先前巾贞来操作2D坐标信息和高度信息的变化；位置跟踪单元，被配置为通过基于2D坐标信息和高度信息控制PTZ相机来跟踪对象的位置。
[0014]根据本发明的一方面，提供一种使用图像的3D信息的监控方法，包括:通过使用PTZ相机进行捕捉来获得2D图像；基于PTZ相机的水平/垂直角度来提取对象的2D坐标信息，并且基于PTZ相机的缩放比例来提取PTZ相机与对象之间的距离信息；通过比较2D图像的当前巾贞和先前巾贞来操作2D坐标信息和距离信息的变化；基于2D坐标信息和距离信息的变化来控制PTZ相机；跟踪对象的位置。
[0015]根据本发明，使用固定型PTZ相机，而不安装昂贵的可移动型3D相机，从而可节省
安装费。[0016]此外，在将获得的图像用作用于刑事鉴定的证据数据的情况下，可通过距离信息和覆盖对象的识别来辨别多个对象，其中，在现有的2D场景中会丢失覆盖对象，并且具有自动跟踪装置的功能的PTZ相机可以以这种方法来高成功率地执行无缝对象跟踪。
[0017]可使用多个使用IP (因特网协议)的网络PTZ相机来获得立体图像，因此可显著提升现有对象跟踪装置的性能。
[0018]此外，由于甚至可通过添加从立体图像(其中，使用多个图像输入装置来获得所述立体图像)计算出的对象的高度信息来识别对象，因此可使自动跟踪装置的性能最大化。
[0019]如果期望在改变的立体图像中跟踪对象，则由于使用对应的对象的高度信息，因此与基于现有2D类型图像变化测量方法的自动对象跟踪装置相比可实现卓越的性能。
[0020]通过参照附图详细描述本发明的示例性实施例，本发明的以上和其他特征或优点将变得更加清楚。
【专利附图】

【附图说明】
[0021]通过下面结合附图的详细描述，本发明的上述和其它目标、特征和优点将更加清楚，其中:
[0022]图1是现有技术中立体图像安全控制装置的配置图；
[0023]图2是根据本发明的实施例的使用图像的3D信息的监控设备的配置图；
[0024]图3是示出根据PTZ相机的焦距的PTZ相机与对象之间的距离关系的示图；
[0025]图4是根据本发明的实施例的使用图像的3D信息的监控系统的配置图；
[0026]图5是根据本发明的实施例的使用图像的3D信息的监控方法的流程图。
【具体实施方式】
[0027]现在将参照附图在下文中更充分地描述本发明，其中，附图示出了本发明的优选实施例。然而，可按照不同形式来实施本发明，并且不应该将本发明解释为限于在此阐述的实施例。相反地，提供这些实施例使得本发明将是彻底且完全的，并将充分地向本领域的普通技术人员传达本发明的范围。贯穿说明书，同样的标号表示同样的部件。在附图中，为清楚起见，夸大了层和区域的厚度。
[0028]除非另有定义，否则在此使用的所有技术和科学术语的含义与本发明所属的领域的普通技术人员通常所理解的含义相同。应注意的是，除非另有说明，否则任何和所有示例的使用或者在此提供的示例性术语仅意在更好地示出本发明，而并非对本发明的范围的限制。此外，除非另有定义，否则可不必过度解释在通常使用的词典中定义的所有术语。
[0029]以下，将参照附图来详细描述本发明的优选实施例。
[0030]图2是根据本发明的实施例的使用图像的3D信息的监控设备的配置图。此外，图3是示出根据PTZ相机的焦距的PTZ相机与对象之间的距离关系的示图。
[0031]参照图2，根据本发明的实施例的使用图像的3D信息的监控设备200用于基于能够从PTZ相机100获得的水平/垂直角度和缩放比例来提取对象的3D信息，以及用于使用3D信息的变化来跟踪移动对象。此外，根据本发明的实施例的使用图像的3D信息的监控设备200用于获得从多个PTZ相机捕捉到的图像，对所述图像进行处理，并且将所述图像转换为3D立体图像，以及用于使用3D立体图像来跟踪移动对象。此外，将通过使用图像的3D信息的监控设备200获得的信息和数据以及由使用图像的3D信息的监控设备200处理的信息和数据存储在数据库300中。此处，3D信息表示指示对象在立体空间中的位置的三要素。
[0032]使用图像的3D信息的监控设备200包括图像获取单元220、信息提取单元240、操作单元250和位置跟踪部分260。监控设备200还可包括接口单元210和图像转换单元230。
[0033]接口单元210用于链接多个PTZ相机100。此处，接口单元210使用网络来链接多个PTZ相机100，具体地，可使用IP (互联网协议)来链接多个PTZ相机。因此，不需要单独的专用通信模块或方法，因此能够克服由于现有技术的专用设计所导致的仅限于系统中的链接的设计而造成的缺点，灵活的接口设计成为降低可扩展性的阻碍。
[0034]具体地，将多个PTZ相机100被布置为固定在特定位置。也就是说，由于PTZ相机100包括多个彼此面对的PTZ相机100-1至100-n，从而可将死角最小化，并且与用于简单地通过计算当前图像与先前图像之间的变量来搜索对应的位置的方法相比可极大地提升准确性。此时，可通过接口单元210从PTZ相机100获得数据，诸如，水平角度、垂直角度、缩放比例和焦距。通常，在PTZ相机100的情况下，存储捕捉到的图像。因此，可将在预定时间段内进入存储空间的帧和帧的相机参数(即，水平角度、垂直角度、缩放比例和焦距)存储在一起。
[0035]图像获取单元220通过接口单元210获得通过至少一个PTZ相机100获得的2D图像。此外，除了 2D图像之外，图像获取单元220可通过接口单元210来获得与2D图像相关的PTZ相机100的参数值。由于PTZ相机100执行放大/缩小和水平/垂直操作，因此能够获得与相机的3D运动相对应的相机参数。具体地，固定在特定位置并且能够执行水平/垂直操作的监控PTZ相机100可实时识别相机参数，从而更有效。此外，PTZ相机100在固定位置获得图像，从而具有图像输入(场景改变等)不是不规则的优点。可将获得的图像转换为图像被压缩以便于数据传输的压缩格式。压缩格式的图像数据可具有多种格式，诸如MPEG (运动图像专家组)-1和MPEG-4。将通过图像获取单元220获得的2D图像发送至图像转换单元230和/或信息提取单元240。此时，将通过多个PTZ相机100捕捉到的各个2D图像发送至图像转换单元230。此外，可将相机参数(诸如PTZ相机100的水平角度、垂直角度和缩放比例)与通过PTZ相机100捕捉到的2D图像一起发送至信息提取单元240。作为示例，相机参数可以是水平角度、垂直角度、缩放比例和焦距的集合。在此，通过PTZ相机100的3D运动(诸如放大/缩小、水平和垂直)来获得相机参数。
[0036]图像转换单元230对通过图像获取单元220获得的各个2D图像之中的至少两个图像进行合成，以将2D图像转换为3D图像。例如，在合成两个图像的情况下，可通过各个相机来获得2D图像中的对象的平面坐标信息(即，2D坐标信息)，也可获得各个相机之间的距离。通过这样，可将通过IP相互交换的2D图像信息改变为作为立体图像的3D图像。
[0037]具体地，被固定在特定地点且可执行水平/垂直操作的监控PTZ相机100可实时识别出上述相机参数，从而更有效。此外，由于PTZ相机100在固定的位置获得图像，因此具有图像输入(场景改变等)不是不规则的优点。通过PTZ相机100的3D运动(诸如放大/缩小、水平、垂直)来获得相机参数(诸如水平角度、垂直角度、缩放比例和焦距)。通过所述3D运动，可获得图像的3D信息。此外，可使用相机的水平/垂直角度、缩放比例和焦距来获得2D图像合成的3D图像。
[0038]信息提取单元240从2D图像中提取作为对象的位置信息的2D坐标信息，提取PTZ相机100与对象之间的距离信息，并且从3D图像中提取对象的高度信息。此处，可在相机参数(水平、垂直和缩放参数)和从各个PTZ相机100获得的2D图像的帧的基础上提取2D坐标信息和距离信息。具体地，信息提取单元240可基于PTZ相机100的水平/垂直角度来提取对象的2D坐标信息，并且可基于PTZ相机100的缩放比例来提取距离信息。此外，信息提取单元240可从通过合成至少两个2D图像获得的3D图像中提取对象的高度信息。2D坐标信息和距离信息可形成图像的3D信息，或者2D坐标信息和高度信息可形成图像的3D信息。将对象的3D信息(以下，第一 3D信息包括2D坐标信息和距离信息，第二 3D信息包括2D坐标信息和高度信息)存储在数据库300中。通过这样，在用于通过计算2D (静止图像)状态下的先前场景与当前场景之间的图像区别来搜索移动对象的方法中，能够防止当另一对象遮掩了对应的对象或对应的对象与另一对象交错而过时丢失对象。此时，对象的3D信息在被存储在外部数据库300中之前，被存储在使用图像的3D信息的监控设备200的临时缓冲存储器(未示出)中，从而可被直接用作用于跟踪对象的位置的信息。
[0039]此外，如上所述，信息提取单元240可基于缩放比例来提取图像中的对象与PTZ相机100之间的距离信息。可如上所述地提取距离信息的原因是能够抓取根据PTZ相机100的特性的缩放功能和根据缩放比例的焦点位置。也就是说，信息提取单元240基于根据缩放比例的焦距来提取对象与PTZ相机100之间的距离信息。在这种情况下，可通过在不使用立体图像相机的情况下在屏幕上显示PTZ相机100与对象之间的距离信息或者处理所述信息来跟踪而不丢失对象。
[0040]具体地，参照图3，在使用PTZ相机100来捕捉对象的图像的情下，如果假设对象(即，作为图像捕捉目标的对象)与PTZ相机100的镜头之间的外部距离为Do，PTZ相机100的镜头与PTZ相机100的图像传感器之间的内部距离为Di，并且焦距为f，则建立下面的公式I的关系。此处，指示PTZ相机100的镜头之间的距离的外部距离Do变为距离信息。
[0041]【公式I】
[
【权利要求】
1.一种使用图像的3D信息的监控设备，包括: 图像获取单元，被配置为获得由PTZ相机捕捉的2D图像； 信息提取单元，被配置为基于PTZ相机的水平/垂直角度来提取对象的2D坐标信息，并且基于PTZ相机的缩放比例来提取PTZ相机与对象之间的距离信息； 操作单元，被配置为通过比较由图像获取单元获得的2D图像的当前帧和先前帧来操作2D坐标信息和距离信息的变化； 位置跟踪单元，被配置为通过基于2D坐标信息和距离信息的变化控制PTZ相机来跟踪对象的位置。
2.如权利要求1所述的监控设备，其中，将多个PTZ相机布置为固定在特定位置。
3.如权利要求2所述的监控设备，还包括:接口单元，被配置为使用互联网协议(IP)来链接多个PTZ相机。
4.如权利要求3所述的监控设备，还包括:图像转换单元，被配置为合成由多个PTZ相机捕捉到并且由图像获取单元获得的2D图像之中的至少两个图像，并且将合成的图像转换为3D图像。
5.如权利要求4所述的监控设备，其中，信息提取单元从3D图像中提取对象的高度信 肩、O
6.如权利要求5所述的监控设备，其中，操作单元通过彼此比较3D图像的当前帧和先前帧来操作2D坐标信息和高度信息的变化， 位置跟踪单元通过基于2D坐标信息和高度信息的变化控制多个PTZ相机来跟踪对象的位置。
7.如权利要求1所述的监控设备，其中，信息提取单元基于根据PTZ相机的缩放比例的焦距来提取距离信息。
8.一种使用图像的3D信息的监控系统，所述监控系统通过经由多个相机的链接获得图像的3D信息来跟踪对象，其中，PTZ相机中的每个包括: 接口单元，被配置为通过网络来连接到其他PTZ相机； 图像捕捉单元，被配置为捕捉对象的图像； 图像转换单元，被配置为将由图像捕捉单元捕捉到的2D图像与通过网络传输的其他PTZ相机的2D图像进行合成，并将合成的2D图像转换为3D图像； 信息提取单元，被配置为基于PTZ相机的水平/垂直角度来提取对象的2D坐标信息，并且从3D图像中提取对象的高度信息； 操作单元，被配置为通过比较3D图像的当前帧和先前帧来操作2D坐标信息和高度信息的变化； 位置跟踪单元，被配置为通过基于2D坐标信息和高度信息的变化控制PTZ相机来跟踪对象的位置。
9.如权利要求8所述的监控系统，其中，信息提取单元基于PTZ相机的缩放比例来提取PTZ相机和对象之间的距离信息。
10.如权利要求9所述的监控系统，其中，信息提取单元基于根据PTZ相机的缩放比例的焦距来提取距离信息。
11.如权利要求9所述的监控系统，其中，PTZ相机中的每个还包括:存储单元，被配置为存储2D坐标信息、高度信息和距离信息。
12.如权利要求9所述的监控系统，其中，PTZ相机中的每个通过网络将由图像转换单元转换的3D图像以及由信息提取单元提取的2D坐标信息、高度信息和距离信息传输至其他PTZ相机。
13.一种使用图像的3D信息的监控方法，包括: 通过使用PTZ相机进行捕捉来获得2D图像； 基于PTZ相机的水平/垂直角度来提取对象的2D坐标信息，并且基于PTZ相机的缩放比例来提取PTZ相机与对象之间的距离信息； 通过比较2D图像的当前帧和先前帧来操作2D坐标信息和距离信息的变化； 基于2D坐标信息和距离 信息的变化来控制PTZ相机； 跟踪对象的位置。
【文档编号】H04N13/02GK103686131SQ201310426387
【公开日】2014年3月26日 申请日期:2013年9月18日 优先权日:2012年9月18日
【发明者】金昌洙 申请人:三星泰科威株式会社