一种双摄像头目标跟踪系统及其实现方法
【专利摘要】目前市面上的视频监控要么只能在二维空间里进行跟踪监控，要么只能在光线充足的时候进行跟踪监控，要么成本高昂，不利于推广应用。为了解决上述技术问题，本发明提供一种双摄像头目标跟踪系统及其实现方法，其系统依次由双目摄像头传感器模块、光线判别模块、目标检测模块、目标跟踪模块、终端显示模块连接组成，双目摄像头传感器模块由两个相同的带有红外成像模块的左摄像头和右摄像头组成，左右摄像头前向平行放置。利用本系统及其实现方法，可以在三维空间里进行视频监控跟踪，并且不受光线条件的影响，可以全天候地进行目标跟踪监控。
【专利说明】一种双摄像头目标跟踪系统及其实现方法
【技术领域】
[0001]本发明涉及视频监控领域，特别是一种双摄像头目标跟踪系统及其实现方法。
【背景技术】
[0002]现代社会中人们对安全的要求越来越高，城市中也布置了各种各样的视频监控设备来满足不同场景下的需要。可通过视频监控系统对重要场所或地点进行实时监控，获得有效数据、图像或声音信息，对突发性异常事件的过程中的敏感目标进行及时的监视和记忆，用以帮助相关部门及时有效的处理突发事件。随着目标检测及目标检测技术的不断发展，现在的视频监控系统的功能越来越多样化。物体识别、轨迹跟踪、行为识别等功能的不断发展使得视频监控系统越来越成为现代社会不可或缺的一部分。
[0003]现有的视频监控系统中的目标跟踪系统仅能在图像平面上二维地跟踪目标，其缺点在于不能完整的提供目标在三维空间内的移动轨迹，使得用户无法对监控区域内的异常事件做出准确合理的应对。除此之外，市面上也有一些能够在三维空间跟踪目标的监控系统。但是这种监控系统的目标跟踪装置是在图像传感器之外附加了昂贵的距离传感器，其缺点在于成本较高、不能充分利用监控系统内已有的图像传感器，不同类型传感器之间的协同也增加了系统的复杂性，为部署系统带来了困难。同时某些监控系统在黑暗条件下无法进行有效地监控。
【发明内容】
[0004]为解决上述技术问题，本发明所采用的技术方案如下: [0005]一种双摄像头目标跟踪系统，依次由双目摄像头传感器模块、光线判别模块、目标检测模块、目标跟踪模块、终端显示模块连接组成，双目摄像头传感器模块由两个相同的带有红外成像模块的左摄像头和右摄像头组成，左右摄像头前向平行放置。
[0006]摄像头的分辨率为640*480像素以上。
[0007]—种双摄像头目标跟踪系统实现方法，其步骤如下
[0008]1.通过左、右两个带有红外模块的摄像头组成的双目摄像头传感器模块进行监控；
[0009]2.双目摄像头传感器模块将取得的图像数据传送至光线判别模块；
[0010]3.光线判别模块将当前图像的亮度值与设定好的阈值进行比较，低于阈值时别返回控制信息给双目摄像头传感器模块，使摄像头启用红外图像模式，然后光线判别模块将图像统一转换为灰度图像格式送至目标检测模块。不低于阈值，则将图像数据直接送至目标检测模块；
[0011]4.目标检测模块对左摄像头图像数据检测判断作用区域内是否有敏感目标需要被跟踪，如果有敏感目标需要跟踪，则将两路图像数据和被检测到的目标数据移交给目标跟踪1?块；
[0012]5.目标跟踪模块利用视差原理同时处理两路图像监控数据得到监控区域的实时三维景深数据，然后结合目标检测模块所给的目标信息在三维景深数据中对目标进行实时跟踪。
[0013]光线判别模块、目标检测模块以及目标跟踪模块为特定计算机程序的不同功能模块安装在PC机或者单片机上。光线判别模块为基于OpenCV的计算机程序，采用直方图方法判断图像亮度。目标检测模块为基于OpenCV的计算机程序，采用haar分类器检测是监控区域内的敏感目标(如人、动物、车辆等)。目标跟踪模块为基于OpenCV的计算机程序，采用视差原理得到监控区域的实时景深图像数据，并采用Camshift算法在三维景深区域上对目标进行跟踪。
[0014]终端显示模块用于观察目标跟踪模块输出的视频数据，可以是与标准图像流相兼容的显示设备，分辨率大于640*480。
[0015]本发明的有益效果为:
[0016]1.本系统采用的处理流程设计巧妙，一般情况下只处理左摄像头画面，只有在检测到目标时才对右摄像头获得的图像进行处理，大大提高了运算效率；
[0017]2.本系统实用性强，可以在夜间及黑暗光线下进行监控；
[0018]3.本系统的结构具有灵活性，传感器和处理器可以分离，便于在各种场景下部署；
[0019]4.本系统的设计巧妙、成本低廉，可以用低成本的硬件设施来达到目标的三维跟踪;
[0020]5.本系统具有可扩展性，加载不同的软件算法就可以实现对不同目标的跟踪；
【专利附图】
【附图说明】
[0021]图1双摄像头目标跟踪系统的结构图。
[0022]图2双摄像头目标跟踪系统处理每帧图像的流程图。
【具体实施方式】
[0023]下面结合说明书附图对本发明作进一步的详细说明。、
[0024]本发明的整体结构如附图1所示，由双目摄像头传感器模块，光线判别模块，目标检测模块，目标跟踪模块，终端显示模块组成。摄像头采用市面上普通的带有红外模块的摄像头即可，分辨率最好在640*480像素以上，在本实施例中我们采用的是宇视飞扬3730型摄像头，该摄像头该摄像头具有以下优点:
[0025]1.基于可见光与红外光两种获取形式，可在低光及黑暗情况下全天候的进行监控。
[0026]2.结构设计合理，具有固定底座，便于在不同环境下的安装于固定。
[0027]3.采用USB2.0接口，传输速率高，兼容性好，能够连接各种型号的PC机设备。
[0028]4.动态范围大，能够在光线反差较大的场景下获取质量较好的图像数据。
[0029]5.基于可见光与红外光两种获取形式，可在低光及黑暗情况下全天候的进行监控。
[0030]我们选择视频处理中主流的OpenCV函数库作为光线判别模块、目标检测模块和目标跟踪模块的开发工具。其具有以下优点:[0031]1.对可见光与红外光摄像头进行了统一封装，可以方便的装换为灰度值图像。
[0032]2.开源软件，可以免费利用该函数库进行开发，进一步降低了整个系统的成本。
[0033]3.基于C语言编写，兼容性好，速度快，便于跨平台移植。
[0034]4.封装了多种图像处理算法，降低了模块的开发难度与人工成本。
[0035]对于安装光线判别模块、目标检测模块与目标跟踪模块的硬件设备，要求为普通的PC机，最低配置要求为:cpu主频2.4GHz,内存1GB，硬盘20GB，显卡显存64MB，具有以太网网卡及接口。终端显示模块要求分辨率大于640*480。
[0036]使用时，将本系统中的左摄像头与右摄像头前向平行放置，固定在其作用范围能够覆盖监控区域的位置。对双目摄像头传感器模块预先进行一次性的去畸变与校正处理，得到的相关数据固化在目标检测模块和目标跟踪模块的计算机程序之中。将左摄像头和右摄像头的USB连接线插入到安装有光线判别模块、目标检测模块和目标跟踪模块程序的计算机中，同时用视频输出线将计算机与终端显示模块相连。
[0037]开启电源后，本系统开始运作。此时左摄像头和右摄像头组成的双目摄像头传感器模块实时监控敏感区域，将两路监控视频数据同时传送至光线判别模块，光线判别模块将当前图像的亮度值与设定好的阈值进行比较，低于阈值时别返回控制信息给双目摄像头传感器模块，使之启用红外图像模式，然后光线判别将图像统一转换为灰度图像格式送至目标检测模块。目标检测模块对左摄像头和右摄像头的公共作用区域进行目标检测判断是否有敏感目标需要被跟踪。如果检测到需要被跟踪的目标后，目标检测模块将两路图像数据和被检测到的目标数据移交给目标跟踪模块。目标跟踪模块利用视差原理通过两路图像监控数据得到监控区域的实时三维景深数据，然后结合目标检测模块所给的目标信息在三维景深数据中对目标进行实时跟踪。
[0038]上述处理图像的过程结合附图2加以进一步说明:
[0039]左右摄像头同时获取一帧图像，光线判别模块根据左图像的亮度决定是否将摄像头的图像获取方式调整为红外模式，然后将图像统一转换为灰度图像格式便于后续模块的处理。目标检测模块根据左图像判断在作用区域内是否有敏感目标出现，如果没有则直接进行下一帧的处理；如果存在目标，则将目标信息与左右摄像头的图像送入目标跟踪模块.目标跟踪模块在左右两图上对目标的特征进行匹配，根据视差原理计算出目标的深度信息，然后对目标进行跟踪。最后进入下一帧的处理流程。
[0040]以上所述，仅为本发明较佳的【具体实施方式】，但本发明的保护范围并不局限于此。在本发明所披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明所揭露的技术范围之内，比如说将光线判别模块、目标检测模块以及目标跟踪模块安装在单片机上。因此，本发明的保护范围应该以权利要求书的保护范围为准。
【权利要求】
1.一种双摄像头目标跟踪系统，依次由双目摄像头传感器模块、光线判别模块、目标检测模块、目标跟踪模块、终端显示模块连接组成，其特征在于:双目摄像头传感器模块由两个相同的带有红外成像模块的左摄像头和右摄像头组成，左右摄像头前向平行放置。
2.根据权利要求1所述的一种双摄像头目标跟踪系统，其特征在于:摄像头的分辨率为640像素*480像素以上。
3.—种双摄像头目标跟踪系统实现方法，其步骤如下: 1)通过左、右两个带有红外模块的摄像头组成的双目摄像头传感器模块进行监控； 2)双目摄像头传感器模块将取得的图像数据传送至光线判别模块； 3)光线判别模块将当前图像的亮度值与设定好的阈值进行比较，低于阈值时别返回控制信息给双目摄像头传感器模块，使摄像头启用红外图像模式，然后光线判别模块将图像统一转换为灰度图像格式送至目标检测模块，不低于阈值时，则将图像数据直接送至目标检测模块； 4)目标检测模块对左摄像头图像数据检测判断作用区域内是否有敏感目标需要被跟踪，如果有敏感目标需要跟踪，则将两路图像数据和被检测到的目标数据移交给目标跟踪模块； 5)目标跟踪模块利用视差原理同时处理两路图像监控数据得到监控区域的实时三维景深数据，然后结合目标检测模块所给的目标信息在三维景深数据中对目标进行实时跟足示O
【文档编号】H04N7/18GK103595916SQ201310557371
【公开日】2014年2月19日 申请日期:2013年11月11日 优先权日:2013年11月11日
【发明者】朱洪波, 许多行, 卢捍华, 张潇磊 申请人:南京邮电大学