一种两级框架的车辆部分遮挡消除方法
【专利摘要】本发明公开了一种两级框架的车辆部分遮挡消除方法，对发生遮挡的前景区域，根据遮挡度将遮挡划分为弱遮挡和强遮挡，针对弱遮挡，采用帧内级基于前景轮廓凸包分析的遮挡处理方法，对于提取的前景凸包，寻找具备最佳面积比的分割线，其分割结果作为遮挡分离的结果；针对强遮挡，采用跟踪级基于样本在线分类的遮挡处理方法。从当前帧的遮挡前景和与之对应的未遮挡时车辆的历史图像中，利用滑动窗的方法分别提取出测试样本和训练样本。采用KNN方法实现测试样本与训练样本的匹配，测试样本采用最匹配训练样本的标号进行标记，标记的结果则对应了遮挡分割的结果。本发明具有检测精度高，复杂度低及适用性强的优点。
【专利说明】一种两级框架的车辆部分遮挡消除方法
【技术领域】
[0001]本发明属于机器视觉与图像处理领域，尤其涉及一种视频检测系统中两级框架结构的车辆部分遮挡消除方法。
【背景技术】
[0002]视频检测系统中，准确的多目标提取及跟踪技术能够获得包括车辆类型、轨迹、流量以及车道占有率等有用的交通信息，这些信息为交通事件的检测提供了大量的基础数据，对提高交通管理的效率以及交通安全的性能发挥着关键性作用。然而，视觉成像系统在将3D场景投影至2D图像平面时，损失了深度信息，导致实质不在一个平面的物体被投影到了一个平面，这使得在基于图像的目标识别与跟踪过程中，遮挡会经常发生，尤其目标之间的相互遮挡将会严重影响交通参数检测的准确度。因此，必须建立一种可靠、实用的遮挡检测及消除机制。
[0003]目前，车辆遮挡检测及消除方法大致分为四类:基于N维车辆模型的方法、基于特征模型的方法、基于统计模型的方法和基于推理模型的方法。其中，基于N维车辆模型的方法利用车辆的N维(3D、2.5D)模型在提取的前景区域内进行车辆匹配。当前景中车辆的类型、成像角度与模型接近时，能够获得较好的检测效果，对模型之外的目标则检测效果欠佳。该类方法需要以场景几何约束为基础，在实际应用中这些几何关系的获得需要较大的计算量，且未必成立；模型匹配对车辆分割与道路定标的精度的要求比较高，通用性差。基于特征模型的方法是利用被遮目标仍然可见部分的特征进行匹配而实现遮挡分离。在解决部分遮挡问题时，特征模型最直接有效。不过该类方法需要假设发生遮挡时，所选用的特征在被遮车辆上仍然能提取到。此限制导致了该类方法存在如下缺陷:不能预知所用的特征在遮挡发生时的有效检测率，即使采用多特征融合的方法，也不能确定面对特定的遮挡该选用哪种特征作为主要判据。此外，该类方法中由于特征点的挑选方法是事先确定的，对于多个同类物体，可能这些特征点不具有较大的区分度。基于统计模型的方法也是解决目标遮挡问题的一个有效途径，对遮挡目标的跟踪取得了较好的处理效果，但参数估计以及标号过程很复杂，对选择的先验模型也很敏感，同时处理速度达不到实时系统的要求。基于推理模型的方法是根据场景中车辆的位置、轨迹等信息的先验知识来解决遮挡问题。在很多时候均能显示出其优良的性能，然而该类方法对场景中车辆的轨迹、位置等先验信息的依赖性较强，对于复杂的交通场景而言，现存的推理模型的方法尚不够完备。
[0004]经对现有技术文献的检索发现，在线样本分类用于遮挡处理的方法在某些文献中被提及。如 L.Zhu 等在《Pattern recognition》上发表文章“Tracking multiple objectsthrough occlusion with online sampling and position estimation，，,该文利用目标的颜色、纹理、相对空间特征在连续帧之间的相似性，将遮挡分割问题转化为像素点的分类问题。文章指出在检测到遮挡后，首先从与该遮挡前景对应的非遮挡目标的N帧历史数据中，用滑动窗的方法提取窗口区域内像素点的颜色、纹理特征，构成训练样本，其次从当前帧中的遮挡前景中按照同样的方法提取测试样本，最后通过测试样本和训练样本的匹配完成测试样本的归类，从而完成分割。文中的试验结果表明该方法能够克服平滑移动的假设，对位置突然改变的目标仍然有较好的匹配效果。较之于一般基于特征模型的遮挡分割方法具有较高准确度。但该样本在线分类的方法的处理时间与测试样本的数目成正比，也即与前景面积成正比。当两个车辆目标刚刚发生遮挡时，含遮挡的前景目标几乎是这两个目标面积的总和，因此，该方法在处理目标间的初期遮挡时，需要匹配的样本数量极为巨大，不能满足实时性系统的要求。基于前景轮廓凸包分析进行遮挡车辆分割的方法在某些文献中被提及。如张伟等在《Intelligent Transportation System》上发表文章“Multilevelframework to detect and handle vehicle occlusion”,该文利用遮挡车辆凸包的面积比来判断是否发生遮挡，并以内矩最大的点为切割点搜寻遮挡切割线。该方法的运算耗时较低，在车辆发生遮挡的初期较有效，但是随着车辆间遮挡程度的提高，遮挡车辆凸包的面积比与非遮挡车辆凸包的面积比差异会缩小，而导致遮挡不能被有效识别与分割。
[0005]因此，一种实时性好，准确性高，能适用于实际道路环境感知的遮挡处理方法，对提闻目标检测和跟踪的精度有着积极的影响，对于提闻交通彳目息的实时性、有效性以及交通管理的智能化水平发挥着重要作用。
【发明内容】
[0006]为克服现有技术中的不足，本发明旨在提供一种两级框架的车辆部分遮挡消除方法，该方法检测精度高，实时性好及适用性强。
[0007]为实现上述技术目的，本发明通过以下技术方案实现:先利用发生遮挡的前景面积与发生遮挡前车辆面积之间的相互关系进行遮挡程度的判断，当
I > emaxCl^l.Kill)时，为车辆弱遮挡，否则为车辆强遮挡，s、f 时刻第/个遮挡
前景的面积；时刻与第个遮挡前景对应的第e个车辆面积，f是比例
因子，e=1.5 ;再采用基于凸包性质分析的方法进行弱遮挡分割和采用基于在线样本分类的方法进行强遮挡分割。
`[0008]与现有技术相比，本发明具有以下有益效果:
本发明采用了一种基于遮挡度的两级框架结构的遮挡处理方法，将基于凸包分析的帧内级遮挡处理方法与基于在线样本分类的跟踪级遮挡处理方法相结合。以“遮挡度”为桥梁实现了两种方法的融合，使得弱遮挡阶段，在线样本分类标记方法实时性方面的缺陷通过基于凸包分割的遮挡处理方法来弥补，使得强遮挡阶段，凸包分割法在分割准确性方面的缺陷通过基于样本在线分类的方法来弥补，实现了帧内级算法和跟踪级算法的优势互补，大大提高了车辆间部分遮挡分离的可靠性以及实时性，对于提高车辆检测及跟踪的可靠性有较大助益，可广泛应用于视频监控系统、智能交通系统及各类民用系统中。
【专利附图】
【附图说明】
[0009]图1是本发明所述一种两级框架的车辆部分遮挡消除方法的流程图；
图2是遮挡车辆与非遮挡车辆以及各自的凸包示意图。其中，图2 (a)、图2 (b)分别是非遮挡车辆及其凸包示意图；图2 (C)、图2 (d)分别是两个互相遮挡的车辆及其凸包示意图；图3是弱遮挡车辆的分割示意图，其中图3 (a)为遮挡车辆的凸形模板差；图3 (b)为选出的切割点；图3 (c)为可能的“切割线”以及最终的“切割线”；图3 (d)为用“切割线”分割的遮挡车辆。
[0010]图4是强遮挡车辆的分割，其中图4 (a)为发生强遮挡车辆前景；图4 (b)为滑动窗方式获得的测试样本中心点集；图4 (c)为样本分类后对像素进行标记的结果；图4 (d)为用矩形框表示的车辆跟踪结果。
[0011]图5是采用本发明所述遮挡消除方法后得到的车辆跟踪结果。
[0012]图6是与图5对应的跟踪过程中的遮挡处理时间对比结果。
【具体实施方式】
[0013]为更好的理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。
[0014]本发明对发生遮挡的前景区域，引入遮挡度的概念。首先根据遮挡程度将遮挡划分为弱遮挡和强遮挡；其次针对弱遮挡，采用帧内级基于前景轮廓凸包分析的遮挡处理方法；最后针对强遮挡采用跟踪级基于样本在线分类的遮挡处理方法。实际上，本发明提出了遮挡度的概念，并依此为桥梁实现了两种遮挡分割方法的深度、有效的融合，利用各自的优势弥补对方的缺陷，达到整体更优的表现。对于所提取的遮挡前景按照图1所示的总体方法进行遮挡处理。各部分具体实施细节如下:
1、强弱遮挡判断
车辆属于刚体目标，在运行过程中二维成像平面上的面积属性具有连续性。本发明根据遮挡前景的面积和与该遮挡前景对应的未发生遮挡时的前景面积之间的关系，进行遮挡前景区域的遮挡程度划分。具体分为弱遮挡和强遮挡。刚体类型的车辆，其众多特征(如运行速度、运行轨迹及二维图像上的面积)在连续视频序列中呈现平滑性和渐变性。而遮挡就是在原来被跟踪的目标图像区域内，某一个方向上发生连续稳定有一定尺寸被其他图像区域覆盖的现象，使原来被跟踪的目标图像区域面积缩小，这个过程是渐进的。因此可以利用发生遮挡的前景区域面积与发生遮挡前车辆面积之间的相互关系进行遮挡程度的判断。设图像帧中第/个遮挡车辆前景是由第C以及第个非遮挡的车辆前景发展而来。对满足公式(I)的遮挡，本发明定义为弱遮挡，不满足该式的遮挡定义为强遮挡。
【权利要求】
1.一种两级框架的车辆部分遮挡消除方法，其特征在于:先利用发生遮挡的前景面积与发生遮挡前车辆面积之间的相互关系进行遮挡程度的判断，当|s^i>时，为车辆弱遮挡，否则为车辆强遮挡，stJ是f时刻第个遮挡前景的面积;4-1、4-1是?-1时刻与第个遮挡前景对应的第?个车辆面积，f是比例因子，^=15 ;再采用基于凸包性质分析的方法进行弱遮挡分割和采用基于在线样本分类的方法进行强遮挡分割。
2.根据权利要求1所述一种两级框架的车辆部分遮挡消除方法，其特征在于:所述采用基于凸包性质分析的方法进行弱遮挡分割的步骤是: O凸包提取，使用Graham扫描法来得到非遮车辆的凸包Cl和遮挡车辆的凸包C2， 2)分割点提取，找出遮挡车辆与其凸包C2之间存在的最大的独立区域，计算出最大的独立区域CILx的凸包CMasx ,从凸包^^^的顶点集合中选取与整个遮挡车辆轮廓的顶点集合不重合的任意顶点(CiK),计算其内距，在凸包CTZfffisi边缘序列中，选具有最大内距的顶点((?,Cf)为切割点； 3)切割线提取，以切割点(C^Ci)为顶点，选取不同的倾角作出一系列的切割线，每一条切割线将前景分割成两个独立区域，计算这两个独立区域的面积比之和，当该面积比之和最小时，所对应的切割线为最终的切割线。
3.根据权利要求1所述一种两级框架的车辆部分遮挡消除方法，其特征在于:所述采用基于在线样本分类的方法进行强遮挡分割的步骤是: 1)提取测试样本和训练样本，从遮挡区域提取特征量作为测试样本，从所存储的与遮挡前景对应的遮挡发生前的前景区域内提取`的特征量作为训练样本； 2)样本匹配，在测试样本中寻找与训练样本最匹配目标样本，该训练样本采用最匹配训练样本的标号进行标记，采用8邻域对标记的结果进行平滑处理，标记的结果对应遮挡分割的结果。
4.根据权利要求3所述一种两级框架的车辆部分遮挡消除方法，其特征在于:提取训练样本的方法是:对于非遮挡车辆目标建立一个动态数据库，存储其运行过程的最新N帧前景图像，并用跟踪标号进行标记，当没有遮挡发生时，这些动态数据序列被逐帧更新，当车辆驶出监控区域后，与之对应的存储数据被删除，当发生遮挡时，训练样本便从与遮挡前景对应的这些非遮挡车辆前景序列内获取；测试样本的提取方式与训练样本的提取方式相同。
【文档编号】G06T7/00GK103632376SQ201310674807
【公开日】2014年3月12日 申请日期:2013年12月12日 优先权日:2013年12月12日
【发明者】蔡英凤, 王海, 江浩斌, 盘朝奉 申请人:江苏大学