基于不同高度逆投影面的停车和抛落物区分方法
【专利摘要】本发明公开了一种基于不同高度逆投影面的停车和抛落物区分方法，该方法在检测到道路上由运动到静止目标的前提下，通过摄像机标定的方法，建立三维世界坐标与二维世界坐标之间的转换关系，然后通过建立不同高度逆投影面的方法，获得目标在三维世界中的长、宽、高信息，利用获得到的目标三维信息进行静止目标的区分，大大提高了区分精度，而且计算量很小，满足实时性的需求，适合多数环境下的停车和抛落物的区分。
【专利说明】
基于不同高度逆投影面的停车和抛落物区分方法
技术领域
[0001]本发明属于视频检测领域，具体涉及一种基于不同高度逆投影面的停车和抛落物区分方法。
【背景技术】
[0002]近年来，随着交通量的不断增加，交通事故变得越来越频繁，其中由于停车事件和抛落物事件具有偶发性和随机性，不利于及时发现和处理，是造成交通事故的一个很重要的原因，而且非法停车和抛落物还会占用车辆通行路面、影响道路交通安全秩序、引发道路交通堵塞，给人民的生命、财产、安全带来不必要的损失，所以对非法停车和抛落物做到早发现、早处理是十分必要的。停车和抛落物都属于交通场景中暂时静止的目标，通常很多的方法都着重于进行的是对该类静止目标的检测，在检测到路面上静止目标以后再利用目标的面积、平均距离、运动方向变化率等特征进行区分。但是这些特性都是目标体现在二维图像或视频中的，由于摄像机成像的过程是一个目标从三维到二维的降维过程，丢失了事物在三维世界中的一些信息，事物会发生非常明显的尺度变化和几何形变，所以仅仅利用目标体现在二维图像或视频中的特性进行停车和抛落物的区分必然有其局限性。
【发明内容】
[0003]针对上述现有技术中存在的问题或缺陷，本发明的目的在于，提供一种基于不同高度逆投影面的停车和抛落物区分方法。
[0004]为了实现上述目的，本发明采用如下技术方案:
[0005]基于不同高度逆投影面的停车和抛落物区分方法，包括以下步骤:
[0006]步骤一，利用摄像机拍摄路面的视频图像，并构建保存有车型信息的模型库；
[0007]步骤二，建立视频图像的二维世界坐标与三维世界坐标的转换关系，求取透视投影矩阵C;
[0008]步骤三，确定步骤一中的视频图像中存在的多个目标区域，针对每个目标区域设置一个计数器CN;
[0009]步骤四，针对一个目标区域，建立高度为O的逆投影面Ao，利用透视投影矩阵C建立逆投影图Bo，对逆投影图Bo进行二值化，得到二值化图1o;
[0010]步骤五，针对步骤四中的目标区域建立高度为h的逆投影面Ah，并利用透视投影矩阵C建立逆投影图Bh，对逆投影图Bh进行二值化，得到二值化图1h;
[0011]步骤六，将二值化图1q和二值化图1h进行面积与运算，求出相与区域B;求出相与区域B的外接矩形，并求出外接矩形的三维长Lh和三维宽Wh，记录下逆投影面Ah的高度h;
[0012]步骤七，将逆投影面Ah的高度h增加一个定值，重复步骤五和步骤六，得到多组三维长U、三维宽Wh和对应的逆投影面Ah的高度h，直至求得的相与面积B为空时，转步骤八；
[0013]步骤八，将步骤七得到的每组三维长U、三维宽Wh和高度h，分别与模型库中保存的各种车型的长X、宽y和高Z的值进行比较，若存在η组三维长Lh、三维宽Wh和高度h的值与模型库中的某一种车型相匹配，则将该目标区域的计数器加η;
[0014]步骤九，若计数器CN的值大于零，则该目标区域中存在停车，并针对步骤八中与某一种车型相匹配的η组三维长U、三维宽Wh和高度h，求其平均值，得到平均长L、平均宽W和平均高H;若计数器CN的值等于零，则该目标区域中存在的是抛落物，判断结束；
[0015]步骤十，针对每个目标区域，重复步骤四到步骤九，实现对每个目标区域中停车和抛落物的区分。
[0016]进一步地，所述步骤九中若计数器CN的值大于零，则所述方法还包括以下步骤:
[0017]步骤^^一，将步骤九中求出的平均长L、平均宽W和平均高H分别与模型库中各种车型的长X、宽y和高z的值进行比较，若平均长L、平均宽W和平均高H的值与某一车型相匹配，则认为目标区域中的停车为此种车型。
[0018]进一步地，所述步骤八中的三维长U、三维宽Wh和高度h与模型库中的某一种车型相匹配的判断公式是:
[0019]I Lh-x I <1/10，ffh-y I <1/15, h-z| <0.03
[0020]如果上述三个不等式均成立，则车型相匹配。
[0021]进一步地，所述步骤^^一中的平均长L、平均宽W和平均高H与模型库中的某一种车型相匹配的判断公式是:
[0022]I L-x I <0.05, Iff-y | <0.03, | H_z | <0.01
[0023]如果上述三个不等式均成立，则车型相匹配。
[0024]与现有技术相比，本发明具有以下技术效果:
[0025]1、本发明在已经检测到道路上静止目标的前提下，通过摄像机标定的方法，建立三维世界与二维图像之间的转换关系，然后通过建立不同高度逆投影面的方法，获得目标在三维世界中的长、宽、高信息，利用获得到的目标三维信息进行静止目标的区分，大大提高了区分精度。
[0026]2、本发明在对停车和抛落物进行区分后，进一步对停车类型进行判断，具有广阔的应用前景。
[0027]下面结合附图和【具体实施方式】对本发明的方法做进一步地说明。
【附图说明】
[0028]图1为重庆某路段的视频图像，黑色方框内表示停下来的车辆；
[0029]图2为不同高度(Om和Im)逆投影面的示意图；
[0030]图3为基于不同高度逆投影面恢复出的逆投影图；其中，图3a为Om逆投影面恢复出的逆投影图，图3b为Im逆投影面恢复出的逆投影图；
[0031]图4为对不同高度的逆投影图进行二值化得到的二值化图；其中，图4a为Om逆投影图进行二值化处理得到的二值化图，图4b为Im逆投影图进行二值化处理得到的二值化图；
[0032]图5表示高度为Im的逆投影图与高度为O的逆投影图进行与运算的结果图；
[0033]图6为求得的所有的三维长Lh、三维宽Wh和高度h;
[0034]图7为求得的均长L、平均宽W和平均高H以及停车事件类型；
[0035]图8为一个抛落物场景的视频图像；
[0036]图9为图8抛落物在各个高度求出的三维长U、三维宽Wh和高度h;
[0037]图10表示抛落物事件类型。
【具体实施方式】
[0038]本发明的基于不同高度逆投影面的停车和抛落物区分方法，利用不同高度逆投影面求出三维世界中目标的长、宽、高信息，利用求得的尺寸信息进行停车和抛落物的区分。本发明的方法具体包括以下步骤:
[0039]步骤一，在道路架设摄像机，对路面连续进行拍摄得到视频图像;统计各种车型的长、宽、高信息，并将这些信息进行保存，构建车型信息模型库。
[0040]步骤二，利用灭点的方法建立视频图像的二维世界坐标与三维世界坐标的转换关系，求得透视投影矩阵C，逆投影矩阵C为一个3*4的矩阵。由于摄像机的安装位置是固定的，摄像机的图像视频始终获取的是二维图像;摄像机在三维世界中的坐标是已知的，因此可以得到摄像机拍摄的二维图像所在实际位置与三维世界坐标之间的关系。三维世界坐标是在二维世界坐标的基础上根据右手定则增加z轴而形成的。
[0041]步骤三，对摄像机拍摄得到的视频图像采用双向跟踪的方法进行处理，确定视频图像中的多个目标区域;其中，双向跟踪的方法参考文献“一种基于双向跟踪的停车事件检测方法”，目标区域，指的是，视频图像中存在停车或者抛落物的区域。针对多个目标区域中的每个目标区域分别设置一个计数器CN，计数器CN初始化为零。
[0042]步骤四，选取一个目标区域，针对该目标区域建立高度为O的沿水平方向的逆投影面Ao，并利用步骤二中得到的透视投影矩阵C建立相对应的逆投影图Bo，对逆投影图Bo进行二值化，得到相对应的二值化图1o;其中，水平逆投影面Ao大小为5m*20m。
[0043]步骤五，针对步骤四中的目标区域建立高度为h，初始h为0.1m，沿水平方向的逆投影面Ah，并利用步骤二中得到的透视投影矩阵C建立相对应的逆投影图Bh，对逆投影图Bh进行二值化，得到相对应的二值化图1h;其中，逆投影面Ah的大小为5m*20m。
[0044]步骤六，将二值化图1o和二值化图1h进行面积与运算，求出相与区域B;求出相与区域B的外接矩形;利用外接矩形的像素长和像素宽，求出外接矩形的三维长Lh和三维宽Wh，并记录下此时的逆投影面Ah的高度h。
[0045]步骤七，将逆投影面Ah的高度h增加0.1m，重复步骤五和步骤六，得到多个外接矩形，每个外接矩形求得一组三维长U、三维宽Wh和对应的逆投影面Ah的高度h，直至求得的相与面积B为空时，转步骤八。
[0046]步骤八，将步骤七得到的每组三维长U、三维宽Wh和高度h，分别与模型库中保存的各种车型长(X)、宽(y)、高(Z)的值进行比较，若某组的三维长Lh、三维宽Wh和高度h与模型库中的某一种车型满足如下关系:I Lh-x I <1/10，I ffh-y I <1/15, | h-z | <0.03,则将该目标区域的计数器加I，即若有η组的三维长U、三维宽Wh和高度h满足上述条件，则该目标区域的计数器CN加η;
[0047]步骤九，若计数器CN的值大于零，则该目标区域中存在停车，并对满足步骤八所述条件的所有的三维长U、三维宽Wh和高度h，求其平均值，得到平均长L、平均宽W和平均高H，即该目标区域在三维世界中的尺寸信息，转步骤十;若计数器CN的值等于零，则该目标区域中存在的是抛落物，判断结束。
[0048]步骤十，针对每个目标区域，重复步骤四到步骤九，实现对每个目标区域中停车和抛落物的区分。
[0049]步骤^^一，将步骤九中求出的平均长L、平均宽W和平均高H的值分别与模型库中各种车型的长(X)、宽(y)、高(Z)的值进行比较，若平均长L、平均宽W和平均高H的值与某一车型的满足如下关系:
[0050]I L-x I <0.05, I ff-y | <0.03, | H_z | <0.01[0051 ]则认为目标区域中的停车为此种车型。
[0052]实施例:
[0053]参照图1，该图是重庆市某路段的实时路况视频图像，该视频的采样频率是25帧每秒，图像大小为720*288;
[0054]图5表示高度为Im的逆投影图与高度为O的逆投影图进行与运算的结果图；图6中标注的两组数值为满足步骤八所述条件的三维长U、三维宽Wh和高度h;根据图6中的两组数值得到该目标区域中存在停车，如图7所示;根据图9中数值，其中并没有符合实际车辆尺寸的信息，所以该目标区域中存在抛落物，如图10。
【主权项】
1.基于不同高度逆投影面的停车和抛落物区分方法，其特征在于，包括以下步骤: 步骤一，利用摄像机拍摄路面的视频图像，并构建保存有车型信息的模型库； 步骤二，建立视频图像的二维世界坐标与三维世界坐标的转换关系，求取透视投影矩阵C; 步骤三，确定步骤一中的视频图像中存在的多个目标区域，针对每个目标区域设置一个计数器CN; 步骤四，针对一个目标区域，建立高度为O的逆投影面Ao，利用透视投影矩阵C建立逆投影图Bo，对逆投影图Bo进行二值化，得到二值化图1o; 步骤五，针对步骤四中的目标区域建立高度为h的逆投影面Ah，并利用透视投影矩阵C建立逆投影图Bh，对逆投影图Bh进行二值化，得到二值化图1h; 步骤六，将二值化图1o和二值化图1h进行面积与运算，求出相与区域B;求出相与区域B的外接矩形，并求出外接矩形的三维长Lh和三维宽Wh，记录下逆投影面Ah的高度h; 步骤七，将逆投影面Ah的高度h增加一个定值，重复步骤五和步骤六，得到多组三维长U、三维宽Wh和对应的逆投影面Ah的高度h，直至求得的相与面积B为空时，转步骤八； 步骤八，将步骤七得到的每组三维长U、三维宽Wh和高度h，分别与模型库中保存的各种车型的长X、宽y和高z的值进行比较，若存在η组三维长U、三维宽Wh和高度h的值与模型库中的某一种车型相匹配，则将该目标区域的计数器加η; 步骤九，若计数器CN的值大于零，则该目标区域中存在停车，并针对步骤八中与某一种车型相匹配的η组三维长U、三维宽Wh和高度h，求其平均值，得到平均长L、平均宽W和平均高H;若计数器CN的值等于零，则该目标区域中存在的是抛落物，判断结束； 步骤十，针对每个目标区域，重复步骤四到步骤九，实现对每个目标区域中停车和抛落物的区分。2.如权利要求1所述的基于不同高度逆投影面的停车和抛落物区分方法，其特征在于，所述步骤九中若计数器CN的值大于零，则所述方法还包括以下步骤: 步骤i^一，将步骤九中求出的平均长L、平均宽W和平均高H分别与模型库中各种车型的长X、宽y和高z的值进行比较，若平均长L、平均宽W和平均高H的值与某一车型相匹配，则认为目标区域中的停车为此种车型。3.如权利要求1所述的基于不同高度逆投影面的停车和抛落物区分方法，其特征在于，所述步骤八中的三维长U、三维宽Wh和高度h与模型库中的某一种车型相匹配的判断公式是:Lh-x I <1/10, ffh-y I <1/15, |h_z| <0.03 如果上述三个不等式均成立，则车型相匹配。4.如权利要求2所述的基于不同高度逆投影面的停车和抛落物区分方法，其特征在于，所述步骤十一中的平均长L、平均宽W和平均高H与模型库中的某一种车型相匹配的判断公式是:L-x I <0.05, ff-y| <0.03, H-z| <0.01 如果上述三个不等式均成立，则车型相匹配。
【文档编号】G06T3/00GK105869109SQ201610182258
【公开日】2016年8月17日
【申请日】2016年3月28日
【发明人】宋焕生, 孙丽婷, 崔华, 关琦, 王璇, 闻江, 刘瑞芝, 孙士杰, 严腾
【申请人】长安大学