基于前景提取与深度学习融合的夜间交通拥堵检测方法与流程

本发明涉及人工智能领域和计算机视觉领域，特别是于前景提取与深度学习融合的夜间交通拥堵检测方法。

背景技术：

保障道路安全与畅通是促进交通事业发展的永恒主题，最初对道路交通拥堵判别是通过人工进行的，通过工作人员定时巡逻、交通事件报警、车主反馈等方式对交通拥堵进行判别，然后采取相应的疏导措施来缓解大规模的交通拥堵。随着高速公路已逐渐成为交通系统的主干架，其规模的不断扩大，使得人们开始把注意力转向了交通拥堵自动判别的方法上。国外很早就对交通拥堵自动判别进行了研究，早在1965-1970年间，美国加州运输部就开发了加州算法，主要用来判别道路上存在的突发性交通事件。而1978年，levin等人也利用两个相邻检测器之间的占有率差值，开发了贝叶斯算法。cook等人于1974年提出了双指数平滑算法，实现了对突发性交通事件判别的算法。persaud等人根据交通流突变理论，于1990年提出了mcmaster算法，首先实现了对大交通需求引起的交通拥堵进行自动判别。

随着视频监控系统在高速公路的大范围普及应用，基于视频的高速公路拥堵事件检测得到迅速发展在基于视频的交通拥堵判别方面，随着近年来数字图像处理技术的飞速发展，其判别效果也越发显著。主要分为三类：第一类是基于统计车辆量度的方法，这类方法通过对感兴趣区域内的车辆目标进行提取和跟踪来统计车辆数，从而实现交通状态的判别；第二类是利用宏观交通拥堵特征参数的方法，主要采用宏观的车速、车流密度、排队长度等交通参数来表征不同的交通状态。如徐云飞等人通过背景差分法提取车辆目标，然后计算检测区域内的平均空间占有率和时间占有率，提出了基于模糊c均值的交通拥堵状态判别方法；第三类是运用车辆间的逻辑关系的方法，主要采用车头间距和车头时距等特征，如bauzar等人提出了一种根据车辆位置之间的相互关系来检测交通状态的方法。在国内外的一些基于视频的事件检测系统中，也实现了对交通状态的判别。早在1996年，法国的citilog公司就开始致力于研究视频检测技术，实现对行人、火灾、车辆停驶、抛洒物以及交通拥堵等交通事件进行检测，且对黑白或彩色摄像机均适用，系统具有较强的防抖动、防尘等。美国的autoscope视频检测系统主要以交通参数检测为基础，实现车速、排队长度、车辆类型、占有率、拥堵程度等的检测。而在国内对基于视频的交通事件检测起步较晚，但近几年也发展迅速，如高德威视频交通数据检测系统克服了视频检测中的牌照识别率、图像清晰度以及车辆捕获率三大技术难点；成都vroad辅助监测系统，通过对摄像头采集到的图像进行分析处理，针对非正常的图像进行报警等。上述这些事件检测系统目前都取得了很好的检测效果，且已经商业化应用，但于视频的拥堵状态判别算法大都适用于光线充足的白天场景，由于夜间高速公路存在照明条件差、环境相对较暗、车身基本不可见等特点，使得现有基于视频的拥堵判别算法难以满足夜间高速公路场景拥堵检测需求。如检测效果较好的citilog系统虽然能适应夜间的无照明，但受车灯光晕的影响较大，导致误检严重。在夜间场景下的交通事件检测方面，还没有一套有效地基于视频的交通拥堵判别算法，目前存在的算法大部分都是基于车辆检测的。对于夜间车辆目标的检测，目前主要是从车灯出发进行研究的。例如：r.taktak等人使用灰值形态学变换wtht提取明亮的车灯，计算车灯的周长、面积、圆形度等形状特征，以及车灯之间的距离、形状特征比等参数，用这些参数作为属性，用样本训练决策树，用来寻找成对车灯，从而检测车辆；ritacucchiara采用阈值法提取明亮车灯，利用动态信息排除静止光源，使用车灯形状特征初步配对车灯，然后比较车灯对对称轴方向与车流方向来排除一些错误配对，从而检测车辆；吴海涛等人考虑小前灯、装饰灯和转向灯与大前灯粘连或者分离情况、大型车辆的边界灯以及雨天路面积水引起上述众多车灯的倒影，提出了复杂情况下视场中众多车灯按车辆分组的思想，综合了先配对车灯后跟踪其轨迹和先跟踪车灯后配对其轨迹两种方法，提出了复杂情况下的车辆检测算法。目前的基于车灯的夜间车辆检测主要是采用亮度、数学形态学等信息进行车灯提取，虽然有的也考虑到地面反射光等干扰因素，但都是在摄像头视角较理想的情况下实现的，而高速公路摄像头安装位置一般较高，且摄像头与车道往往有着一定角度的存在，使得车灯在形态上并不一定为近似圆形的存在，且在车流量较大时，车灯之间的相互粘连、遮挡等情况严重，使得运用上述方法进行配对、跟踪效果并不理想。目前也有研究者专门针对尾灯特征进行夜间车辆目标提取的，例如：刘勃等人就首先利用颜色信息在图像中检测出车辆尾灯，并对车辆尾灯进行连续的跟踪，然后利用运动信息和先验知识对车辆尾灯进行匹配的方法实现对夜间车辆的检测；祁秋红等人提出了一种基于尾灯跟踪的夜间车辆检测方法，先通过hsv颜色模型对尾灯的颜色信息进行分割，辨认出车辆位置，再通过区域边界锁定车灯边缘信息对车辆进行跟踪。kim.s.y等研究者也使用夜间车尾灯具有的高亮度特点，设计检测算法将亮斑区域提取出来作为车尾灯候选区域；另外郭君斌等人使用了车尾灯具有的形状特点，通过假定车尾灯为圆形或者椭圆形，对得到的轮廓进行判断来检测得到尾灯区域。上述基于尾灯提取的方法主要是运用在后车车载摄像头的场景下，而在夜间高速公路场景，由于其摄像头视野较广，且受室外环境的影响，其视频图像中的彩色信息往往包含了大量的噪声干扰，为了降低彩色噪点，很多摄像机会在夜间自动切换为黑白模式，使得尾灯的颜色信息在夜间高速公路场景下基本不适用，而且其受颜色的影响造成算法很难自适应各种高速场景，所以基于车灯的夜间拥堵检测也很难达到理想的效果。因此，设计与实现针对夜间高速公路场景的拥堵状态判别算法具有重要的理论和实际意义。

通过对上述拥堵判别国内外研究现状分析可知，虽然目前国内外学者已经对拥堵判别进行了大量研究，而且取得了一定的研究成果，但其检测效果只能适应白天或者光线充足的夜间等场景。针对夜间高速公路这一特定场景而言，其完全无照明、摄像头视野广等因素，对交通拥堵状态判别有其自身的特点，使得现有基于视频的拥堵判别技术依然存在下面几个问题而无法满足于夜间高速公路场景的应用：

①目前基于视频的交通拥堵判别算法的研究，无论是基于统计车辆量度或者是通过宏观交通拥堵特征参数等方法，首先都是通过车辆轮廓、颜色、边缘或者纹理等车辆自身特征，对车辆目标信息进行完整或有效的提取为前提，来进行交通拥堵状态判别的。而夜间高速公路的照明条件差，环境相对较暗，绝大部分路段都没有路灯，如果在没有前后车辆的灯光照射下，车身通常是不可见的，即使是高速摄像机采集到的画面色彩分辨率也很差，彩色噪点较大，所以传统的基于车辆识别的拥堵检测并不能满足夜间高速公路场景。

②在目前的夜间车辆检测方法研究中，主要是通过寻找车灯的特征来表征夜间行驶的车辆，且大多都是在近距离以及后车车载摄像头等场景下，而由于高速公路摄像头的安装位置高、视野广、夜间成像质量低等因素，导致检测时出现远光灯、地面反射光、车流量大时各车车灯相互影响等主要干扰，极大的增加了对车辆目标提取的难度。

③在夜间高速公路场景中，由于车身的不可见，车辆目标的难以完整或有效提取，使得常用于拥堵判别的速度、流量、占有率等交通参数均难以获取，所以无法通过这些交通参数来进行拥堵判断。

综上所述，现有的算法没有针对夜间高速公路场景下的拥堵检测作出相应的解决方案，只停留在在白天或者光线充足的场景下，在光线较暗，尤其是无照明的夜间高速公路，还不能有效地保证拥堵判别的准确性。随着当前物联网技术的飞速发展，安装在高速公路上的监控设备即使在夜间也是正常工作，使得利用视频检测手段在夜间进行交通拥堵状态判别成为可能。

技术实现要素：

针对上述现有技术中存在的不足，本发明的目的是提供一种基于前景提取与深度学习融合的夜间交通拥堵检测方法。它是基于视频前景提取和深度学习目标检测相结合的算法来判断夜间高速是否拥堵，能有效的判断夜间路面情况，实现对交通状况的实时监测。

为了达到上述发明目的，本发明的技术方案以如下方式实现：

基于前景提取与深度学习融合的夜间交通拥堵检测方法，其方法步骤为：

1）前景提取：

采用基于时域信息的前景矫正方法，步骤如下：

（1）对公路摄像头每隔n秒取一帧图像，一共取m帧。

（2）对m帧图像分别做前景提取。

（3）对获取的m帧前景进行时域结合，获取修正后的前景结果。

2）目标检测：

网络通过one-stage的ssd目标检测方法获取夜间拥堵时图像特征，对m帧图像进行检测进而做出拥堵的判断。

3）事件判定：

如果m帧中大部分都是判定为拥堵则该场景就判定为拥堵，否则不判定为拥堵。

本发明由于采用了上述方法，主要通过夜间前景提取与深度学习相结合，利用拥堵的持续性改善前景提取效果，利用拥堵时亮度相对较高（拥堵时车辆集中，车灯多，亮度相对高）的特性做深度学习目标检测时获取较好的效果。因此，二者融合取得的成果可以提高交通拥堵状态判别在夜间的准确性，为高速公路监控管理人员提供一定的参考和借鉴。本发明同现有技术相比具有如下优点：

1.对于夜间光线较差图像质量较低的情况，提出利用深度学习来进行拥堵检测，并提出结合前景提取的方案，利用概率统计的思想能有效的避免夜间的误检，提高夜间拥堵的检出率。

2.本发明结合了前景信息，由于夜间灯光的干扰造成前景信息的不稳定，进而提出了修正前景信息方案，结合最初的前景图和原图来对前景信息进行修正，能够更有效的定位拥堵区域。

下面结合附图和具体实施方式对本发明做进一步说明。

说明书附图

图1为本发明的方法流程图；

图2为本发明实施例方法中目标检测使用的网络结构图。

具体实施方式

参看图1，本发明基于前景提取与深度学习融合的夜间交通拥堵检测方法，其方法步骤为：

1）前景提取：

由于高速公路摄像头的安装位置高、视野广等因素，导致检测时出现远光灯、地面反射光、车流量大时各车车灯相互影响等主要干扰，极大的增加了对前景提取的难度。根据拥堵的持续性进而提出了基于时域信息的前景矫正方法，该方法能有效的修正前景，更好的定位到我们感兴趣的前景区域，具体方案如下：

（1）对公路摄像头每隔n秒取一帧图像，一共取m帧。

（2）对m帧图像分别做前景提取。

（3）对获取的m帧前景进行时域结合，获取修正前景结果，结合方法如下：

a.假设我们获取的图像为，其中为m帧图像中的第i帧图像，t为获取第i帧图像时的时间，其图像所对应的前景图为，首先统计前景图中白点的个数记为，代表第i帧前景图的白点个数。

b.对获取的m帧前景图做与操作，得到：

对得到的统计白点的个数，记为。

c.获取m帧图像的h通道，记为，统计m帧的情况，得到，其中,a为统计m帧中在位置的像素值大于30的个数。根据获取的进一步修正前景，

统计修正后的前景中白点个数。

d.根据得到的、、进一步修正每帧的前景图，得到最终的前景修正结果，解决了灯光以及夜间图像噪声对前景提取的影响，

2）目标检测：

夜间状态下，图像质量低，清晰度差，传统的目标检测方法都无法正常对拥堵情况检测。目前深度学习的目标检测方法是性能较优的目标检测算法，在该检测算法框架中，网络通过多层卷积获取夜间拥堵时图像特征，进而做出拥堵的判断，该处提供的是one-stage的ssd目标检测方法。

ssd算法是利用不同卷积层的featuremap进行综合达到较好的效果。算法的主网络结构是vgg16，将最后两个全连接层改成卷积层，并随后增加了四个卷积层来构造网络结构。对其中5种不同的卷积层的输出（featuremap）分别用两个不同的3×3的卷积核进行卷积，一个输出分类用的confidence，每个defaultbox生成两个类别confidence；一个输出回归用的localization，每个defaultbox生成四个坐标值（x,y,w,h）。上述五个featuremap中每一层的defaultbox的数量是给定的。最后将前面三个计算结果分别合并然后传给loss层。此外，这五个featuremap还经过priorbox层生成priorbox（生成的是坐标），其网络结构如图2所示。

训练的目标函数，和常见的objectdetection的方法目标函数相同，分为两部分：计算相应的defaultbox与目标类别的score(置信度)，以及相应的回归结果（位置回归）。置信度是采用softmaxloss，位置回归则是采用smoothl1loss。

3）事件判定：

针对夜间拥堵，首先获取m帧视频以及对应的m帧前景图，然后用深度学习检测的方法对m帧图像进行检测，根据m帧图像检测的结果进入前景提取模块。如果前景提取模块以及目标检测模块得到的结果符合拥堵检测的要求，就判定当前为拥堵事件，本发明根据概率统计的思想以及拥堵的持续性对m帧进行判断，如果m帧中大部分都是判定为拥堵则该场景就判定为拥堵，否则不判定为拥堵。具体步骤如下：

step1：获取m帧前景图以及m帧原始图

step2：对m帧原始图做目标检测，并获取检测区域，该步骤的判断流程如下：

统计m帧图像的检测结果、，其中，b为m帧中检测到拥堵的帧数，为m帧中第i帧检测结果的区域。

step3：对获取的b帧检测区域进行重叠率计算：

其中为矩形区域，对b个检测区域按照公式(6)计算overlap,

step4：对获取到的m帧前景图按照公式(1)、(2)、(3)进行处理，得到最终的前景，根据step3得到的统计在这个检测区域中前景图中白点的个数，计算的面积，计算符合条件的帧：

step5：统计step4得到的中为true的个数，记为，

本发明是基于视频的夜间高速公路拥堵事件检测，充分利用高速公路路段上的现有摄像头获得实时的视频图像数据，经过一定的算法处理实现夜间高速公路场景下的交通拥堵状态实时判别。目前，国内的高速公路关键路段都已经安装了监控摄像机，基于视频的交通事件自动检测系统得到了广泛的应用，但只在白天或者隧道等场景检测效果良好。由于夜间亮度低，车灯对相机的影响造成夜间成像质量，现有的算法都无法实现对夜间拥堵的准确判断，所以本发明根据拥堵的持续性以及拥堵时的亮度相对较高的特性将深度学习检测与前景提取相结合，提升夜间拥堵检测的准确率。本发明方法运用时，先用深度学习对夜间拥堵区域检测，符合条件后加入前景提取进一步判断当前视频序列的状态，根据概率统计思想有效的降低夜间误检，提升夜间拥堵事件检出的准确率。