一种面向无人机的高速应急车道违章车辆的检测方法与流程

本发明属于无人机应用技术领域，涉及一种面向无人机的高速应急车道违章车辆的检测方法。

背景技术：

近年来，随着社会经济的日益进步和物质生活水平的不断提高，汽车作为一种普通的交通工具已走进千家万户，但由此带来的交通安全问题也日益突出。特别是节假日期间，高速公路上的交通流量较大时，经常会发生一些占用应急车道的违章行为，造成严重的交通安全隐患。

当前交通管理部门在高速公路上所应用的和现有专利所提及的措施主要有两种，一种是使用安装在公路两旁的固定摄像头进行监测，但这些装置成本较高且监测盲点较多，需要投入大量的人力物力，管理成本较高；一种是利用新兴的无人机直接进入封闭的高速公路上空进行实时监控。例如，李彦炜提出的实用新型“一种基于无人机的高速公路违章监测装置”(授权公告号cn205388829u)公开了一种基于无人机的高速公路违章监测装置，包括飞行控制模块、违章监测模块、信息传输模块和主控。所述装置大大降低了人力物力的成本且提高了监测效率，能做到全路段覆盖监测，但是该实用新型存在的不足是并没有具体描述如何判断该高速路段是否存在车辆违章。

昆明理工大学提出的专利申请“一种高速公路违章停车检测方法”(专利申请号201610457650.8和公开号cn106127143a)公开了一种高速公路违章停车检测方法。该方法的实施步骤是：首先建立高速公路路段视频序列信息库，接着建立车辆实时位置信息库，然后判断车辆行驶状态，最后根据车辆违停时长发出违停警告。昆明理工大学提出的专利申请“一种基于核密度估计的高速公路违章停车检测方法”(专利申请号201610027241.4和公开号cn105513371a)公开了一种基于核密度估计的高速公路违章停车检测方法。该方法的实施步骤是：首先使用非参数核密度模型获取背景图像，和利用渐变更新方式更新背景图像；接着通过当前采集的图像减去背景图像获得运动前景；然后根据运动目标车辆质心位置判断车辆行驶状态；最后根据违章停车时间确定是否为违停。这两个专利虽然针对监控区域能够实时检测违停车辆，但只是基于固定摄像装置，并不能处理在飞行过程中存在晃动的无人机拍摄的监控视频，从而降低了违章车辆检测的准确性。

综上所述，现有的检测技术有一定的局限性，因此，如何利用无人机高效精准地检测高速应急车道上的违章车辆成为亟待解决的问题。

技术实现要素：

本发明的目的在于提供一种面向无人机的高速应急车道违章车辆的检测方法，解决了现有无人机在检测违章车辆时，存在的检测准确性低的问题。

为了达到上述目的，本发明采用的技术方案是：

本发明提供的一种面向无人机的高速应急车道违章车辆的检测方法，包括以下步骤：

第一步，通过软件交互在无人机拍摄的视频图像上指定并框选应急车道上的检测区域，得到初始检测区域图像a1；

第二步，通过漫水填充法利用应急车道两侧的车道线将初始检测区域图像a1自适应更新，得到更新后的检测区域图像a4；

第三步，采用视觉显著性分析对更新后的检测区域图像a4进行违章车辆显著性区域检测，得到显著图a7；

第四步，通过统计显著图a7中非零显著值的像素个数p，并判断检测区域内是否存在违章车辆；

第五步，根据显著图a7的检测框标准差变化计算违章车辆的违停时间；

第六步，将第四步与第五步得到的车辆违章信息保存到高速公路交通管理系统。

优选地，第二步中，采用漫水填充法对初始检测区域图像a1进行更新的具体方法是：

s1，将普通三通道rgb模式的彩色检测区域图像a1转化为单通道的灰度检测区域图像a2；

s2，指定黑色为填充颜色，以灰度检测区域图像a2的中心点作为种子点，当灰度检测区域图像a2内任意一个像素点的灰度值与种子点的灰度值之差的绝对值小于阈值th1，则认为该像素点与种子点属于同一个区域，并将其填充为黑色；反之，保持不变；之后得到填充后的检测区域图像a3，其中，阈值th1的取值范围为30～40；

s3，对填充后得到的检测区域图像a3水平方向上偏左或偏右的移动进行判断，再根据判断的结果对检测区域图像a3做出相反方向的调整，得到更新后的检测区域图像a4。

优选地，s3中，对填充后得到的检测区域图像a3水平方向上偏左或偏右移动进行判断的具体方法是：对填充后的检测区域图像a3最左边或最右边的3～6列像素点进行零值统计，如果3～6列的像素点中有超过一半的像素点的灰度值为零，则表示检测框水平方向发生左移或右移。

优选地，第三步中，对更新后的检测区域图像a4进行违章车辆显著性区域检测的具体方法是：

s1，使用均值滤波法对更新后检测区域图像a4的灰度图像进行预处理，得到滤波后检测区域图像a5；其中滤波窗口的范围是3×3～5×5；

s2，根据公式(1)对滤波后得到的检测区域图像a5中的所有像素点进行灰度级统计，得到每个灰度级rk所对应的像素个数nk，进而得到检测区域图像a5的灰度直方图f(rk)：

f(rk)＝nk,0≤nk≤n&&0≤rk≤255(1)

式中，n为检测区域图像a5的所有像素点总个数；

s3，根据公式(2)计算灰度直方图f(rk)中任意一个灰度级rk到其他灰度级rk的欧式距离和，即每个灰度级的显著值p(rk)，进而得到初始显著图p，计算公式如下：

式中，ri为所有的灰度级，0≤ri≤255，f(ri)为灰度级ri对应的灰度直方图；

s4，对初始显著图p进行归一化，得到归一化后的显著图p'和显著图p'内每个灰度级对应的显著值p'(rk)；

s5，计算滤波后得到的检测区域图像a5中每个像素的显著值，其中：

当图像检测区域图像a5中的任意一个像素点a5(x,y)的灰度值等于灰度级rk，则该像素点的灰度值赋值为对应的显著值p'(rk)，进而得到显著图a6；

对显著图a6进行阈值处理，获得最终的显著性区域检测图像a7，处理方法为：当显著图a6的像素点a6(x,y)的灰度值小于阈值th2，则像素点a6(x,y)的灰度值赋值为零；反之像素点a6(x,y)的灰度值不变，其中，th2的取值范围是40～60。

优选地，第四步中，判断检测区域内是否存在违章车辆的条件是：

当p＞th3,th3＝3000～4000时，则表示有车辆进入应急车道违章行驶。

优选地，设定判断是否为同一车辆的开关为k，当第四步中判断到检测区域内有违章车辆时，则设置开关k＝0；当该同车辆离开时，则设置开关k＝1，其中，违章车辆的违停时间等于开关k从k＝0到k＝1的这段时间。

优选地，判断同车辆离开的时，首先计算同车辆离开时当前帧的检测框标准差ccur，当ccur＜con时，则表示该辆车已经离开检测框范围。

优选地，当第四步中初始检测到第一辆车时，开关标准差con的计算方法是：

con＝ccur

其中，ccur为第四步中初始检测到第一辆车进入时当前帧的检测框标准差；

当第四步中检测到非第一辆车时，开关标准差con的计算方法是：

con＝cmean

其中，cmean为前一辆车离开时所在帧至后一辆车进入时所在帧之间所有帧的检测框标准差的平均值。

与现有技术相比，本发明的有益效果是：

本发明提供的一种面向无人机的高速应急车道违章车辆的检测方法，通过漫水填充法对获取的初始检测区域图像进行更新，以消除无人机在飞行过程中由于自然条件或自身晃动造成获取的检测区域发生漂移，偏离原始检测区域的缺陷；有效地避免了检测区域偏离应急车道，从而大大提高了违章检测的准确性；然后再通过基于视觉显著性分析对更新的检测区域图像进行违章车辆显著性区域的检测，得到检测区域的显著图，再通过对显著图中的像素点进行统计判断检测区域内是否存在违章车辆，接着根据检测框的标准差变化计算该违章车辆的违停时间；最后将前两个步骤得到的车辆违章信息一起保存到高速交通管理系统。

本发明提供的面向无人机的高速应急车道违章车辆检测方法，能够在高速公路上利用无人机对违法占用应急车道的车辆进行自动检测和抓拍取证，可以对应急车道进行高效实时地监测，大大加强了交警对高速公路违法行为的管控力度；因此，本发明具有极其重要的应用价值，而且克服了尚未解决的技术难题。

附图说明

图1是本发明面向无人机的高速应急车道违章车辆检测方法流程图；

图2是无车辆时的原始检测框图；

图3是图2基于漫水填充法的填充结果图；

图4是有车辆时的原始检测框图；

图5是图4基于显著性区域的检测结果图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

如图1所示，本发明提供了一种面向无人机的高速应急车道违章车辆的检测方法,首先通过软件交互从无人机拍摄的视频图像上获取应急车道上的初始检测区域；接着采用漫水填充法利用应急车道两侧的车道线自适应地更新检测区域在图像上的位置；对更新后的检测区域图像进行基于视觉显著性分析的违章车辆显著性区域检测；再通过显著性区域的像素统计判断检测区域内是否存在违章车辆：若满足条件则保存当前图像、时间和位置信息；然后根据检测框的标准差变化计算该违章车辆的违停时间；最后将前两个步骤得到的车辆违章信息一起保存到高速交通管理系统。

所述方法的具体实施步骤如下：

s100，初始化检测区域：通过软件交互在无人机拍摄的视频图像上指定并框选应急车道上的检测区域，得到如图2所示的初始检测区域图像a1；

s200，更新检测区域：无人机在飞行过程中由于自然条件或自身晃动造成检测区域发生漂移，偏离原始检测区域，因此需要将初始检测区域图像a1稳定在应急车道上。

本发明使用漫水填充法利用应急车道两侧的车道线不断地将初始检测区域图像a1自适应更新，得到更新后的检测区域图像，如图3所示，用以确保检测区域图像在视频图像上的位置，具体地：

s1，将普通三通道rgb模式的彩色检测区域图像a1转化为单通道的灰度检测区域图像a2；

s2，指定灰度值为0的黑色作为填充颜色，以灰度检测区域图像a2的中心点作为种子点开始，比较灰度检测区域图像a2内与种子点相连通的所有像素点的灰度值，当像素点的灰度值在阈值范围内则将其填充为黑色，得到填充后的检测区域图像a3：

具体的填充规则是：当任意一个像素点的灰度值与种子点的灰度值之差的绝对值小于阈值th1，则认为该像素点与种子点属于同一个区域，将其灰度值变为0；反之，保持原灰度值不变；其中，这里的阈值范围设置为：th1取30～40。

s3，利用填充后的检测区域图像a3稳定检测区域：

3.1，对填充后的检测区域图像a3的最左边3～6列像素点进行零值统计，如果3～6列的像素点中有超过一半的像素点的灰度值为零，则表示检测框水平方向发生左移；

或对填充后的检测区域图像a3的最右边3～6列像素点进行零值统计，如果3～6列的像素点中有超过一半的像素点的灰度值为零，则表示检测框水平方向发生右移；

3.2，当判断检测框发生水平左或水平右移动后，就对检测框做出相反方向的调整，使其保持在应急车道内，得到更新后的检测区域图像a4。其中，检测框垂直方向不予考虑，因为其垂直移动不会偏离应急车道区域。

s300，对更新后的检测区域图像a4进行基于视觉显著性分析的违章车辆显著性区域检测，得到显著图a5：由于违章车辆相对于应急车道存在较大的像素差异，因此可以对图像进行直方图统计并计算直方图中每个像素到其他像素的距离信息来评价图像的显著性，具体地：

1.使用均值滤波法对更新后检测区域图像a4的灰度图像进行预处理，得到滤波后检测区域图像a5。这样可有效减少噪声干扰，明显提升后面显著性区域获取的质量，其中滤波窗口大小可选择的范围是3×3～5×5；

2.统计直方图：

滤波后检测区域图像a5的所有像素点的灰度值满足[0,255]，对所有像素点进行灰度级统计，可以得到每个灰度级rk所对应的像素个数nk，进而得到图像a5的灰度直方图f(rk)，计算公式如下：

f(rk)＝nk,0≤nk≤n&&0≤rk≤255(1)

式中，n为像素点总个数，即检测区域图像a5的大小。

3.计算灰度直方图f(rk)中每个灰度级rk到所有灰度级ri的欧式距离和，即每个灰度级的显著值p(rk)，进而得到初始显著图p，计算公式如下：

式中，ri为所有的灰度级(0≤ri≤255)，f(ri)为灰度级ri对应的灰度直方图。

4.对初始显著图p进行归一化，得到归一化后的显著图p'和显著图p'内每个灰度级对应的显著值p'(rk)；

5.计算滤波后检测区域图像a5中每个像素的显著值：

如果检测区域图像a5中的任意一个像素点a5(x,y)的灰度值等于灰度级rk，则该像素点的灰度值赋值为对应的显著值p'(rk)，进而得到显著图a6；

为了滤除显著图a6显著性较低的像素点，对a6进行阈值处理，获得最终的显著性区域检测图像a7，处理方法为：

当显著图a6的像素点a6(x,y)的灰度值小于阈值th2，则像素点a6(x,y)的灰度值赋值为零；反之像素点a6(x,y)的灰度值不变，其中，th2的取值范围是40～60。

s400，通过统计显著图a7中非零显著值的像素个数p，并判断检测区域内是否存在违章车辆：

当p＞th3,th3＝3000～4000时，则表示有车辆进入应急车道违章行驶，进行违章抓拍，保存当前图像数据、时间信息和地理位置信息。

s500，根据检测框的标准差变化计算该违章车辆的违停时间：

设定判断是否为同一车辆的开关为k，当s400中判断到检测区域内有违章车辆时，则设置开关k＝0，当该车辆离开时，设置开关k＝1，其中，违章车辆的违停时间等于开关k从k＝0到k＝1的这段时间。

计算同车辆离开时当前帧的检测框标准差ccur，当ccur＜con时，则表示该辆车已经离开了检测框范围，此时k＝1；

其中，当s400中初始检测到第一辆车时，开关标准差con的计算方法是：

con＝ccur

其中，ccur为s400中初始检测到第一辆车进入时当前帧的检测框标准差；

当s400中检测到非第一辆车时，开关标准差con的计算方法是：

con＝cmean

其中，cmean为前一辆车离开时所在帧至后一辆车进入时所在帧之间所有帧的检测框标准差的平均值。

当k＝0后，不再执行s100至s400；

当k＝1后，则继续执行s100至s400。

s600，将s400与s500得到的车辆违章信息一起保存到高速公路交通管理系统，相关人员可以及时做出相应措施。

特别地，如附图2和附图3所示，分别是无车辆时原始检测框图和漫水填充后的检测框图。可以看出，应急车道两侧的车道线动态地固定了填充范围，即检测区域，有效地防止了无人机晃动造成的检测框偏离应急车道，因此，本发明可以大大地提高违章车辆检测的准确性。

特别地，如附图4和附图5所示，分别是有车辆时原始检测框图和显著性区域检测结果图，并且这个检测过程只需要2毫秒在intelcorei7-4790cpu@3.60ghz，8gbram的计算机上。因此，本发明可以高效实时地检测出车辆相对于路面背景的显著性。

以上结合附图和具体实施方式详细描述了本发明的技术原理。这些描述只是为了解释本发明的具体技术原理，而不能以任何方式解释为本发明保护范围的限制。但本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出的各种变化都将落入本发明的保护范围之内。