一种复杂检测条件下交通事件检测方法与流程

1.本发明属于交通异常事件检测领域，特别是涉及一种复杂检测条件下交通事件检测方法。


背景技术：

2.通过视频图像及时检测交通异常事件，并提前告知驶来车辆驾驶员或者公路管理单位及时通进行事件处理，能有效降低二次事故的发生，避免更大程度的损失，目前主要有两种方法：
3.(1)背景差分法：就是以路面作为背景建立背景模型，然后将图像与背景模型进行比较，从中减去背景模型的信息，就是目标的信息，即目标车辆的信息。背景差分法通过对视频中所有帧图像的每个像素进行遍历，就可以将行驶的车辆目标与背景信息完整的分割出来。再对车辆的位置信息进行分析，从而检测出交通异常事件。
4.(2)基于深度学习的目标检测方法：基于深度学习技术的网络模型先利用大量的公路监控视频帧图像进行训练，然后利用训练好的模型对公路监控视频进行检测，进而检测出车辆的位置信息，然后基于车辆的位置等信息，通过目标跟踪算法生成车辆的行驶轨迹，最后通过车辆的行驶轨迹判断交通异常事件。
5.对于背景差分法，因为车辆运动的信息主要靠与背景模型进行差分而得到，但背景模型容易受天气和路面上的抛洒物等因素的干扰，因而该方法只能在条件良好的情况下，才能得到良好的检测效果。
6.基于深度学习的目标检测方法：该方法通过利用大量不良条件下的公路监控视频帧图像进行训练，从而解决了背景差分法在不良条件下检测效果差的问题，但由于只是对道路上的车辆进行检测和跟踪，因而难以检测出频繁变道、频繁超车和区域性交通拥堵等交通异常事件。


技术实现要素：

7.为解决上述问题，本发明提供了如下方案：一种复杂检测条件下交通事件检测方法，包括：
8.获取车辆位置信息和车道线位置信息的历史数据，根据深度学习方法构建多任务学习网络模型；
9.将所述历史数据输入所述多任务学习网络模型进行训练，获得多任务学习网络检测模型；
10.基于道路监控视频实时提取图像数据，将所述图像数据输入所述多任务学习网络检测模型进行检测，获得车辆和车道线的检测结果；
11.将所述检测结果输入交通异常事件检测算法，检测道路上的异常交通事件。
12.优选地，将所述历史数据输入所述多任务学习网络模型进行训练的过程包括，
13.对车辆位置信息和车道线位置信息的历史数据进行标注，包括通过矩形框标注车
辆和通过多段线标注车道线，获得标注后的数据集；
14.将所述标注后的数据集按照一定比例划分训练集、验证集、测试集；
15.基于所述训练集、验证集进行数据增强处理后对多任务学习网络模型进行训练，获得收敛后的初始检测模型；将所述测试集输入所述初始检测模型进行精度评估，满足要求获得多任务学习网络检测模型。
16.优选地，将所述测试集输入所述初始检测模型进行精度评估，满足要求获得多任务学习网络检测模型的过程包括，
17.以map50和召回率为指标对所述初始检测模型的车辆检测结果进行精度评价，获得第一评价结果；以准确率和iou为指标对所述初始检测模型的车道线检测结果进行精度评价，获得第二评价结果；
18.若所述第一评价结果、第二评价结果均满足要求，则将所述初始检测模型训练的超参数结果作为实际视频测试的多任务学习网络检测模型；若不满足要求，则更新样本集与网络初始化参数，对多任务学习网络模型重新训练后继续进行精度评价，直至满足要求获得所述多任务学习网络检测模型。
19.优选地，将所述图像数据输入所述多任务学习网络检测模型进行检测，获得车辆和车道线的检测结果的过程包括，
20.基于所述多任务学习网络检测模型同时对车辆和车道线进行检测，利用目标跟踪算法对车辆进行跟踪，生成车辆行驶轨迹和车道线轨迹。
21.优选地，生成车辆行驶轨迹的过程包括，基于所述多任务学习网络检测模型输出车辆在图像中的位置信息，根据目标跟踪算法对连续帧图像的车辆位置信息进行跟踪，生成所述车辆行驶轨迹。
22.优选地，将所述检测结果输入交通异常事件检测算法，检测道路上的异常交通事件的过程包括，
23.基于交通异常事件检测算法融合所述车辆行驶轨迹和车道线轨迹的轨迹信息，根据融合后的信息检测交通异常事件；其中，所述交通异常事件至少包括频繁变道、频繁超车和交通拥堵。
24.优选地，所述频繁变道的检测过程包括，获取车辆和车道线的检测结果，基于车辆的检测和跟踪结果和车道的划分结果记录车辆和对应所在车道的id、出现和消失在该车道的时间；如果车辆id出现在三条及三条以上车道，则计算车辆完成变道的时间，如果完成变道的时间小于第一阀值，则所述车辆判断为频繁变道；当频繁变道的车辆id不在存储库中，则保存在存储库中，并显示频繁变道的车辆id到报警信息栏。
25.优选地，所述频繁超车的检测过程包括，获取车辆和车道线的检测结果，基于车辆的检测和跟踪结果和车道的划分结果记录车辆和对应所在车道的id、出现和消失在该车道的时间；如果车辆id出现在同一条车道上的次数超过2次，则计算车辆最早和最晚出现在同一条车道的时间间隔；如果时间间隔小于第二阀值，则所述车辆判断为频繁超车；当频繁超车的车辆id不在存储库中，则保存在存储库中，并显示频繁超车的车辆id到报警信息栏。
26.优选地，所述交通拥堵的检测过程包括，获取车辆和车道线的检测结果，基于车辆的检测和跟踪结果和检测区的划分结果记录车辆的id、出现和消失在检测区的时间；如果检测区内的车辆数大于预设阈值，则计算车辆通过检测区的平均时间；如果平均时间大于
第三阈值，则判断路段交通拥堵；当最新判断的交通拥堵与上一次报告的时间点的间隔大于第四阈值，则保存拥堵时间点在存储库中，并报告该路段出现拥堵。
27.本发明公开了以下技术效果：
28.本发明提供的一种复杂检测条件下交通事件检测方法，通过基于深度学习的多任务网络模型同时检测车辆和车道线，接着通过目标跟踪算法生成车辆行驶轨迹，然后通过交通异常事件算法融合车辆行驶轨迹和车道线轨迹，最后根据融合的信息检测出交通异常事件。本发明在复杂检测条件下解决了利用高速公路监控视频进行交通异常事件的检测问题，特别是频繁变道、频繁超车和交通拥堵等交通异常交通事件的检测难题。提出了频繁变道、频繁超车和交通拥堵等交通异常事件检测算法，实现了频繁变道、频繁超车和交通拥堵等多类型交通异常事件的精准检测，提高了这些交通异常事件检测的准确率。
29.本发明基于多任务学习网络模型，解决了在不良条件下车辆检测效果差的问题，由于是同一个网络模型同时检测车辆和车道线，实现了车辆和车道线的同时检测，不仅节省了相关设备的硬件资源，而且提高了模型的运行效率，满足了公路视频监控实时性的要求。
附图说明
30.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
31.图1为本发明实施例的方法流程图；
32.图2为本发明实施例的频繁变道检测流程图；
33.图3为本发明实施例的频繁超车检测流程图；
34.图4为本发明实施例的交通拥堵检测流程图。
具体实施方式
35.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
37.如图1所示，本实施例提供了一种复杂检测条件下交通事件检测方法，首先利用基于多任务学习网络同时对车辆和车道线进行检测，然后利用目标跟踪算法对车辆进行跟踪，接着生成车辆的行驶轨迹和车道线轨迹，最后通过交通异常事件检测算法融合这两条轨迹的信息，进而根据车辆行驶轨迹和车道线轨迹的信息检测出交通异常事件。
38.其检测过程具体包括以下阶段，
39.数据集制作阶段：通过人工标注的方式用矩形框标注车辆和用多段线标注车道线，形成数据集。
40.训练阶段：将数据集导入多任务学习网络中进行训练，最终获得收敛后的模型。
41.测试阶段：将测试集图像导入训练完成的网络模型，评价其检测精度。
42.具体而言，利用测试集数据检验网络模型效果，模型中车辆的检测结果以map50和召回率为指标对网络模型作精度评价，模型中的车道线检测结果以准确率和iou为指标对网络模型的车道线检测部分作精度评价。若上述指标均满足要求，将该网络模型训练的超参数结果作为实际视频测试的网络模型，若不满足要求，则更新样本集与网络初始化参数，对网络模型重新进行训练。
43.使用阶段：从实际公路监控视频中提取图像数据，经预处理后输入至精度符合使用要求的检测模型中，获取车辆和车道线的检测结果，然后将检测结果输入到交通异常事件检测算法中，从而及时发现道路上的异常交通事件。
44.具体而言，通过一个基于深度学习的多任务网络模型，同时对车辆和车道线进行检测，接着通过目标跟踪算法生成车辆行驶轨迹，然后通过交通异常事件检测算法将车辆行驶轨迹和车道线轨迹的信息建立关联，最后根据关联信息检测出道路上的异常交通事件，如频繁变道、频繁超车和交通拥堵等。
45.进一步优化方案，生成车辆行驶轨迹的过程包括：多任务学习模型输出车辆在图像中的位置等信息，目标跟踪算法对连续帧图像的车辆位置信息进行跟踪，然后生成车辆行驶轨迹。
46.进一步优化方案，频繁变道的检测过程包括：如图2所示，首先获取多任务学习网络的检测结果；然后基于车辆的检测和跟踪结果和车道的划分结果记录车辆和对应所在车道的id、出现和消失在该车道的时间；如果车辆id出现在三条及三条以上车道，则计算车辆完成变道的时间t。如果完成变道的时间小于阀值th1，则该车辆判断为频繁变道；如果该频繁变道的车辆id不在存储库中，则保存在存储库中，并显示频繁变道的车辆id到报警信息栏。
47.进一步优化方案，频繁超车的检测过程包括：如图3所示，首先获取多任务学习网络的检测结果；然后基于车辆的检测和跟踪结果和车道的划分结果记录车辆和对应所在车道的id、出现和消失在该车道的时间；如果车辆id出现在同一条车道上的次数超过2次，则计算车辆最早和最晚出现在同一条车道的时间间隔t；如果时间间隔t小于阀值th2，则该车辆判断为频繁超车。如果该频繁超车的车辆id不在存储库中，则保存在存储库中，并显示频繁超车的车辆id到报警信息栏。
48.进一步优化方案，交通拥堵的检测过程包括：如图4所示，首先获取多任务学习网络的检测结果；然后基于车辆的检测和跟踪结果和检测区的划分结果记录车辆的id、出现和消失在检测区的时间；如果检测区内的车辆数n》th3，则计算车辆通过检测区的平均时间t；如果平均时间t》th4，则判断该路段交通拥堵。如果最新判断的交通拥堵与上一次报告的时间点的间隔t》th5，则保存拥堵时间点在存储库中，并报告该路段出现拥堵。
49.本实施例针对频繁变道、频繁超车和交通拥堵等交通异常事件仅仅通过车辆的位置信息无法准确检测出来，必须融合车道线的信息才能够准确判断交通异常事件的问题，提出一种复杂检测条件下交通事件检测方法，能够通过一个网络模型同时检测出车辆位置信息和车道线位置信息，从而生成车辆行驶轨迹和车道线行驶轨迹，并通过交通异常事件检测算法融合这两条轨迹的数据信息，从而检测出交通异常事件。基于多任务学习网络模
型，解决了在不良条件下车辆检测效果差的问题，由于是同一个网络模型同时检测车辆和车道线，所以不仅节省了相关设备的硬件资源，而且提高了模型的运行效率，满足了公路视频监控实时性的要求。提出了一种集车道线检测、车辆行驶轨迹提取和驾驶行为分析的交通异常事件检测方法，实现了频繁变道、频繁超车和交通拥堵等多类型交通异常事件的精准检测。
50.以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。