一种基于深度学习的动态交通闯红灯识别方法与流程

本发明涉及车道识别技术领域，尤其涉及一种基于深度学习的动态交通闯红灯识别方法。

背景技术：

目前对于机动车辆的违规主要可以通过电子摄像头进行图像的采集、识别，获得违章结果，而对于非机动车道的车辆则没有明确的检测方法。

现有技术中，在对车辆闯红灯进行识别的时候，首先需要对非机动车道区域进行图像获取，并通过霍夫变换用于在二值图像中找到直线，这通常对应于车道边界。但是通过霍夫变换，通常很难确定一条线是否与车道边界相对应。在色彩分割方法中，rgb图像经常转换为hsi或自定义色彩空间，由于这些方法在像素级别运行，它们通常对来自路灯或类似照明源的环境光颜色的变化敏感，因此，在车道识别不清晰的时候会影响车辆闯红灯的识别效果。

技术实现要素：

本发明的目的在于克服现有技术之缺陷，提供了一种基于深度学习的动态交通闯红灯识别方法，旨在实现自动进行交通动态闯红灯的识别，提高车辆闯红灯的识别效率。

本发明是这样实现的：

本发明提供一种基于深度学习的动态交通闯红灯识别方法，包括：

采集车辆行进信息、行人信息以及交通标志线信息；

采用深度学习模型交通标志线信息进行检测，并提取交通标志线；

根据交通信号灯的控制时间，获取多个待检测图像，其中，待检测图像为包含斑马线区域的行人和/或车辆的图像；

将每一个待检测图像进行图像分割处理，获得分割图像，并对分割图像按照时间顺序进行编号；

将编号后的分割图像分别输入至深度学习模型中，通过所述深度学习模型进行识别车道线的车辆，并识别车辆对应的车牌号；

基于时间顺序所对应的编号，确定处于非行驶时间内进入斑马线的车牌号，并将该车牌号所对应的车辆确定为交通闯红灯车辆。

进一步地，深度学习模型的训练步骤，包括：

从分割后图像中随机选取第一数量张图像输入所述深度学习模型中，第一数量为正整数，其中，第一数量张图像包含正样本和负样本，其中，正样本为车辆闯红灯所对应的图像、负样本为车辆不闯红灯所对应的图像；

通过所述深度学习模型提取所述第一数量分割后图像的特征；

根据提取的特征将所述第一数量分割后图像划分为闯红灯状态和非闯红灯状态，得到区域划分结果；

根据所述区域划分结果调整所述深度学习模型的参数。

进一步地，深度学习模型的测试步骤，包括：

从分割后图像中随机选取第二数量张图像输入卷积神经网络中进行测试；

通过所述卷积神经网络获得所述第二数量分割后图像中每一个图像的分类结果；

根据分类结果确定划分正确的样本数量，并获取分类正确率；

在分类正确率不小于预设阈值的情况下，并基于当前该卷积神经网络的参数确定为卷积神经网络。

进一步地，所述基于时间顺序所对应的编号，确定处于非行驶时间内进入斑马线的车牌号，并将该车牌号所对应的车辆确定为交通闯红灯车辆，包括：

获取所述卷积神经网络所输出车牌号及其对应的编号；

与非行驶时间进行对比，确定处于非行驶时间内的编号；

将所确定的编号所对应的车辆确定为交通闯红灯车辆。

进一步地，所述深度学习模型包括：

第一卷积层，包括两个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第一图像特征；

第一池化层，接收所输入的第一图像特征，并对所述第一图像特征进行压缩；

第二卷积层，包括三个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第二图像特征；

第二池化层，接收所输入的第二图像特征，并对所述第二图像特征进行压缩；

第三卷积层，包括二个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第三图像特征；

第三池化层，接收所输入的第三图像特征，并对所述第三图像特征进行压缩；

所述第一卷积层与上采样层相连逆卷积层后接一个向上采样层，每一个卷积层与激活函数相连，第二卷积层后接一个向上采样层，采用上采样层进行内容复制并扩充特征映射图；

接收原始车道图片，通过多个卷积层提取车道区域特征信息，以及经过上采样层进行填充处理，获得与位于非行驶区域内的车辆，并获得车辆的车牌号。

应用本发明的基于深度学习的动态交通闯红灯识别方法，通过采集车辆行进信息、行人信息以及交通标志线信息；然后采用深度学习模型交通标志线信息进行检测，并提取交通标志线；并根据交通信号灯的控制时间，获取多个待检测图像，再将每一个待检测图像进行图像分割处理，获得分割图像，并对分割图像按照时间顺序进行编号；然后才深度学习模型进行识别，通过所述深度学习模型进行识别车道线的车辆，并识别车辆对应的车牌号；基于时间顺序所对应的编号，确定处于非行驶时间内进入斑马线的车牌号，并将该车牌号所对应的车辆确定为交通闯红灯车辆。因此，能够自动获得违法行驶车辆的车牌号，实现自动交通违法驾驶的识别，旨在提高了机动车违法行驶时，获取的效率和便捷性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的基于深度学习的动态交通闯红灯识别方法的流程示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

参见图1，本发明实施例提供一种基于深度学习的动态交通闯红灯识别方法，包括步骤如下：

s101，采集车辆行进信息、行人信息以及交通标志线信息。

可以理解的是，图像的采集过程可以启动电子摄像头进行上空拍摄，从而获得公路取景范围内的图像。

s102，采用深度学习模型交通标志线信息进行检测，并提取交通标志线。

本步骤中，采用深度人工神经网络，将特征提取网络，空间转化网络和检测网络统一到一起，端到端的进行行人特征的提取，转化和分类。利用大量标注的数据集进行有监督训练，将行人和背景准确区分开。通过将空间转化网络(spatialtransformernetwork)直接融合到现有网络中，很好的解决了大视角图像上的行人畸变问题，提高了检测精度。

本发明实施例中，交通标志线检测算法，根据具体的交通规则，包括对斑马线、车道线，机动车和非机动车道分界线等道路交通标志线的检测。

在本发明部分实施例中，采用hough变换和canny算子，限定roi区域，对道路上的各类标线进行检测。hough变换将图像坐标系转化到新的hough坐标系，这样所有原图中的直线在新坐标系中汇聚在一起，可以方便的检测出原图中的直线。canny边缘检测算法为现有技术本发明实施例在此不做赘述。

同时对图像进行hsv阈值分割，区分不同标线的颜色信息，将原始rgb图像和转化到hsv空间后，白色，黄色和马路的对比非常明显，可以轻松设置阈值将道路上的各种标志线区分出来，至此道路上的斑马线、车道线和机动车非机动车分界线可以全部提取出来。

s103，根据交通信号灯的控制时间，获取多个待检测图像，其中，待检测图像为包含斑马线区域的行人和/或车辆的图像。

需要说明的是，视频是不断的采集图像的，且每一帧图像均对应有采集的时间，所以根据设置的一个时间段，能够获得在这段时间内所对应的视频图像，这些视频图像是需要进行检测的图像，即待检测图像。

本发明实施例旨在对闯红灯的车辆进行检测，所以需要具备特定的时间和地点，时间是必须在车辆不可以通过的红灯时间，此时是行人通过的时间，地点是在非车道区域，可以理解的是，在红灯的时候，车辆是需要在车道区域进行等候的，所以如果红灯的时候在非车道区域则表示为闯红灯，反之则为不闯红灯，因此，实现这个功能是本发明重点。

s104，将每一个待检测图像进行图像分割处理，获得分割图像，并对分割图像按照时间顺序进行编号。

可以理解的是，每一个待检测图像都对应一个时间点，那么根据图像的时间顺序进行编号，因此一个编号对应一个车辆的一个时间点的图像，然后将每一个待检测图像进行图像分割处理，图像分割可以是采用8*8的窗口进行图像划分，进而将图像划分为8*8的图像块。

s105，将编号后的分割图像分别输入至深度学习模型中，通过所述深度学习模型进行识别车道线的车辆，并识别车辆对应的车牌号。

本发明的具体实现方式中，可以是将步骤s104分割后的图像块输入到深度学习模型中，进行待检测图像的学习。

需要说明的是，深度学习模型是本发明实施例所实现的基础，本发明实施例提供的一种具体实现中，第一卷积层，包括两个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第一图像特征；第一池化层，接收所输入的第一图像特征，并对所述第一图像特征进行压缩；第二卷积层，包括三个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第二图像特征；第二池化层，接收所输入的第二图像特征，并对所述第二图像特征进行压缩；第三卷积层，包括二个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第三图像特征；第三池化层，接收所输入的第三图像特征，并对所述第三图像特征进行压缩；所述第一卷积层与上采样层相连逆卷积层后接一个向上采样层，每一个卷积层与激活函数相连，第二卷积层后接一个向上采样层，采用上采样层进行内容复制并扩充特征映射图；接收原始车道图片，通过多个卷积层提取车道区域特征信息，以及经过上采样层进行填充处理，获得与位于非行驶区域内的车辆，并获得车辆的车牌号。

可以理解的是，模型是需要进行训练，作为成熟的模型才可以使用的，本发明提供的模型训练过程包括：从分割后图像中随机选取第一数量张图像输入所述深度学习模型中，第一数量为正整数，其中，第一数量张图像包含正样本和负样本，其中，正样本为车辆闯红灯所对应的图像、负样本为车辆不闯红灯所对应的图像；通过所述深度学习模型提取所述第一数量分割后图像的特征；根据提取的特征将所述第一数量分割后图像划分为闯红灯状态和非闯红灯状态，得到区域划分结果；根据所述区域划分结果调整所述深度学习模型的参数。

在模型训练以后，需要对模型进行测试，以保证模型的识别结果，例如模型的识别结果必须保证在98％方可投入使用，因此，本发明实施例中，还包括对模型的验证过程，具体包括：从分割后图像中随机选取第二数量张图像输入卷积神经网络中进行测试；通过所述卷积神经网络获得所述第二数量分割后图像中每一个图像的分类结果；根据分类结果确定划分正确的样本数量，并获取分类正确率；在分类正确率不小于预设阈值的情况下，并基于当前该卷积神经网络的参数确定为卷积神经网络。

进一步地，所述基于时间顺序所对应的编号，确定处于非行驶时间内进入斑马线的车牌号，并将该车牌号所对应的车辆确定为交通闯红灯车辆，包括：

获取所述卷积神经网络所输出车牌号及其对应的编号；

与非行驶时间进行对比，确定处于非行驶时间内的编号；

将所确定的编号所对应的车辆确定为交通闯红灯车辆。

需要说明的是在模型训练以后，需要对模型进行测试，以保证模型的识别结果，例如模型的识别结果必须保证在98％方可投入使用，因此，本发明实施例中，首先从分割后图像中随机选取第二数量张图像输入卷积神经网络中进行测试；通过所述卷积神经网络获得所述第二数量分割后图像中每一个图像的分类结果；根据分类结果确定划分正确的样本数量，并获取分类正确率；在分类正确率不小于预设阈值的情况下，并基于当前该卷积神经网络的参数确定为深度学习模型。

可以理解的是，进行测试和进行训练的样本是一样的，首先可以进行样本的采集工作，然后对样本进行检验，挑选出不合格样品，然后对数据进行归一化处理，以便输入神经网络模型中进行训练和测试，然后进行样品的比例划分，例如为7:3，也就是训练样本为总数量的70％、测试样本为总数量的30％，在进行模型的训练以后进行测试，在测试的准确率达到要求以后就作为合格的模型进行投入使用。

可以理解的是，在模型的使用过程中，由于硬件或者软件等原因会发生改变，因此需要不断的进行模型的检验，可以通过增加或者更新测试样本，以检验当前模型的测试准确率，当模型的测试准确率不低于预设值时，则可以继续使用，否则需要采用新的训练样本继续进行训练，再执行样本测试的步骤，直至模型的测试准确率不低于预设值。

s106，基于时间顺序所对应的编号，确定处于非行驶时间内进入斑马线的车牌号，并将该车牌号所对应的车辆确定为交通闯红灯车辆。

可以理解的是，当车辆进入斑马线时为红灯时刻，那么表示闯红灯，否则表示没有闯红灯。

因此，应用本发明实施例分析速度较快，且依赖于深度学习模型的图像学习和分类过程准确率较高，适合大规模使用。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。