基于改进的YOLOv5卷积神经网络的夜间车辆检测方法及系统

本发明涉及车联目标检测领域，具体涉及一种基于改进的yolov5卷积神经网络的夜间车辆检测方法及系统。

背景技术：

1、智能交通系统(its)是进行交通管理的现代化智能方案，车辆检测对提高城市交通综合管理水平有重要作用。目前，车辆检测系统在白天场景下的研究成果丰富、效果显著。然而在夜间场景中，目标检测的背景与白天存在较大差异，车辆特征发生较大改变。因此在白天车辆识别表现良好的网络并不适用于夜晚场景。

2、目前常用于夜间车辆目标检测方法分为传统的车辆目标检测和基于深度学习的车辆目标检测，其中，传统的车辆目标检测主要是手动提取特征，然后使用分类器来区分该区域是否属于车辆；深度学习的目标检测又分为两阶段检测和一阶段检测。两阶段检测算法如faster-rcnn、sdd系列，两阶段检测先提取候选框，再进行分类回归，一阶段检测算法基于回归，通过一次前向传播得到最终检测结果，一阶段检测算法如yolo系列目标检测算法速度更快，但利用yolov5卷积神经网络进行夜间车辆检测存在以下几个问题：一、夜间环境由于光线不足，导致车辆整体特征不明显、车辆细节和车辆边缘特征丢失。而在利用特征明显的车灯进行车辆识别时，车灯面积小会导致“小目标”难以检测的问题。原始yolov5卷积神经网络使用spp结构提取不同接收域的信息，但该模块不能充分整合局部信息和全局信息，容易造成“小目标”丢失。二、夜间环境灯光复杂，广告灯、路灯等不同光源会对车辆检测造成干扰，原始yolov5卷积神经网络不能对空间信息进行加权，排除复杂灯光的干扰。

技术实现思路

1、为了克服现有技术存在的缺陷与不足，本发明提供一种基于改进的yolov5卷积神经网络的夜间车辆检测方法及系统，本发明使用改进的aspp结构代替spp结构，改进的aspp结构通过对卷积层设置不同的扩张速率获得不同的接受野，提取多尺度信息，在yolov5卷积神经网络的head检测头中融入se(squeeze and excitation)注意力机制和ca(coordinate attention)注意力机制，消除复杂背景灯光对夜间车辆检测的干扰，提高夜间车辆检测的准确率。

2、为了达到上述目的，本发明采用以下技术方案：

3、本发明提供一种基于改进的yolov5卷积神经网络的夜间车辆检测方法，包括下述步骤：

4、获取夜间车辆数据集，对夜间车辆数据集进行数据增强预处理，划分训练数据集及测试数据集；

5、构建改进的yolov5卷积神经网络，改进的yolov5卷积神经网络包括改进的backbone网络、neck网络和改进的head检测头；

6、所述改进的backbone网络包括focus子模块、cbl子模块、csp子模块、改进的aspp子模块，所述focus子模块对输入特征图进行切片操作，所述cbl子模块对新图片进行卷积操作，所述csp子模块将输入特征图拆成两个分支进行卷积操作，所述改进的aspp子模块使用不同扩张率的卷积层与池化层获得不同感受野，提取多尺度特征信息；

7、所述neck网络采用fpn+pan结构；

8、所述改进的head结构包括ca注意力子模块、第一conv子模块、se注意力子模块、第二conv子模块，所述ca注意力子模块将输入特征图进行全局平均池化及特征图拼接，所述第一conv子模块对ca注意力子模块输出的拼接特征图进行卷积降维，所述se注意力子模块对输入特征图每个通道进行压缩操作，所述第二conv子模块将se注意力子模块输出的压缩操作后的向量通过全连接层、激活函数进行通道相乘；

9、利用训练数据集对改进的yolov5卷积神经网络进行训练，保存训练后的权重文件；

10、利用保存的权重文件对测试数据集进行检测，输出夜间车辆检测结果。

11、作为优选的技术方案，所述对夜间车辆数据集进行数据增强预处理，具体包括：

12、选取ua-detrac数据集中的夜间图片构建夜间车辆数据集，将所有数据标签归一化为车辆标签；

13、采用mosaic数据增强的数据增强预处理，随机选取夜间车辆图片，随机缩放，再随机分布进行拼接。

14、作为优选的技术方案，所述focus子模块对输入特征图的宽度、高度信息进行切片。

15、作为优选的技术方案，所述cbl子模块由conv卷积层、bn层、leakyrelu激活函数组成。

16、作为优选的技术方案，所述csp子模块将输入特征图拆成两个分支进行卷积操作，一个分支通过卷积后再通过多个残差结构，再进行一次卷积操作，另一个分支直接进行卷积，最后将两个分支的输出进行concat操作。

17、作为优选的技术方案，所述改进的aspp子模块使用不同扩张率的卷积层与池化层获得不同感受野，提取多尺度特征信息，具体包括：

18、改进的aspp结构的输入特征图经过一个第一扩张率的con1×1卷积层、一个第二扩张率的con3×3卷积层、一个第三扩张率的con3×3卷积层、一个第四扩张率的con3×3卷积层一个pool1×1池化层并拼接到一起，连接到一个con1×1卷积层，提取多尺度特征信息。

19、作为优选的技术方案，所述ca注意力子模块将输入特征图进行全局平均池化及特征图拼接，具体包括：

20、ca注意力子模块先将输入特征图x从宽度和高度两个方向分别进行全局平均池化，分别生成尺寸为c×h×1和c×1×w的特征图：

21、

22、

23、其中，c表示特征图通道数，w表示宽度，h表示高度；

24、将获得全局感受野的宽度和高度两个方向的特征图进行拼接，拼接后输入共享的卷积核为1×1的卷积层，将经过批量归一化处理的特征图输入激活函数得到特征图：

25、f＝σ(f1([zh,zw])

26、其中，f1表示经过批量归一化处理的特征图，f表示经过激活函数得到的特征图，σ表示激活函数；

27、将特征图f按照原来的高度和宽度进行卷积核为1×1的卷积分别得到通道数与原来一样的特征图fh和fw，经过激活函数后分别得到特征图在高度和宽度上的注意力权重gh和在宽度方向的注意力权重gw：

28、gh＝σ(fh(fh))

29、gw＝σ(fw(fw))

30、得到在宽度和高度方向上带有注意力权重的特征图：

31、

32、作为优选的技术方案，所述se注意力子模块对输入特征图每个通道进行压缩操作，具体包括：

33、se注意力子模块对输入特征图的每个通道进行压缩操作得到输出向量z，通过全局平均池化，将通道c的h×w个像素进行压缩，具体表示为：

34、

35、通过两个全连接层对向量z通过激活函数进行通道相乘，得到通道权重值s，具体表示为：

36、s＝fex(z,w)＝σ(g(z,w))＝σ(w2δ(w1,z))

37、将生成的特征向量与特征图的对应通道相乘，通过非极大值抑制剔除置信度大于阈值的冗余框，得到最终预测框，计算预测框的置信度。

38、作为优选的技术方案，计算预测框的置信度，具体表示为：

39、confidence＝pr(object)×iou

40、其中，pr(object)为当前预测框是否有对象的概率，iou为预测框与真实框的交并比。

41、本发明还提供一种基于改进的yolov5卷积神经网络的夜间车辆检测系统，包括：数据集获取模块、预处理模块、数据集划分模块、网络构建模块、网络训练模块、检测结果输出模块；

42、所述数据集获取模块用于获取夜间车辆数据集；

43、所述预处理模块用于对夜间车辆数据集进行数据增强预处理；

44、所述数据集划分模块用于划分训练数据集及测试数据集；

45、所述网络构建模块用于构建改进的yolov5卷积神经网络，改进的yolov5卷积神经网络包括改进的backbone网络、neck网络和改进的head检测头；

46、所述改进的backbone网络包括focus子模块、cbl子模块、csp子模块、改进的aspp子模块，所述focus子模块对输入特征图进行切片操作，所述cbl子模块对新图片进行卷积操作，所述csp子模块将输入特征图拆成两个分支进行卷积操作，所述改进的aspp子模块使用不同扩张率的卷积层与池化层获得不同感受野，提取多尺度特征信息；

47、所述neck网络采用fpn+pan结构；

48、所述改进的head结构包括ca注意力子模块、第一conv子模块、se注意力子模块、第二conv子模块，所述ca注意力子模块将输入特征图进行全局平均池化及特征图拼接，所述第一conv子模块对ca注意力子模块输出的拼接特征图进行卷积降维，所述se注意力子模块对输入特征图每个通道进行压缩操作，所述第二conv子模块将se注意力子模块输出的压缩操作后的向量通过全连接层、激活函数进行通道相乘；

49、所述网络训练模块用于利用训练数据集对改进的yolov5卷积神经网络进行训练，保存训练后的权重文件；

50、所述检测结果输出模块用于利用保存的权重文件对测试数据集进行检测，输出夜间车辆检测结果。

51、本发明与现有技术相比，具有如下优点和有益效果：

52、(1)本发明在yolov5卷积神经网络的backbone网络中，使用改进的aspp结构代替spp结构，改进的aspp结构通过对卷积层设置不同的扩张速率获得不同的接受野，提取多尺度信息，加强对车辆检测中“小目标”的检测，提升对“小目标”检测的准确率。

53、(2)本发明在yolov5卷积神经网络的head检测头中融入se(squeeze andexcitation)注意力机制和ca(coordinate attention)注意力机制，se注意力机制通过学习的方式，自动获取每个特征通道的重要程度，然后依照重要程度提升显著特征，并抑制或弱化非显著特征；ca注意力机制将通道注意力分解为两个1维特征编码过程，分别沿2个空间方向聚合特征，不仅获取了通道间信息，还考虑了方向相关的位置信息，有助于模型更好地定位和识别目标，将se注意力机制和ca注意力机制融入head检测头不同位置，可以消除复杂背景灯光对夜间车辆检测的干扰。