基于改进YOLOv5模型的高速公路路面病害识别方法

基于改进yolov5模型的高速公路路面病害识别方法
技术领域
1.本发明专利涉及智能交通，智慧高速研究领域，具体涉及基于改进yolov5模型的高速公路路面病害识别方法。


背景技术：

2.随着高速公路上交通流量日益增大，以及一些违规超载车辆的存在，使得许多高速公路上开始出现各种路面病害，传统的基于人工的路面病害识别已经远远不能满足大量高速公路养护的需求，基于路面检测车实现全自动高速公路路面信息采集以及基于深度学习和计算机视觉的目标检测算法为高速公路路面病害全自动快速采集和识别提供了新的解决方案和思路。鉴于此，本发明通过对路面病害图像数据进行深度学习建模，在分析yolov5模型的整体框架结构的基础上，构建了不同特征提取网络的yolov5模型，研究了基于改进yolov5的高速公路路面病害识别方法。


技术实现要素：

3.发明目的：为了克服现有技术中存在的不足，提供的基于深度学习的高速路面病害识别方法，其利用基于改进yolov5模型的深度学习方法快速、有效地对高速公路路面病害识别和分类，可对高速公路路面养护提供技术支持。
4.技术方案：为实现上述目的，本发明提供的基于改进yolov5的高速公路路面病害识别方法，包括如下步骤：
5.s1：构建基于不同特征提取网络的yolov5目标检测模型，对高速公路路面图像进行特征提取；
6.s2:对模型的锚框(anchor)进行重新设计。
7.进一步的，所述步骤s1中构建基于不同特征提取网络的yolov5目标检测模型，对高速公路路面图像进行特征提取：
8.s1-1：构建efficientnet-yolov5模型；
9.s1-2：构建mobilenet v3-yolov5模型；
10.s1-3：构建resnet50-yolov5模型；
11.进一步的，构建efficientnet-yolov5模型的方法为：在efficientnet-b0网络中输入图像的分辨率为224
×
224，在第一个stage层中通过一个大小为3
×
3卷积核进行卷积操作并将输出特征图的通道数提升到32；在第二个stage层至第八个stage层中通过不断叠加mbconv结构来提取图像特征，在这个过程中不断缩小特征图尺寸，提高特征图的通道数以提取更高层次的特征；在第九个stage层中使用一个逐点卷积层、一个最大池化层以及一个全连接层依次相连接。将该特征提取网络带入到yolov5模型即可得到efficientnet-yolov5模型。
12.进一步的，构建mobilenet v3-yolov5模型的方法为：mobilenetv3网络首先对输入的图像进行一个常规卷积操作，使得输出特征图的通道数为16；然后经过15个bneck模块
提取图像特征，逐渐降低特征图的尺寸，提升特征图的通道数量，从而提高特征图提取信息的层次，在保证特征提取质量的前提下降低模型的参数数量，各个bneck模块之间使用残差连接；之后通过逐点卷积使各通道之间的信息进行交互，同时提升特征图的通道数量至960；之后通过池化操作从7
×
7的特征图中提取特征向量；最后通过两个1
×
1的逐点卷积层提高输出特征图的通道数量，提取更高层次的特征。将该特征提取网络带入到yolov5模型中即可得到mobilenet v3-yolov5模型。
13.进一步的，构建resnet50-yolov5模型的方法为：resnet50网络由conv1 layer、conv2_x layer、conv3_x layer、conv4_x layer、conv5_x layer以及一个全连接层以及一个softmax分类器组成。在整个网络结构中，conv1 layer包含一个7
×
7卷积核步长为2的卷积层，conv2_x layer包含有3个重复的3层残差单元，conv3_x layer包含4个重复的3层残差单元，conv4_x layer包含有6个重复的3层残差单元，conv5_x layer包含有3个重复的3层残差单元。将该特征提取网络带入到yolov5模型中即可得到resnet50-yolov5模型。
14.进一步的，所述步骤s2对模型的锚框(anchor)进行重新设计，步骤如下：
15.s2-1：收集标注数据集中所有标注的边界框长宽数据使用kmeans聚类方法进行聚类；
16.s2-2：kmeans聚类中心点设置为9个。聚类后得到9个锚框(anchor)的长宽参数；
17.本发明改进了yolov5中特征提取网络，增加网络深度，对图像使用mosaic数据增强以及进行自适应锚框(anchor)计算。
18.有益效果：本发明与现有技术相比，在原有的深度学习网络上进行改进，从而可以更精准的实现病害的检测和分类，对高速公路路面养护提供技术支持。
附图说明
19.图1为改进特征网络后四种模型的f1-score指标的条状图和箱式图对比，其中a为条状图对比，b为箱式图对比。
20.图2为改进锚框后三种模型的f1-score指标的条状图和箱式图对比，其中a为条状图对比，b为箱式图对比。
21.图3为yolov5网络结构。
具体实施方式
22.下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
23.本发明提供的基于改进的yolov5高速公路路面病害识别方法，包括如下步骤：
24.s1：构建基于不同特征提取网络的yolov5目标检测模型，对高速公路路面图像进行特征提取：
25.s1-1：构建efficientnet-yolov5模型。
26.efficientnet网络(如表1所示)的输入图像的分辨率为224
×
224，在第一个stage层中通过一个大小为3
×
3卷积核进行卷积操作并将输出特征图的通道数提升到32；在第二个stage层至第八个stage层中通过不断叠加mbconv结构来提取图像特征，在这个过程中不断缩小特征图尺寸，提高特征图的通道数以提取更高层次的特征；在第九个stage层中使用
一个逐点卷积层、一个最大池化层以及一个全连接层依次相连接。将该特征提取网络带入到yolov5模型即可得到efficientnet-yolov5模型。
27.表1 efficientnet-b0网络结构表
28.stageoperatorresolutionchannelslayers1conv3
×
3224
×
2243212mbconv1，k3
×
3112
×
1121613mbconv1，k33112
×
1122424mbconv1，k3356
×
564025mbconv1.k3328
×
288()36mbconv1，k3314
×
1411237mbconv1，k3314
×
1419248mbconv1，k337
×
732019conv1
×
1&pool&fc7
×
712801
29.s1-2：构建mobilenet v3-yolov5模型。
30.mobilenet v3网络(如表2所示)首先对输入的图像进行一个常规卷积操作，使得输出特征图的通道数为16；然后经过15个bneck模块提取图像特征，逐渐降低特征图的尺寸，提升特征图的通道数量，从而提高特征图提取信息的层次，在保证特征提取质量的前提下降低模型的参数数量，各个bneck模块之间使用残差连接；之后通过逐点卷积使各通道之间的信息进行交互，同时提升特征图的通道数量至960；之后通过池化操作从7
×
7的特征图中提取特征向量；最后通过两个1
×
1的逐点卷积层提高输出特征图的通道数量，提取更高层次的特征。将该特征提取网络带入到yolov5模型中即可得到mobilenet v3-yolov5模型。
31.表2 mobilenet v3网络结构表
32.inputoperatorexp sizeoutnls2242×
3conv2d-16hs21122×
16bneck，3
×
31616re11122×
16bneck，3
×
36424re2562×
24bneck，3
×
37224re1562×
24bneck，5
×
57240re2282×
40bneck，5
×
512040re1282×
40bneck，5
×
512040re1282×
40bneck，3
×
324080hs2142×
80bneck，3
×
320080hs1142×
80bneck，3
×
318480hs1142×
80bneck，3
×
318480hs1142×
80bneck，3
×
3480112hs1142×
112bneck，3
×
3672112hs1142×
112bneck，5
×
5672160hs272×
160bneck，5
×
5960160hs172×
160bneck，5
×
5960160hs1
72×
160conv2d，1
×
1-960hs172×
960pool，7
×7‑‑ꢀ
112×
960conv2d 1
×
1，nbn-1280hs112×
1280conv2d 1
×
1，nbn-k-1
33.s1-3：构建resnet50-yolov5模型。
34.resnet50网络(如表3所示)由conv1 layer、conv2_x layer、conv3_x layer、conv4_xlayer、conv5_x layer以及一个全连接层以及一个softmax分类器组成。在整个网络结构中，conv1 layer包含一个7
×
7卷积核步长为2的卷积层，conv2_x layer包含有3个重复的3层残差单元，conv3_x layer包含4个重复的3层残差单元，conv4_x layer包含有6个重复的3层残差单元，conv5_x layer包含有3个重复的3层残差单元。将该特征提取网络带入到yolov5模型中即可得到resnet50-yolov5模型。
35.表3 resnet网络结构表
[0036][0037]
s2：对模型的锚框(anchor)进行重新设计：
[0038]
s2-1：收集标注数据集中所有标注的边界框长宽数据使用kmeans聚类方法进行聚类；
[0039]
s2-2：kmeans聚类中心点设置为9个，聚类后得到9个锚框(anchor)的长宽参数；
[0040]
为了验证上述方法的效果，本实施例中将步骤s1的yolov5目标检测模型中的backbone(特征提取网络)改进为efficientnet、resnet50、mobilenet v3进行实验对比，具体如表4、图1所示。
[0041]
表4四种模型检测结果
[0042][0043]
可以看出，本专利用于高速公路路面病害识别的改进yolov5网络模型优于原始
yolov5网络模型，其准确率达到0.8449,召回率88.02％，f1-score指标能够达到0.8622。根据s2，去除掉实验结果表现较差的yolov5-resnet50，对yolov5模型、yolov5-efficientnet模型、yolov5-mobilenetv3模型三个模型中的锚框(anchor)参数进行修改，并重新进行试验,具体如表5、图2所示：
[0044]
表5重新设计锚框后三种模型检测结果
[0045][0046]
可以看出三种模型在精确率(precision)、召回率(recall)、调和平均数(f1-score)这三个评价指标上均有明显提升，其中yolov5-efficientnet模型召回率(recall)提升最为明显，重新设计锚框(anchor)后召回率数值达到91.26％。yolov5模型f1-score评价指标数值提升了约2％，yolov5-efficientnet模型和yolov5-mobilenet v3模型f1-score评价指标数值提升幅度相近，都提升了接近2.5％。
[0047]
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。