基于YOLOv4的无人机影像路面病害检测方法

本发明涉及路面病害检测领域，特别是涉及一种基于yolo v4的无人机影像路面病害检测方法。

背景技术：

1、近几年，交通运输业飞速发展，公路交通已逐步成为交通运输的重要形式，公路运行的安全问题也受到社会各界的广泛关注。公路路面健康问题会严重影响公路行车安全，尤其在车速过高时可能引发重大交通事故，如果在公路路面出现明显破损时才开始维修养护，会导致后期养护成本过高，在早期使用智能检测技术有效的对路面的坑槽、裂缝进行检测并及时的进行修复对保障公路运输安全有着重要意义。

2、目前路面病害检测方式主要包括人工巡检和道路检测车两种方式，人工巡检需要工人去公路上进行检查，在影响行车安全的同时很难保证工作人员的安全，而且受检测工人的主观判断影响，检测结果也会受到影响。而道路检测车虽然能够有效的加快检测速度，但是受到路面各种因素的影响，相对来说，自动化水平比较低，并且检测车如果车速太慢会影响交通。现在针对路面病害检测的数据集采集主要是通过手机和检测车两种拍摄方式。无人机具有成本低、灵活性高、操作简单、体积小且对比于手机拍摄的影像有视野宽阔，不会妨碍公路行车安全等优点。

3、根据研究发现，目前对无人机影像下路面病害检测方法主要包括基于传统的检测方法和基于深度学习的检测方法两种，而传统的方法在检测准确率和鲁棒性上都不高。随着计算机视觉和科技水平的快速发展，越来越多的研究者开始将研究重点侧重于深度学习。陈晓芳等人通过选取三种常用的一阶段目标检测算法训练了6种检测模型，实现了在不同场景和需求下对路面损害的检测。杜玉川等人使用yolo v3对路面病害进行了检测，检测精度达到73.64％，在检测速度方面是faster r-cnn的9倍，ssd的0.7倍。陈朋弟等人针对传统方法在检测过程中检测精度低、时间复杂度高以及鲁棒性差等问题，提出了基于mask r-cnn的利用无人机影像识别并检测路面交通标志的方法，效果优于yolo v3模型和fasterr-cnn模型。恩里克等人使用神经网络来检测无人机拍摄的图像中的坑槽，精确度达到了70％。罗晖等人提出了一种新的基于改进yolo v4的公路路面多尺度病害检测方法，用于解决目前公路路面病害检测中存在的病害类型多、尺度变化大及样本数据集较小及个别样本训练不充分导致的病害难以检测的问题。

4、综上所述，现有的基于无人机影像的路面病害检测存在着检测精度不高，不能充分利用各层之间的特征信息，检测样本不均衡等问题。

技术实现思路

1、本发明的目的是提供一种基于yolo v4的无人机影像路面病害检测方法，以充分利用各层之间的特征信息，并克服检测样本不均衡的问题，提高路面病害检测效率。

2、为实现上述目的，本发明提供了如下方案：

3、一种基于yolo v4的无人机影像路面病害检测方法，包括：

4、设置yolo v4的卷积方式为深度可分离卷积，并在yolo v4网络结构中添加se注意力模块和自适应特征融合模块，获得改进的yolo v4；

5、将无人机拍摄的多张路面病害图像进行病害类型标注后，与uapd数据集一起构成训练数据集；

6、根据所述训练数据集，采用focal loss损失函数对改进的yolo v4进行训练，获得yolo v4目标检测模型；

7、将无人机实时拍摄的路面病害图像输入yolo v4目标检测模型，输出路面病害类型。

8、可选的，所述在yolo v4网络结构中添加se注意力模块，具体包括：

9、在yolo v4网络结构中neck部分的空间金字塔池化模块和路径聚合网络模块之间、主干网络和neck部分之间、主干网络和neck部分的路径聚合网络模块之间均添加一个se注意力模块。

10、可选的，在yolo v4网络结构中添加自适应特征融合模块，具体包括：

11、在yolo v4网络结构中neck部分最后的每层输出层之后添加一个自适应特征融合模块。

12、可选的，所述自适应特征融合模块的输出为

13、

14、式中，为自适应特征融合模块的输出，分别为不同层的空间重要性权重，分别为不同特征层的输出，i，j代表的是向量的(i，j)坐标，l代表的是特征层的层数。

15、可选的，所述将无人机拍摄的多张路面病害图像进行病害类型标注，具体包括：

16、使用无人机以多相机倾斜拍摄的方式拍摄指定的实验路，获取多张图像；

17、从多张图像中筛选存在路面病害的图像，并裁剪成统一大小的路面病害图像；

18、对裁剪后的路面病害图像进行数据增强；所述数据增强包括镜像、裁剪、翻转、增加噪声和亮度变换；

19、对每张数据增强后的路面病害图像进行病害类型标注，获得无人机影像数据集；所述病害类型包括横向裂缝、纵向裂缝、龟形裂缝、斜裂缝、修复和坑槽。

20、一种基于yolo v4的无人机影像路面病害检测系统，包括：

21、改进模块，用于设置yolo v4的卷积方式为深度可分离卷积，并在yolo v4网络结构中添加se注意力模块和自适应特征融合模块，获得改进的yolo v4；

22、标注模块，用于将无人机拍摄的多张路面病害图像进行病害类型标注后，与uapd数据集一起构成训练数据集；

23、训练模块，用于根据所述训练数据集，采用focal loss损失函数对改进的yolo v4进行训练，获得yolo v4目标检测模型；

24、检测模块，用于将无人机实时拍摄的路面病害图像输入yolo v4目标检测模型，输出路面病害类型。

25、一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述的基于yolo v4的无人机影像路面病害检测方法。

26、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如前述的基于yolo v4的无人机影像路面病害检测方法。

27、根据本发明提供的具体实施例，本发明公开了以下技术效果：

28、本发明公开一种基于yolo v4的无人机影像路面病害检测方法，设置yolo v4的卷积方式为深度可分离卷积，并在yolo v4网络结构中添加se注意力模块和自适应特征融合模块，采用focal loss损失函数对改进的yolo v4进行训练，利用训练好的yolo v4进行路面病害类型检测。本发明采用深度可分离卷积作为yolo v4中卷积方式降低了网络的复杂度和减少模型计算的参数量；se通道注意力按照每个通道的重要性分配不同的权重，有效利用通道间的信息；自适应特征融合模块充分学习高低层之间的特征信息，自适应地学习各尺度特征映射融合的空间权重，解决了由于yolo v4中特征金字塔和路径聚合网络特征融合不充分问题，通过加入se注意力机制和自适应特征融合模块能够进一步提高网络精度；采用的focal loss损失函数解决了部分样本数量不均衡的问题，提高了路面病害检测精度。