一种基于深度学习的路面病害识别方法

本发明属于目标检测，尤其涉及一种基于深度学习的路面病害识别方法。

背景技术：

1、随着城市化进程的不断加快和交通运输的日益发展，道路基础设施的建设和维护成为保障交通安全和经济发展的重要环节。然而，由于道路的长期使用、自然环境因素和车辆负荷等原因，道路表面常常会出现各种病害，如裂缝、坑洼等，特别是智能驾驶快速发展的现状下，路面病害信息的全面采集和正确识别，将对自动驾驶的舒适度和安全性产生重要影响。因此，对其进行精确检测和定位对于行车安全和道路维护至关重要，不仅能提升行车的安全性，同时也能够有效提高道路维护的效率与质量。

2、目前，对路面病害进行检测的方法主要分为三类。

3、第一种是依靠人工观察和记录进行排查；属这种方法于早期的方法，由于在检测的过程中会掺杂着排查人员的主观判断，会影响检测效果；不仅如此，面对较大的道路网络时，利用人工进行检测难免是一件耗时耗力的工程。

4、第二种是利用手工提取病害特征，设计复杂的规则和流程来进行病害检测的基于图像处理的传统检测方法；虽然可以减少由人工检测带来的主观性强、人力成本高等问题，但其对于不同尺寸和形状的病害识别能力有限，且在复杂背景下的识别效果不高。

5、最后一种是利用能够自动学习图像特征表示。这种方法能够更好地适应各种复杂的场景和对象，并且能够在大规模数据集上进行端到端的训练，提高识别的准确性和泛化能力，是目前的主流方法。但是，目前大多数方法仅关注路面裂缝的单一任务，而忽视了其他类型的路面病害；其次，现有的研究往往只针对俯视镜头下的路面图像，缺乏与真实道路环境更贴近的前方景观信息，限制了模型在真实场景中的泛化能力。

6、因此，怎样才能在真实的路面环境中对路面的多种病害类型进行准确的识别，从而提升行车舒适度以及路面维护的及时性，成为目前亟待解决的问题。

技术实现思路

1、针对上述现有技术的不足，本发明提供了一种基于深度学习的路面病害识别方法，可以在真实的路面环境中对路面的多种病害类型进行准确的识别，从而提升行车舒适度以及路面维护的及时性。

2、为了解决上述技术问题，本发明采用了如下的技术方案：

3、一种基于深度学习的路面病害识别方法，包括以下步骤：

4、s1、构建路面病害识别模型；所述路面病害识别模型由yolov7模型改进而来，所述改进包括：用可变形卷积替换骨干网络中的特征提取部分的普通卷积；并在整体网络结构中引入空间显式的视觉中心方案evc；

5、所述视觉中心方案evc包括轻量级mlp与可学习的视觉中心机制lvc；evc的工作过程包括：通过轻量级mlp捕获顶层特征的全局长程依赖关系，作为被检测物体的全局信息；通过lvc提取局部信息特征；再将轻量级mlp捕获的长程依赖关系与lvc学习到的局部信息特征沿着特征维度进行拼接，作为evc视觉中心的输出；

6、s2、获取包括路面病害图像和相应标注信息的训练数据集；

7、s3、使用训练数据集对路面病害识别模型进行训练；

8、s4、使用训练好的路面病害识别模型进行路面病害识别；

9、其中，s1与s2可调换先后顺序。

10、本发明与现有技术相比，具有如下有益效果：

11、本方法中，使用的路面病害识别模型由yolov7模型改进而来。考虑到路面病害形状差异较大，不同的位置可能对应有不同尺度的病害，在特征提取过程中，标准普通卷积核通常是在特征图固定的位置进行采样，存在对未知的变化适应性差、泛化能力不强等问题。因此本方法的模型在特征提取过程中引入可变形卷积，模型可以学习到在不同情况下如何调整卷积核的采样位置，相比于传统卷积可以更好地贴近病害的形状和尺寸，从而更有效地提取输入的特征。

12、除此，目前，包括yolov7中的sppcspc结构在内的已有的特征金字塔结构，它们主要关注于不同层级之间的信息传递，而忽略了层内特征的内部规律，但某些目标的纹理或形状特征主要体现在层内特征表示中，所以在处理具有显著尺度变化的目标时，这些方法可能无法完全覆盖所有尺度范围。本方法构建的路面病害识别模型，通过在整体网络结构中引入空间显式的视觉中心方案evc，可以解决上述问题，在处理具有显著尺度变化的目标时，保证完全覆盖所有尺度范围。

13、通过上述优化，本方法构建的路面病害识别模型，不仅能够检测和识别多种疾病类型，并且在复杂的环境中具有较高的稳定性，能够适应各种复杂的检测环境。

14、综上，使用本方法，可以在真实的路面环境中对路面的多种病害类型进行准确的识别，从而提升行车舒适度以及路面维护的及时性。

15、优选地，s1中，用可变形卷积替换骨干网络中的特征提取部分的普通卷积时，在yolov7的elan模块前引入可变形卷积。

16、这样的设置，在标准卷积操作中采样位置增加了偏移量，通过平行卷积进行学习，决定了在卷积操作中特征图上的采样位置发生的位移，在训练过程中，模型通过反向传播和梯度下降等优化算法来进行调整，对原特征图的采样位置沿x轴和y轴方向产生offest偏移，因此，模型可以学习到在不同情况下如何调整卷积核的采样位置，相比于传统卷积可以更好地贴近病害的形状和尺寸，从而更有效地提取输入的特征。

17、优选地，在yolov7的elan模块前引入可变形卷积时，只替换elan模块前步长为1的卷积。

18、考虑到该卷积会增加模型的参数量和计算复杂度，因此，本方法只选择替换elan模块前步长为1的卷积，保留了步长为2的卷积。因为步长为1的卷积通常用在特征图上进行密集的特征提取，有助于捕获目标的细节和局部特征，而步长为2的卷积通常用于下采样特征图以增加感受野，但会导致特征图的尺寸减小，损失一些细节信息。

19、优选地，s1中，所述轻量级mlp由两个残差模块组成；所述残差模块包括深度可分离卷积模块和通道mlp模块；深度可分离卷积模块的输入为经过组归一化处理的特征图，深度可分离卷积模块的输出为通道mlp模块的输入。

20、这样的设置，深度可分离卷积模块可以提高特征表达能力，同时减少计算成本。另一方面，通道mlp模块相对于空间mlp模块不仅有效地降低了计算复杂度，还满足通用视觉任务的要求。

21、优选地，所述残差模块还包括通道缩放模块和dropath模块，用于对通道mlp模块的输出进行通道放缩及dropath操作。

22、这样的设置，可以提高特征的泛化性能和鲁棒性。

23、优选地，s1中，所述lvc为带有字典的编码器，由一个码本b＝{b1,b2,...,bn}和一组视觉中心比例因子s＝{s1,s2,...,sn}组成；lvc的处理过程包括：

24、首先，使用一组卷积层对输入特征xin进行编码，将其输入到码本b中；

25、然后，通过视觉中心比例因子s来使xin和bk映射相应的位置信息，得到整个图像关于码本b中第k个码字的信息ek；其中，bk为码本b中第k个可学习的码字；

26、之后，通过下式，将不同尺度的特征信息进行整合和综合；

27、

28、再然后，通过下式，使用一个完全连接层和1×1卷积层来预测突出的关键类特征，将特征由sigmoid函数激活后与输入特征xin沿通道纬度相乘，提高网络的表达能力；

29、

30、最后，通过下式，得到lvc学习到的局部信息特征:

31、

32、这样的设置，可以保证提取的局部信息特征的准确性和有效性。

33、优选地，将编码后的特征通过视觉中心比例因子s来使xin和bk映射相应的位置信息时，通过下式行计算整个图像关于第k个码字的信息ek：

34、

35、式中，为第i个像素点，sk为视觉中心比例因子s中第k个可学习的缩放因子，p为单个像素点总数。

36、这样的设置，通过欧式距离的平方，可以在找到与输入特征最匹配的编码码字，从而将输入特征映射到编码空间中；之后再乘以缩放因子，可以对距离度量起到一个调节的作用，可以确保编码权重的计算在不同的情况下都能较好地反映特征的匹配程度。可以较为准确表示输入特征在编码码字空间中分配情况的权重；将分配的权重再与相乘则是为了对输入特征进行加权，使模型更关注那些与编码码字更匹配的特征部分，即更重要的部分特征。这样，可以保证得到的ek的准确性和有效性。

37、优选地，s3中，基于一种改进的损失函数rloss，对路面病害识别模型进行训练；所述改进的损失函数rloss为：

38、

39、式中，d为样本总数量；yi为第i个样本的真实值且采用one-hot进行编码；zi表示模型针对第i个样本的预测值；(σ(zi))表示将预测值经过sigmoid处理缩放到0-1的范围内；iou值用于评估预测框和真实框之间的匹配程度。

40、这样的设置，1-iou/iou可以降低易分类样本的损失贡献，从而增加难分类样本的损失比例，以此解决正样本数量少带来的准确率不高的问题。loss值与iou成负相关，当iou越大，即说明该样本是易区分样本，此时1-iou/iou趋向于0，说明对损失的贡献较小；反之，当iou值越小,对损失的贡献越大。通过重点关注这些样本，模型可以更好地学习并适应复杂的路面病害背景，提高算法的泛化能力。

41、优选地，s2中，还对获取的训练数据集进行增强；所述增强包括随机裁剪与旋转。

42、这样，通过对训练数据集的增强，可以提高训练得到的路面病害识别模型的泛化能力。