基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统

本发明属于道路裂缝检测领域，更具体地，涉及一种用于道路裂缝的检测方法。

背景技术：

1、道路在经济繁荣和扩张中发挥着至关重要的作用，它们具有显著的社会效益。道路网络促进交通和互联互通，它们为人们提供了方便的就业、社会、卫生和教育服务。因此，道路基础设施被认为是所有公共资产中最重要的部分之一。但是，由于位置、交通量、天气、施工材料等各种因素的影响，路面会随着时间的推移而逐渐磨损变质，造成交通事故。在许多国家，道路养护里程已占道路总里程的99％。因此，道路裂缝检测是道路基础设施领域的一项重要任务，涉及道路裂缝的定位和分类。它可以识别需要维护的道路，以减少潜在的安全隐患，对于有效、经济的道路养护和交通安全尤为重要。

2、传统方法中，道路裂缝区域通常使用阈值法进行检测。这些算法可以通过设置不同的阈值来快速检测输入图像的结果。由于道路裂缝区域吸收的光线较多，因此通常在图像中呈现为较暗的区域。然而，当存在一定程度的噪声时，低于损伤像素强度的像素严重降低了整体检测性能。这些方法缺乏全局信息的描述，对噪声敏感，并且主要依赖于阈值的选择。其他研究人员使用人工设计的特征描述符来识别图像中的损伤。例如，gabor滤波器和小波变换在检测简单裂缝方面取得了显著进展。然而，由于道路上存在复杂的拓扑结构、任意的形状和宽度以及油渍、杂草、污渍和其他强烈的干扰，这些方法的性能仍然有限。

3、随着机器学习方法的进一步发展，它在道路裂缝检测领域得到了广泛应用。改进的主动轮廓模型和基于贪婪搜索的支持向量机(svm)被用于桥梁损伤检测的研究。有研究者提出了一种基于svm的方法，用于计算具有多尺度邻域信息的概率图。通过融合算法，从概率生成模型(pgm)和svm方法获得的多个概率图被合并成一个融合图，可以比任何单独的概率图更精确地识别裂缝。也有研究者使用随机森林方法对多个经过空间调整的视觉特征进行分类。然而，这些检测方法只能检测已学习的裂缝，因此无法检测新的裂缝。为了解决上述问题，基于随机结构森林的crackforest提出了自动裂缝检测方法，通过选择裂缝特征和学习内部结构来有效抑制噪声。然而，它未考虑复杂裂缝提取情况下的不同损伤类别。由于传统方法通过手动设置颜色或纹理特征来模拟裂缝，在特定情况下只能满足裂缝提取的需求。这些方法无法在多变环境中进行稳健的检测。因此，在复杂情况下，手动设计特征的效率低下，无法从不同的道路图像中提取裂缝。

4、最近的理论发展表明，深度学习可以通过自动学习不同层次的特征来解决复杂问题。深度卷积神经网络(dcnn)具有丰富的分层特征和端到端可训练的框架，在像素级语义分割任务中取得了重大进展。最近，提出了几种基于目标检测、图像块分割和利用深度学习的裂缝检测方法。然而，由于这些粗略估计的方法无法在像素级别提取裂缝，因此无法准确地对裂缝进行分类和严重程度级别分配。有研究人员提出了使用fcn网络进行像素级裂缝提取的解决方案。然而，这种方法没有考虑到具有不同宽度和拓扑结构的裂缝需要不同的上下文信息大小。此外，在该方法中，忽略了裂缝特征对裂缝检测的不同贡献，将所有裂缝特征都以相同的方式处理。部分研究人员在segnet的编码器-解码器架构上实现了deepcrack网络，并在相同尺度上将编码器和解码器网络中生成的卷积特征两两合并，实现了像素级裂缝检测。然而，基于segnet网络结构，编码-解码阶段的学习特征相对简单，大部分空间信息在上采样过程中丢失，无法通过浅层恢复。也有研究人员在deeplabv3框架中开发了一种用于隧道裂缝像素级精确分割的裂缝分割网络。尽管该方法充分利用了atrous空间金字塔池化(aspp)模块获取多尺度信息，但它未充分认识到上采样操作对于改善检测结果的重要性。深度学习方法的结果比传统方法更好。然而，对于可训练的dcnn模型在丰富的语义信息方面进行鲁棒像素级裂缝检测的研究仍然不足。以上基于dcnn的裂缝检测方法没有考虑裂缝分类和损伤严重程度。在这些检测方法中利用深度学习特征显著提高了道路裂缝检测的检测性能。然而，它们仍然面临一些重要的问题需要解决。首先，许多类型的道路裂缝，如裂缝、坑洞、路肩破损和路边设施，存在。每种损伤类型具有独特的特征和表现形式，使得学习有效的多尺度特征以实现高效的道路裂缝检测变得困难。其次，道路裂缝以不同的大小和形状出现，突出了利用具有不同分辨率的多个特征图来捕捉不同尺度特征的重要性。尽管有了进展，但现有方法在全面理解道路图像中不同区域的重要性并有效利用相关特征来提高道路裂缝检测任务的检测性能方面仍面临挑战。

技术实现思路

1、针对现有技术的缺陷以及改进需求，本发明提供了一种基于交叉注意引导特征对齐网络的道路裂缝检测方法，可以精准地实现道路裂缝自动化检测。包括如下步骤：

2、步骤1，采用车载高清摄像头采集到的道路裂缝图像作为数据集，将实际道路裂缝图像划分为训练集和测试集；

3、步骤2，构建由编码器和解码器组成的裂缝自动化检测模型，所述编码器包括权重共享的协同网络模块(encoder1和encoder2)和跨层交互模块，所述解码器包括多尺度特征融合以及特征对齐模块；

4、所述权重共享的协同网络包括多尺度图像块嵌入层和多头卷积自注意力层，且encoder1和encoder2分别都拥有k个阶段，输入裂缝图像，分别获取k个阶段的不同尺度特征图；

5、所述跨层交互模块首先对同一阶段的不同尺度特征图进行重塑和维度交换操作，然后对得到的张量进行归一化和全局平均池化的操作，最后利用自注意力机制提取更全面的裂缝特征语义信息，提高网络的多尺度特征表达能力；

6、所述多尺度特征融合模块采用重建与上采样块的双重渐进式融合策略，将提取到的含有丰富多尺度语义信息的特征进行融合；

7、所述特征对齐模块的输入为多尺度融合模块的输出图像，目的是结合图像中的上下文信息，确保不同层级或分支特征之间的尺度和语义一致性，从而提高对小裂缝的检测能力；

8、步骤3，利用步骤1中的训练集对步骤2中的裂缝自动化检测模型进行训练，利用训练好的模型实现道路裂缝检测。

9、进一步的，步骤1包括：

10、11)采用车载高清摄像头采集到的道路裂缝图像作为数据集，根据数据集中的裂缝图像来制作二值化标签图像，其中，标签图像中的每个像素代表一种类别，为裂缝或背景；

11、12)将道路裂缝图像以及其对应的二值化标签图像组成道路裂缝自动化检测图像数据集，在该数据集中按照一定的比例划分训练集和测试集。

12、进一步的，步骤2中权重共享的协同网络的处理过程具体实现包含以下子步骤；

13、211)给定输入的原始图像f1，首先采用由两个卷积层组成的主干块，调整图像的大小和通道数，得到第一阶段中的多尺度图像块嵌入层的输入特征；

14、212)将输入特征分别同时进入encoder1和encoder2中进行特征提取操作，每个阶段中包含多尺度图像块嵌入层和多头卷积自注意力层，来提取裂缝信息；

15、213)多尺度图像块嵌入层在同一特征级别上利用细粒度和粗粒度的视觉标记，使用带有重叠补丁的卷积操作；具体而言，对于来自前一阶段的2d重塑输出特征图作为第i阶段的输入，首先学习一个函数fk×k(·)，将xi映射为具有通道大小ci的新标记fk×k(xi)，其中f(·)是核大小即补丁大小为k×k，步幅为s，填充为p的2d卷积操作；输出的2d标记图具有以下高度和宽度：通过多尺度图像块嵌入层通过更改步幅和填充来调整标记的序列长度的方式，输出具有不同标记大小的相同分辨率大小的特征；

16、214)将多尺度图像块嵌入层得到的不同尺度的标记特征图分别输入到多头卷积自注意力层的每个自注意力层中，得到不同尺度的全局特征图；多尺度图像块嵌入层输出的特征中的最后一个尺度的特征输入到了卷积局部特征块得到局部特征图；最后，利用多尺度特征交互块，将局部特征和全局特征聚合起来，并通过一个卷积操作得到第一阶段的输出特征图；

17、215)每一阶段都按步骤213)-215)进行处理，encoder1和encoder2分别输出多个不同尺度的特征图。

18、进一步的，主干块中的第一个卷积层的通道数为c1/2，第二个卷积层的通道数为c1，两个卷积操作生成特征图的大小为h/4×w/4×c1，其中c1为第一阶段的通道大小，每个卷积之后是batch normalization和hardswish激活函数。

19、进一步的，多头卷积自注意力层的处理过程为：输入首先经过layer norm进行归一化，然后通过factorized mhsa进行自注意力计算，接着通过残差连接将原始输入与注意力输出相加，再进行layer norm归一化，之后，通过ffn进行非线性变换，再次通过残差连接，最后再进行layer norm归一化；卷积局部特征块采用由1×1卷积、3×3深度卷积和1×1卷积组成的残差瓶颈块实现。

20、进一步的，步骤2中的跨层交互模块的具体实现包含以下子步骤；

21、221)将特征形状分别为[b,c,h,w]、[b,2c,h,w]的输入特征矩阵分别进行形状调整操作，将它们从4d张量变成3d张量，并交换它们各自的第二和第三个维度，分别得到张量e，r；[b,c,h,w]代表的是encoder1中每一个阶段得到的特征图的统称，[b,2c,h,w]代表的是encoder2中每一个阶段得到的特征图的统称，encoder1和encoder相同阶段的特征图之间通道数之间是2倍的关系；

22、222)对张量e和r同时进行归一化和全局平均池化的操作，得到长度均为1的特征向量，记为e_t、r_t；

23、223)将e_t和r_t分别映射到对方的维度，并在第二个维度上插入一个长度为1的维度；

24、224)将r和e_t，e和r_t分别在第二个维度上进行拼接，然后将拼接后的特征张量同时传入transformer编码器中中进行各自的跨注意力的计算，最后得到多个特征图，记为p1、p2、…、pk。

25、进一步的，步骤s2中，跨层交互模块的跨注意计算公式为：

26、

27、其中，表示查询向量矩阵，其中m表示查询向量的数量，dk表示键向量的维度；表示键向量矩阵，其中n表示键向量的数量，dk表示键向量的维度；表示值向量矩阵，其中dv表示键向量的维度；qkt表示查询向量和键向量之间的点积矩阵，其维度为m×n；softmax()表示softmax函数，用于将得分归一化为概率值；用于归一化点积，避免点积的值过大或过小。

28、进一步的，跨层交互模块得到k个不同尺度的特征图，当k＝4时，多尺度特征融合模块通过如下步骤实现k个特征图的融合处理；

29、第一步，先将跨层交互模块得到的4个特征图p1、p2、p3、p4分别在各自的第一维度进行拼接，再经过卷积操作生成4个新的特征图，记为a,b,c,d；

30、第二步，将d上采样再卷积得到新的特征图d'，然后c和d'在第一维度进行拼接之后再卷积得到特征图d”；

31、第三步，将d”上采样再卷积得到新的特征图d”'，然后b和d”'在第一维度进行拼接之后再卷积得到特征图b'；

32、第四步，将b'上采样再卷积得到新的特征图b”，然后a和b”在第一维度进行拼接之后再卷积得到特征图a'；

33、第五步，使用一个卷积层对特征图d”、b'、a'的通道数进行降维，同时将降维后的特征图做上采样处理，得到三个新的特征图p5、p6、p7；

34、由此，经过上面五步多尺度融合操作，得到四个新的特征图为：p1、p5、p6、p7，这四个新的特征图则为特征对齐模块的输入。

35、进一步的，步骤s2中的特征对齐模块对多尺度特征融合模块的四个输出进行特征对齐操作，该过程是p1分别与p5、p6、p7进行特征对齐，得到三个新的特征图，然后将p1和这三个新的特征图做合并处理，得到特征对齐模块的最终输出特征图，将[m1,n1]指代[p1,p5]、[p1,p6]、[p1,p7]这三个特征图对，下面是具体的特征对齐过程：

36、通道数为c的输入特征图[m1,n1]经过一个卷积层后得到特征图[m2,n2]，将[m2,n2]在第二个维度做拼接处理，得到了通道数为4c的特征图f1，然后利用一个卷积层将特征图f1的通道数由4c降到2c，得到了特征图f2；为了区分不同的空间位置，采用一个1x1的卷积对f2进行空间筛选，并经过softmax函数得到了通道数为2的特征图f3；为了加权不同的特征通道，采用一个1x1的卷积对f2进行通道筛选，并经过sigmoid函数得到特征图f4；将特征图f3的第一个通道与特征图f4对应位置的元素相乘得到了特征图f5；将特征图f3的剩余通道与特征图f4对应位置的元素相乘得到了特征图f6；将特征图f5与输入特征图p1，特征图f6与输入特征图p5分别进行加权融合，得到特征图[m3,n3]，将特征图m3与n3在第一位维度做拼接处理，得到特征图p'5；

37、根据以上步骤，特征图[p1,p5]、[p1,p6]、[p1,p7]在特征对齐模块分别得到了新特征图p'5、p'6、p'7；将p1、p'5、p'6和p'7做拼接处理，并经过多层卷积分割头得到最终的检测结果图。

38、本发明还提供一种基于交叉注意引导特征对齐网络的道路裂缝检测系统，包括如下模块：

39、数据集采集模块，用于采集道路裂缝图像作为数据集，并划分为训练集和测试集；

40、检测模型构建模块，用于构建由编码器和解码器组成的裂缝自动化检测模型，所述编码器包括权重共享的协同网络模块encoder1和encoder2，以及跨层交互模块，所述解码器包括多尺度特征融合以及特征对齐模块；

41、所述权重共享的协同网络encoder1和encoder2分别都拥有k个阶段，每个阶段包括多尺度图像块嵌入层和多头卷积自注意力层，输入裂缝图像，分别获取k个阶段的不同尺度特征图；

42、所述跨层交互模块首先对encoder1和encoder2中同一阶段的不同尺度特征图进行重塑和维度交换操作，然后对得到的张量进行归一化和全局平均池化的操作，最后利用自注意力机制提取更全面的裂缝特征语义信息，提高网络的多尺度特征表达能力；

43、所述多尺度特征融合模块采用重建与上采样块的双重渐进式融合策略，将提取到的含有丰富多尺度语义信息的特征进行融合；

44、所述特征对齐模块的输入为跨层交互模块的输出图像，目的是结合图像中的上下文信息，确保不同层级或分支特征之间的尺度和语义一致性，从而提高对小裂缝的检测能力；

45、道路裂缝检测模块，用于利用训练集对裂缝自动化检测模型进行训练，利用训练好的模型实现道路裂缝检测。

46、总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：以深度卷积神经网络为基础，构造由编码器和解码器所组成的道路裂缝自动化检测模型，能够有效地提取和融合道路裂缝图像中的多尺度特征信息，有效地提高了道路裂缝的检测准确度。最终，只需要将道路裂缝图像输入到训练好的模型中，即可自动检测道路的裂缝情况。