基于transformer的多级桥梁缺陷检测方法

本发明属于桥梁缺陷检测，具体涉及基于transformer的多级桥梁缺陷检测方法。

背景技术：

1、我国大力修建高速公路桥梁，因此到如今，一些高速公路桥梁桥龄大的甚至已经达到40多年。根据近几年的公路调查结果显示，越来越多的高速公路桥梁都出现了明显的老化和破损，这导致危桥也越来越多。它们都普遍存在桥面过窄、破损裂缝、露筋等问题。

2、如果公路桥梁病害能够在早期就被排查出来，并及时对其进行处理，这无疑会极大程度地降低公路桥梁的养护维修费用，于此同时，公路桥梁上的行车安全也会拥有一定程度的保障。在不影响交通运输情况下，对裂缝进行高效快速的排查检测，已经成为了当今一个急需解决的困难。目前，我国对于公路桥梁的损伤检测大部分还是依赖于人工检测和排查。传统人工桥梁缺陷检测的主要劣势为：(1)人力成本过高：通过人眼来对公路桥梁表面进行排查检测，这就无法避免需要专业工人到公路桥梁现场进行勘测，然而，对于道路极长的公路桥梁，使用人眼进行逐一排查的工作强度无疑是巨大的，这也就导致了专业工人的人力、人数相应地高了出来。(2)耗费时间：使用工人的肉眼对公路桥梁进行排查，由于裂缝空洞等桥梁表面缺陷都在厘米级别，用肉眼排查就需要大量的时间。(3)准确度低：人眼可清楚分辨明暗对比，但易受不同色彩影响而影响判断，相应地精准度就降低了。(4)花费成本高：在投入了大量人力、物力和时间才能完成检测，其花费的成本过高。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的基于transformer的多级桥梁缺陷检测方法解决了传统人工桥梁缺陷检测的人力成本过高、耗费时间、准确度低和花费成本高的问题。

2、为了达到上述发明目的，本发明采用的技术方案为：一种基于transformer的多级桥梁缺陷检测方法，包括以下步骤：

3、s1、获取桥梁底部图像，建立桥梁图像数据集；

4、s2、对桥梁图像数据集进行数据清洗、降噪和增强处理，得到桥梁病害数据集；

5、s3、将桥梁病害数据集输入二分类网络，剔除正常类的图像数据，得到缺陷类的图像数据；

6、s4、将缺陷类的图像数据输入transformer注意力机制的深度学习网络模型，得到不同缺陷类的检测结果。

7、进一步地：所述步骤s1具体为：

8、通过公路桥梁底部数据采集云台拍摄获取桥梁底部图像数据，并去除不清晰图像，得到桥梁底部图像；将桥梁底部图像通过随机算子进行处理，生成若干尺寸为256*256的桥梁图像数据，并将其作为桥梁图像数据集。

9、进一步地：所述步骤s2具体为：

10、对桥梁图像数据集中的桥梁图像数据进行匹配模型的数据清洗和降噪处理，对处理后的桥梁图像数据进行数据增强，并对数据增强后的桥梁图像数据进行随机的平移、旋转、翻转和镜像操作，生成若干桥梁病害图像，并将其作为桥梁病害数据集；

11、其中，所述桥梁病害数据集中桥梁病害图像的图像类别包括正常桥面、蜂窝麻面、裂缝、破损露筋、渗水和修补。

12、进一步地：所述步骤s3包括以下分步骤：

13、s31、设置桥梁病害数据集中桥梁病害图像的标签；

14、s32、将桥梁病害图像和桥梁病害图像的标签输入二分类网络，剔除正常类的图像数据，得到缺陷类的图像数据。

15、上述进一步方案的有益效果为：二分类网络在分类的过程中不断地对正常类进行奖励，对缺陷类进行惩罚，使得正常类的识别准确率非常高，在这一步能够将所有正常类的图片全部检测识别出来。

16、进一步地：所述步骤s31具体为：

17、将图像类别为正常桥面的桥梁病害图像的标签设置为0，并将其余图像类别的桥梁病害图像的标签设置为1；

18、所述步骤s32中，二分类网络包括依次连接的第一vgg层、第二vgg层、第三vgg层、第四vgg层和第五vgg层；所述第一vgg层、第二vgg层、第三vgg层、第四vgg层和第五vgg层均包括相互连接的卷积层子网络和池化层；其中，所述池化层具体为2×2池化窗口，其步幅为2；

19、所述第一vgg层和第二vgg层中卷积层子网络均包括两个相互连接的卷积层，所述卷积层的卷积核为3×3，填充为1；

20、所述第三vgg层、第四vgg层和第五vgg层中卷积层子网络均包括三个依次连接的卷积层，所述卷积层的卷积核为3×3，填充为1。

21、进一步地：所述s4具体为：

22、s41、将缺陷类的图像数据依次输入transformer注意力机制的深度学习网络模型，得到具有加权关系的缺陷类特征图；

23、s42、将缺陷类特征图依次输入第一平均池化层、全连接层和第一softmax层，得到缺陷类特征图的全局依赖关系；

24、s43、根据缺陷类特征图中的全局依赖关系，得到缺陷类特征图对应缺陷类的图像数据缺陷分类结果。

25、进一步地：所述s4中，transformer注意力机制的深度学习网络模型包括依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层和第二平均池化层；

26、其中，所述第一卷积层包括依次连接的第一空洞卷积层、批归一化层、第一relu激活函数和第一最大池化层；

27、所述第二卷积层、第三卷积层、第四卷积层和第五卷积层均包括若干依次连接的block单元，其中第二卷积层包含3个block单元，第三卷积层包含4个block单元，第四卷积层包含6个block单元，第五卷积层包含3个block单元；

28、所述第二平均池化层包括相互连接的全局平局池化层和第二softmax层；

29、每个block单元均包括依次连接的第二3*3空洞卷积层、基于transformer注意力机制子单元、第三3*3空洞卷积层和第一池化层；所述基于transformer注意力机制子单元用于对接收的图像数据进行加权；

30、所述第一卷积层的步长为2，膨胀系数为2；所述第二卷积层的步长为2，膨胀系数为2；所述第三卷积层的步长为2，膨胀系数为2；所述第四卷积层的步长为8，膨胀系数为2；所述第五卷积层的步长为8，膨胀系数为4。

31、上述进一步方案的有益效果为：采用3*3空洞卷积核使得模型能够获得更大的感受野，可以提高较小缺陷识别的效果。

32、进一步地：所述基于transformer注意力机制子单元包括依次连接的query_conv卷积、key_conv卷积和value_conv卷积；

33、所述基于transformer注意力机制子单元对接收的图像数据进行加权方法具体为：

34、sa1、将基于transformer注意力机制子单元接收的图像数据输入query_conv卷积，得到第一特征图；

35、sa2、将第一特征图输入key_conv卷积，得到第二特征图；

36、sa3、将第一特征图和第二特征图进行矩阵相乘，并将矩阵相乘的结果进行softmax归一化，得到第三特征图；

37、sa4、将基于transformer注意力机制子单元接收的图像数据输入value_conv卷积，得到第四特征图，将第三特征图与第四特征图进行矩阵相乘，得到第五特征图；

38、sa5、将第五特征图进行加权，并将加权后的第五特征图与基于transformer注意力机制子单元接收的图像数据进行叠加，得到第六特征图；

39、sa6、将第六特征图作为基于transformer注意力机制子单元的输出结果，完成对接收的图像数据进行加权。

40、进一步地：所述sa1中，query_conv卷积设置接收的图像数据大小为b×c×w×h，其中，b为训练批次的大小，c为通道数，w为图像宽度，h为图像高度；

41、所述sa2中，第一特征图的大小为b×(w×h)×c/8，第二特征图的大小为b×c/8×(w×h)；

42、所述sa3具体为：

43、将第一特征图和第二特征图均进行矩阵相乘，生成大小为b×(w×h)×(w×h)的中间特征图，并将所述中间特征图进行softmax归一化，得到第三特征图。

44、本发明的有益效果为：

45、(1)本发明通过二分类网络将正常类与五种缺陷类识别出来，将二分类网络的结果作为基于transformer注意力机制网络模型的输入，使得基于transformer注意力机制的网络模型能够更好地识别各个缺陷类，进一步提升了识别的准确率。

46、(2)本发明引入空洞卷积和transformer注意力机制使得传统网络模型在桥梁检测方面有更好的表现，更适用于桥梁缺陷分类检测。

47、(3)本发明的极大地节约了人力物力，提高了桥梁缺陷检测的准确率。