基于多尺度特征单序融合算法的桥梁表观细微损伤识别方法

本发明涉及桥梁结构表观信息检测领域，具体涉及一种基于多尺度特征单序融合算法的桥梁表观细微损伤识别方法。

背景技术：

1、近年来，国内外许多学者展开了基于深度学习的表观损伤自动识别方法的研究，尤其，在裂缝、剥落和孔洞等多种病害检测工作中得到了较好的体现。但现有的桥梁检测技术在实际复杂场景中实现桥梁病害的识别与量化时仍有诸多问题有待解决：

2、(1)在实际工程应用中，受限于桥梁结构的特殊性和拍摄设备的安全性要求，无人机拍摄图像中病害目标往往较小，和背景所占像素数量存在明显不平衡，且大多图像背景复杂、存在大量噪声。而目前针对桥梁病害的实例分割模型多基于实验室环境下采集的裂缝数据集或是经过放大处理的病害图像进行训练。这些数据集中病害像素占比较大，且图像质量较好，与实际情况存在明显差异，导致既有模型难以直接应用于实际工程中的小目标识别任务，应用面受限。

3、(2)表观细微损伤识别精度有待提升。

4、(3)现有识别方法涉及病害种类单一，多数集中于裂纹等典型病害，较少对多种病害进行同时识别。

技术实现思路

1、针对现有技术的不足，本发明提出一种基于多尺度特征单序融合算法的桥梁表观细微损伤识别方法，具体技术方案如下：

2、一种基于多尺度特征单序融合算法的桥梁表观细微损伤识别方法，该方法包括如下步骤：

3、s1：建立桥梁表观细微损伤数据集；

4、s2：构建并训练桥梁表观细微损伤检测模型；所述桥梁表观细微损伤检测模型包括多尺度特征融合模型citfpn、rpn、roi align和输出预测结果的网络头部架构；所述多尺度特征融合模型包含引入注意力模块的特征提取网络，以及引入转置卷积的单序特征融合模块ifpn；

5、所述多尺度特征融合模块用于将所述特征提取网络的最后一个卷积阶段生成的高语义特征图与所述特征提取网络输出的除第一个卷积阶段之外的其余卷积阶段生成的特征图进行一次性的单序叠加融合，然后将融合后的融合特征图进一步卷积处理；同时，将所述高语义特征图进行下采样；然后，将所述进一步卷积处理后的所有特征图和下采样后的高语义特征图进行再次融合，作为所述多尺度特征融合模块的输出；所述多尺度特征融合模块的输出作为所述rpn的输入，通过所述rpn和roi align生成固定大小的特征区域，并通过所述输出预测结果的网络头部架构输出对应的掩膜、边界框及类别标签；

6、s3：使用训练完成的桥梁表观细微损伤检测模型进行桥梁表观细微损伤自动识别。

7、进一步地，所述特征提取网络为resnet101，共包含五个卷积阶段c1、c2、c3、c4、c5，所述单序特征融合模块ifpn将c5阶段生成的特征图p5进行上采样后，分别与c2、c3、c4生成的特征图进行一次性的单序叠加融合，得到p2、p3、p4，然后再将p2、p3、p4、p5进行3×3卷积处理后，得到p2、p3、p4、p5；最后，将p5进行下采样，得到p6，并将p2、p3、p4、p5、p6再次融合，作为所述多尺度特征融合模块的输出。

8、进一步地，所述特征提取模块resnet101中的恒等块和卷积块中内置注意力模块，所述注意力模块包括通道注意力子模块和空间注意力子模块，分别在通道维度和空间维度对特征进行压缩和加权，用于强化细节特征、抑制噪声。

9、进一步地，所述注意力模块分别在通道维度和空间维度对特征进行压缩和加权的具体步骤如下：

10、(1)输入特征f1通过平均池化层和最大池化层压缩后，经过两层感知器得到两个独立的通道特征，进一步将两个通道特征逐元素相加，通过具有sigmoid激活函数的卷积层获得通道注意力权重mc；

11、(2)将所述通道注意力权重mc与所述输入特征f1相乘得到通道注意力特征f2，将所述通道注意力特征f2输入串联的平均池化层和最大池化层，然后通过具有sigmoid激活函数的卷积层以获得空间注意力权重ms；

12、(3)将所述空间注意力权重ms与所述通道注意力特征f2相乘得到最终的注意力增强特征f3。

13、进一步地，所述单序特征融合模块ifpn将c5阶段生成的特征图p5采用转置卷积进行上采样。

14、进一步地，所述桥梁表观细微损伤检测模型训练时，先使用迁移学习方法，转移coco数据集的训练权重来初始化模型；接着，采用分阶段训练方法，即首先在冻结其他层的情况下，通过训练调整模型头部层的参数，然后在解冻其他层的情况下，对所有层进行训练。

15、一种基于多尺度特征单序融合算法的桥梁表观细微损伤识别系统，包括一个或多个处理器，用于实现基于多尺度特征单序融合算法的桥梁表观细微损伤识别方法。

16、一种电子设备，包括：

17、一个或多个处理器；

18、存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述电子设备执行时，使得所述电子设备实现基于多尺度特征单序融合算法的桥梁表观细微损伤识别方法。

19、一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现基于多尺度特征单序融合算法的桥梁表观细微损伤识别方法。

20、本发明具有以下有益效果：

21、(1)本发明的基于多尺度特征单序融合算法的桥梁表观细微损伤识别方法，通过采用单次融合特征的策略，在降低网络复杂度的同时增强了其对病害细节信息的处理能力，从而提升了桥梁病害像素级识别的连续性和精度，更适用于实地桥检中轻微缺陷的识别需求。

22、(2)本发明的桥梁表观细微损伤检测模型中，在多尺度特征融合模型中引入参数可学习的转置卷积作为特征图尺寸扩大的上采样方法，使得上采样过程不断优化，有效地重建图像的纹理和边缘，获得更加清晰连续的图像，从而为桥梁病害分割任务提供了更好的精度和连续性。

23、(3)为减轻背景噪声对小目标识别准确度的影响，多尺度特征融合模型引入多重注意力机制，抑制杂乱背景及噪声等无用信息，增强了局部特征处理能力，并在连接策略选取上选择精度更高、模型复杂度更低的策略在复杂环境下的桥梁表观细微损伤分割方面有较好的表现。

24、(4)本发明的基于多尺度特征单序融合算法的桥梁表观细微损伤识别方法可针对实地桥检所拍摄的较大尺度、类别不平衡、背景噪音较大的图像进行图像分割，具备较高鲁棒性，克服传统数据集图像中病害尺寸较大、背景噪声较小等问题，便于搭载无人机等设备进行高精度、高效率识别。

25、(5)本发明的基于多尺度特征单序融合算法的桥梁表观细微损伤识别方法，实现针对于实地桥检中小目标、复杂背景的桥梁表观细微损伤多类别像素级识别，有效满足复杂背景下小目标的细微损伤分割需求，获得细微损伤的轮廓、位置、面积等信息，有助于桥梁病害的自动化、精细化检测，为桥梁的健康监测和管理提供更为可靠、客观与全面的依据。

技术特征：

1.一种基于多尺度特征单序融合算法的桥梁表观细微损伤识别方法，其特征在于，该方法包括如下步骤：

2.根据权利要求1所述的基于多尺度特征单序融合算法的桥梁表观细微损伤识别方法，其特征在于，所述特征提取网络为resnet101，共包含五个卷积阶段c1、c2、c3、c4、c5，所述单序特征融合模块ifpn将c5阶段生成的特征图p5进行上采样后，分别与c2、c3、c4生成的特征图进行一次性的单序叠加融合，得到p2、p3、p4，然后再将p2、p3、p4、p5进行3×3卷积处理，得到p2、p3、p4、p5；最后，将p5进行下采样，得到p6，并将p2、p3、p4、p5、p6再次融合，作为所述多尺度特征融合模块的输出。

3.根据权利要求1所述的基于多尺度特征单序融合算法的桥梁表观细微损伤识别方法，其特征在于，所述特征提取模块resnet101中的恒等块和卷积块中内置注意力模块，所述注意力模块包括通道注意力子模块和空间注意力子模块，分别在通道维度和空间维度对特征进行压缩和加权，用于强化细节特征、抑制噪声。

4.根据权利要求3所述的基于多尺度特征单序融合算法的桥梁表观细微损伤识别方法，其特征在于，所述注意力模块分别在通道维度和空间维度对特征进行压缩和加权的具体步骤如下：

5.根据权利要求2所述的基于多尺度特征单序融合算法的桥梁表观细微损伤识别方法，其特征在于，所述单序特征融合模块ifpn将c5阶段生成的特征图p5采用转置卷积进行上采样。

6.根据权利要求1所述的基于多尺度特征单序融合算法的桥梁表观细微损伤识别方法，其特征在于，所述桥梁表观细微损伤检测模型训练时，先使用迁移学习方法，转移coco数据集的训练权重来初始化模型；接着，采用分阶段训练方法，即首先在冻结其他层的情况下，通过训练调整模型头部层的参数，然后在解冻其他层的情况下，对所有层进行训练。

7.一种基于多尺度特征单序融合算法的桥梁表观细微损伤识别系统，其特征在于，包括一个或多个处理器，用于实现权利要求1～6中任一项所述的基于多尺度特征单序融合算法的桥梁表观细微损伤识别方法。

8.一种电子设备，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现如权利要求1～6中任一项所述的基于多尺度特征单序融合算法的桥梁表观细微损伤识别方法。

技术总结
本发明公开一种基于多尺度特征单序融合算法的桥梁表观细微损伤识别方法，该方法中，构建的桥梁表观细微损伤检测模型包括多尺度特征融合模型CITFPN、RPN、RoI Align和输出预测结果的网络头部架构；CITFPN包含引入注意力模块的特征提取网络，以及引入转置卷积的单序特征融合模块IFPN；IFPN用于将特征提取网络的最后一个卷积阶段生成的高语义特征图与特征提取网络输出的除第一个卷积阶段之外的其余卷积阶段生成的特征图进行一次性的单序叠加融合，然后将融合后的融合特征图进一步卷积处理；同时，将高语义特征图再下采样，并和进一步卷积处理后的其他特征图进行再次融合，作为CITFPN的输出。本发明能够实现对桥梁病害实例的自动化、精细化分割。

技术研发人员：张鹤,雷嘉薇,沈瑞宏,沈芷菁,周煜辉
受保护的技术使用者：浙江大学
技术研发日：
技术公布日：2024/12/12