基于语义分割的桥梁病害智能识别方法、系统及存储介质

本发明涉及智能检测，尤其涉及一种基于语义分割的桥梁病害智能识别方法、系统及存储介质。

背景技术：

1、我国已经成为了世界第一桥梁大国，但随着我国桥梁基础设施的快速建设，桥梁体量的巨大也伴随着安全事故的多发，桥梁安全问题日益突出。桥梁巡检是确保桥梁安全可靠运行的重要手段之一，通过定期对桥梁进行巡查和维护，可以评估桥梁的结构完整性和可靠性，及时发现和处理桥梁的问题，从而避免可能导致严重事故的隐患，提高桥梁的使用寿命和运行效率。桥梁表观病害是桥梁巡检的主要目标，一般指桥梁结构表面出现的各种缺陷、损伤或变形，主要包括混凝土表观裂缝、钢筋外露、混凝土剥落等，它们会影响桥梁的安全性能和使用寿命。因此，急需一种低成本、高效率、安全可靠的桥梁病害智能识别方法。

2、传统的桥梁表观病害检测方法主要依靠人工目视或者使用专业仪器进行测量，这些方法存在耗时、费力、不安全、主观性强、精度低等缺点。随着科学技术的发展，研究人员开始尝试桥梁病害的自动化检测，但在深度学习技术被广泛使用前，大多数检测是使用传统图像处理技术的方案，基于病害边缘检测方法，或是基于病害区域像素值的方案。这类算法对于目标物体形状、大小、姿态等变化非常敏感，对于复杂场景、噪声干扰等情况的处理效果也十分有限，鲁棒性相对于深度学习算法来说比较差。同时，传统图像处理技术通常需要大量计算，因此处理速度比较慢，不适合实时处理等需求，无法适应数据量庞大、多变的信息时代。目标检测虽然能够较好地对桥梁表观病害进行定性和定位分析，但受算法原理的限制，无法实现定量分析这一需求。

技术实现思路

1、本发明提供了一种基于语义分割的桥梁病害智能识别方法，包括训练步骤和识别步骤，所述训练步骤包括：

2、步骤a1，数据集准备步骤：收集实际工程中的桥梁病害视频流或图像流，统一转换为桥梁病害图片；

3、步骤a2，数据集标注步骤：利用图像标定工具对桥梁病害图像完成像素级别标注，将原图转化为掩模图；

4、步骤a3，图像预处理步骤：对图像进行归一化处理和数据集增强；

5、步骤a4，数据集划分步骤：按照设定比例将数据集划分为训练集、验证集和测试集；

6、步骤a5，网络构建步骤：搭建深度卷积神经网络的模型；

7、步骤a6，模型训练步骤：将数据集载入模型中进行训练，并计算损失函数，利用训练集进行训练，利用验证集调整训练结果，最后使用测试集检验模型效果，配置超参数，使模型满足工程需要；

8、训练步骤结束后，载入训练结果模型，利用识别步骤完成病害的智能识别。

9、作为本发明的进一步改进，在步骤a4中，设定比例为8:1:1。

10、作为本发明的进一步改进，所述识别步骤包括：

11、步骤b1，获取桥梁数据流数据步骤：通过无人机完成桥梁的巡检飞行工作，利用无人机的实时传输接口，获取到桥梁巡检的视频流数据；

12、步骤b2，数据预处理步骤：对无人机拍摄的视频流进行预处理，将视频流定帧提取为图片数据流；

13、步骤b3，病害语义分割步骤：加载语义分割模型，对预处理得到的图片流完成语义分割，获取模型识别到的结果并标记；

14、步骤b4，判断病害情况步骤：利用语义分割的识别结果判断病害情况；

15、步骤b5，计算病害信息步骤：利用语义分割的结果计算病害信息；

16、步骤b6，获取外部信息步骤：结合无人机系统，获取表观病害位置所相应的gps定位信息，利用地图接口获取地址信息，结合管理系统相关参数对地址信息进行修正；

17、步骤b7，输出结果步骤：将信息导出到输出程序中，上传到巡检管理系统。

18、作为本发明的进一步改进，在步骤b2中，对无人机拍摄的视频流进行预处理，将视频流定帧提取为图片数据流，同时利用图像处理技术进行图片的预处理，去掉极易影响识别准确的椒盐噪点。

19、作为本发明的进一步改进，在所述步骤b6中，所述地址信息包括桥梁、道路、街道信息；在所述步骤b7中，将信息导出到输出程序中，以excel表格的形式上传到巡检管理系统。

20、作为本发明的进一步改进，该桥梁病害智能识别方法还包括判断步骤，在所述判断步骤中，判断是否满足工程需要，如是，那么执行步骤b3，否则执行步骤a6。

21、作为本发明的进一步改进，深度卷积神经网络的模型包括encoder模块和decoder模块，利用encoder模块获得输入图片的特征情况，利用decoder模块将获取到的特征进行解码，获得预测结果，即输入到网络的图像的每一个像素点对应的类别。

22、作为本发明的进一步改进，深度卷积神经网络的模型网络架构包括骨干网络、aspp模块和decoder模块，骨干网络是用于提取图像特征的基础神经网络，aspp模块则用于增加感受野并捕获多尺度信息，最后通过decoder模块来恢复分辨率。

23、本发明还提供了一种基于目标检测的桥梁病害智能识别系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述桥梁病害智能识别方法的步骤。

24、本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的桥梁病害智能识别方法的步骤。

25、本发明的有益效果是：本发明的检测精度及效率高、鲁棒性与泛化能力强、成本低，安全性能够得到保障。

技术特征：

1.一种基于语义分割的桥梁病害智能识别方法，其特征在于，包括训练步骤和识别步骤，所述训练步骤包括：

2.根据权利要求1所述的桥梁病害智能识别方法，其特征在于：在步骤a4中，设定比例为8:1:1。

3.根据权利要求1所述的桥梁病害智能识别方法，其特征在于，所述识别步骤包括：

4.根据权利要求3所述的桥梁病害智能识别方法，其特征在于，在步骤b2中，对无人机拍摄的视频流进行预处理，将视频流定帧提取为图片数据流，同时利用图像处理技术进行图片的预处理，去掉极易影响识别准确的椒盐噪点。

5.根据权利要求3所述的桥梁病害智能识别方法，其特征在于，在所述步骤b6中，所述地址信息包括桥梁、道路、街道信息；在所述步骤b7中，将信息导出到输出程序中，以excel表格的形式上传到巡检管理系统。

6.根据权利要求3所述的桥梁病害智能识别方法，其特征在于，该桥梁病害智能识别方法还包括判断步骤，在所述判断步骤中，判断是否满足工程需要，如是，那么执行步骤b3，否则执行步骤a6。

7.根据权利要求1所述的桥梁病害智能识别方法，其特征在于，深度卷积神经网络的模型包括encoder模块和decoder模块，利用encoder模块获得输入图片的特征情况，利用decoder模块将获取到的特征进行解码，获得预测结果，即输入到网络的图像的每一个像素点对应的类别。

8.根据权利要求7所述的桥梁病害智能识别方法，其特征在于，深度卷积神经网络的模型网络架构包括骨干网络、aspp模块和decoder模块，骨干网络是用于提取图像特征的基础神经网络，aspp模块则用于增加感受野并捕获多尺度信息，最后通过decoder模块来恢复分辨率。

9.一种基于目标检测的桥梁病害智能识别系统，其特征在于，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求1－8中任一项所述桥梁病害智能识别方法的步骤。

10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1－8中任一项所述的桥梁病害智能识别方法的步骤。

技术总结
本发明提供了一种基于语义分割的桥梁病害智能识别方法、系统及存储介质，包括训练步骤和识别步骤，所述训练步骤包括：数据集准备步骤、数据集标注步骤、图像预处理步骤、数据集划分步骤、网络构建步骤、模型训练步骤；训练步骤结束后，载入训练结果模型，利用识别步骤完成病害的智能识别。本发明的有益效果是：本发明的检测精度及效率高、鲁棒性与泛化能力强、成本低，安全性能够得到保障。

技术研发人员：张凤亮,王建明,施钟淇,金楠
受保护的技术使用者：哈尔滨工业大学（深圳）（哈尔滨工业大学深圳科技创新研究院）
技术研发日：
技术公布日：2024/6/11