基于无人机的桥梁栏杆破损检测与修复时机确定方法与流程

本发明涉及桥梁栏杆破损检测与修复时机确定方法，尤其涉及基于无人机的桥梁栏杆破损检测与修复时机确定方法，属于桥梁病害检测。

背景技术：

1、桥梁栏杆服役过程中会出现破损，其主要受到以下因素的影响：自然因素（如风化、腐蚀、冻融循环和紫外线照射，逐渐侵蚀栏杆材料导致栏杆损坏）、人为因素（包括机械撞击、疏忽的维护和重载压力，导致栏杆损坏），此外，设计和施工中的错误也会导致栏杆的早期损坏；栏杆破损可能对桥梁的安全性和功能性产生负面影响，首先，损坏的栏杆不能有效地保护行人和车辆，增加了发生事故的风险，其次，破损的栏杆影响桥梁的整体外观，可能导致公众对桥梁安全的负面看法，最后，未及时修复的破损可能会进一步恶化，增加维修成本和复杂性；因此，对桥梁栏杆破损进行快速智能识别，可以实时监测栏杆状况，及时发现并标记破损区域，从而促进快速和有效的维修，不仅可以提高桥梁的安全性，还有助于降低由于延误修复可能增加的长期维护成本。

2、另一方面，无人机检测栏杆破损过程中，缺乏无人机飞行路径的研究，导致操作效率低下，增加任务执行时间和能源消耗，采用未优化的飞行路径执行飞行任务无法最大化覆盖所有检测区域，从而遗漏关键的破损区域，影响检测的准确性和完整性；开展确定无人机最短飞行路径的研究，可以提高检测作业的效率和经济性，确保在最短时间内使用最少的能源完成检测任务，同时，优化后的飞行路径可以提高数据采集的覆盖率和质量，确保病害检测的全面性和准确性，提升桥梁的维护和安全管理效果。

3、同时，如果不能确定桥梁栏杆破损修复时机将导致多种问题，例如，安全隐患增加、维修成本上升、交通效率降低及桥梁寿命缩短，修复延误不仅会加剧破损程度，导致更高的修复成本和频繁的维护需求。

4、因此，需要一种基于无人机的桥梁栏杆破损检测与修复时机确定方法。

技术实现思路

1、在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

2、鉴于此，为解决现有技术中传统的桥梁病害检测方法未考虑对桥梁栏杆破损的检测且难以确定栏杆破损修复时机的问题，本发明提供基于无人机的桥梁栏杆破损检测与修复时机确定方法。

3、技术方案如下：基于无人机的桥梁栏杆破损检测与修复时机确定方法，包括以下步骤：

4、s1.根据无人机参数信息和操作信息，规划无人机最短飞行路径；

5、s2.沿无人机最短飞行路径，采集桥梁栏杆表观图像生成图像矩阵，对其进行图像质量增强，得到新的图像矩阵；

6、s3.对新的图像矩阵中的图像等分并进行图像像素更新，得到像素更新后的图像；

7、s4.根据新的图像矩阵结合病害信息，构建数据集，将数据集输入到建立的基础模型、辅助模型和强化模型中进行训练，融合三种模型的损失函数，得到融合后的损失函数；

8、s5.建立强化模型到基础模型的层间损失函数，结合融合后的损失函数，得到总损失函数，对三种模型进行训练，将训练完成的基础模型作为最终模型，输出最终的栏杆破损识别结果；

9、s6.根据最终的栏杆破损识别结果，建立破损区域数量和破损区域面积随桥梁栏杆运行时间的变化规律，计算得到修复总费用的最小值，确定桥梁栏杆最佳修复时机。

10、进一步地，所述s1中，具体包括以下步骤：

11、s11.确定无人机起飞点和降落点，选定操作员观察位置；

12、s12.根据无人机搭载相机的焦距和传感器大小，确定飞行高度avh，获得图像覆盖率和分辨率，将无人机飞行速度设置为avv；

13、s13.根据无人机起飞点和降落点制定最短飞行路径，确定栏杆的坐标信息和无人机拍摄点位信息；

14、所述s13中，起飞点坐标为avo(avox，avoy，avoz)，在此基础上，确定全部无人机拍摄点位，任一无人机拍摄点位的编号为p，其对应的无人机拍摄点位坐标为avp（avpx，avpy，avpz），无人机拍摄点位的编号集合表示为{1，2，3，…，xn}，对应的无人机拍摄点位坐标集合表示为{av1（av1x，av1y，av1z），av2（av2x，av2y，av2z），…，avxn（avxnx，avxny，avxnz）}，其中，xn为无人机拍摄点位的数量，计算得到任一无人机拍摄点位avp和与其相邻的无人机拍摄点位av（p+1）之间的相邻距离；

15、以起飞点avo为出发点，根据任一无人机拍摄点位与起飞点之间的距离，计算得到全部无人机拍摄点位与起飞点之间的距离，筛选出其中三个最小距离对应的无人机拍摄点位，并进行随机选择，得到无人机从起飞点出发后抵达的第一个无人机拍摄点位；

16、确定无人机抵达的第一个拍摄点位后，计算全部拍摄点位与第一个抵达的拍摄点位之间的距离，筛选出其中三个最小距离对应的无人机拍摄点位，并进行随机选择，得到无人机从抵达的第一个拍摄点位出发后抵达的第二个拍摄点位，重复上述步骤，直至得到无人机抵达的全部拍摄点位，根据每次随机选择的不同，计算第一种飞行方式下无人机飞行的总距离tdis1，重复上述步骤，重复次数为cn，整合得到不同飞行方式下无人机飞行的总距离集合{tdis1，tdis2，tdis3，tdis4，…，tdiscn}，将其按照从小到大的顺序排列，并挑选出排名在前tn的总距离以及对应的飞行路线，tn为预设值，统计tn个飞行路线的交集信息，并选择交集数量最多的飞行线路，组合得到无人机最短飞行路径。

17、进一步地，所述s2中，具体包括以下步骤：

18、s21.采用无人机的机载高清相机，沿无人机最短飞行路径采集桥梁栏杆表观图像ph，对应的图像矩阵为ph；

19、s22.构建5阶降噪核函数n，对核函数中全部元素进行归一化操作，得到归一化后的降噪核函数；

20、s23.根据归一化后的降噪核函数，对桥梁栏杆表观图像ph进行降噪核函数处理，得到新的图像矩阵p，实现图像质量增强；

21、所述s22中，5阶降噪核函数n表示为：

22、；

23、；

24、其中，x=1、2、3、4或5，x为矩阵的行号，y=1、2、3、4或5，y为矩阵的列号，为核函数中全部元素的标准方差，为自然对数的底；

25、归一化后的降噪核函数表示为：

26、；

27、所述s23中，新的图像矩阵p表示为：

28、；

29、其中，ph为沿无人机最短飞行路径采集桥梁栏杆表观图像ph对应的图像矩阵。

30、进一步地，所述s3中，具体包括以下步骤：

31、s31.根据新的图像矩阵p，将像素灰度值等分成16个灰度级，对新的图像矩阵p中的图像进行n等分，得到等分后的图像；

32、s32.统计等分后的图像中每个灰度级对应的像素频率，计算得到等分后的图像中每个灰度级对应的灰度频率累计值；

33、s33.根据灰度频率累计值，构建像素值更新方法，计算灰度级对应的像素更新值，得到像素更新后的图像；

34、所述s31中，像素灰度值为0-255，灰度级为，=1，2，3，…，16，为灰度编号，等分后的图像为pnum，num=1，2，…，n；

35、所述s32中，等分后的图像pnum中每个灰度级对应的灰度频率累计值表示为：

36、；

37、其中，为小于或等于的灰度级编号，表示灰度级编号为的灰度级；

38、所述s33中，灰度级对应的像素更新值表示为：

39、；

40、其中，为全部像素频率累积值中的最小非零值，为等分后的图像pnum对应的总像素数，为灰度级的最大值。

41、进一步地，所述s4中，具体包括以下步骤：

42、s41.基于新的图像矩阵，挑选出全部包含栏杆破损、裂缝、风化和涂层剥落的图像作为输入图像；

43、s42.通过人工标注，在输入图像中框选出栏杆破损区域和其他三种病害，构建数据集，按照数量比8:2的比例，将数据集划分为训练集和测试集；

44、s43.根据数据集，构建基础模型、辅助模型和强化模型，计算三种模型的损失函数并进行融合，得到融合后的损失函数；

45、所述s42中，栏杆破损区域标记为damage，三种病害即裂缝、风化和涂层剥落依次标记为other1、other2和other3；

46、所述s43中，构建基础模型即深度学习模型a的网络结构，深度学习模型a由1个输入层，5个卷积层，5个激活层，4个池化层，1个全局平均池化层和1个输出层组成；

47、将数据集输入到深度学习模型a中，通过误差反向传播算法，计算得到深度学习模型a的神经网络单元的权重和偏置，完成深度学习模型a的训练，得到训练完毕的深度学习模型a及其损失函数；

48、深度学习模型a对应的输出单元节点的输出值为，分别为第一输出单元节点的输出值、第二输出单元节点的输出值、第三输出单元节点的输出值和第四输出单元节点的输出值，根据指数函数，先将深度学习模型a对应的4个输出单元节点的输出值初始转换为第一初步输出值第一初步输出值的概率值，再将其进一步优化转换得到第一优化输出值和第一优化输出值的增强概率值；

49、采用第一优化输出值的增强概率值和数据集，结合误差链式求导法则，继续训练深度学习模型a，训练完毕后，得到第一病害的输出值和深度学习模型a输出层的节点对应的实际病害标注，第一病害的输出值分别为第一栏杆破损输出值、第一裂缝的输出值、第一风化输出值和第一涂层剥落输出值；

50、构建第一辅助模型即深度学习模型b，深度学习模型b由1个输入层，10个卷积层，10个激活层，5个池化层，1个全局平均池化层和1个输出层组成；

51、将数据集输入到深度学习模型b中，通过误差反向传播算法，计算得到深度学习模型b的神经网络单元的权重和偏置，完成深度学习模型b的训练，得到训练完毕的深度学习模型b及其损失函数；

52、深度学习模型b对应的输出单元节点的输出值为，分别为第五输出单元节点的输出值、第六输出单元节点的输出值、第七输出单元节点的输出值和第八输出单元节点的输出值，根据指数函数，先将深度学习模型b对应的4个输出单元节点的输出值初始转换为第二初步输出值和第二初步输出值的概率值，再将其进一步优化转换得到第二优化输出值和第二优化输出值的增强概率值；

53、采用第二优化输出值的增强概率值和数据集，结合误差链式求导法则，继续训练深度学习模型b，训练完毕后，得到第二病害的输出值和深度学习模型b输出层的节点对应的实际病害标注，第二病害的输出值分别为第二栏杆破损输出值、第二裂缝的输出值、第二风化输出值和第二涂层剥落输出值；

54、构建第二辅助模型即深度学习模型c，深度学习模型c由1个输入层，15个卷积层，15个激活层，5个池化层，1个全局平均池化层和1个输出层组成；

55、将数据集输入到深度学习模型c中，通过误差反向传播算法，计算得到深度学习模型c的神经网络单元的权重和偏置，完成深度学习模型c的训练，得到训练完毕的深度学习模型c及其损失函数；

56、深度学习模型c对应的输出单元节点的输出值为，分别为第九输出单元节点的输出值、第十输出单元节点的输出值、第十一输出单元节点的输出值和第十二输出单元节点的输出值，根据指数函数，先将深度学习模型c对应的4个输出单元节点的输出值初始转换为第三初步输出值和第三初步输出值的概率值，再将其进一步优化转换得到第三优化输出值和第三优化输出值的增强概率值；

57、采用第三优化输出值的增强概率值和数据集，结合误差链式求导法则，继续训练深度学习模型c，训练完毕后，得到第三病害输出值和深度学习模型b输出层的节点对应的实际病害标注，第三病害输出值分别为第三栏杆破损输出值、第三裂缝的输出值、第三风化输出值和第三涂层剥落输出值；

58、根据第二病害输出值为和第一优化输出值的增强概率值，构建深度学习模型b和深度学习模型a之间的损失函数，得到对应权重系数；

59、基于第一初步输出值的概率值和深度学习模型a输出层的节点对应的实际病害标注，构建考虑第一初步输出值的概率值的深度学习模型a的损失函数，得到对应权重系数；

60、基于深度学习模型b和深度学习模型a之间的损失函数和考虑第一初步输出值的概率值的深度学习模型a的损失函数，建立深度学习模型b与深度学习模型a的输出层之间的关系损失函数；

61、根据上述操作，建立深度学习模型c与深度学习模型b的输出层之间的关系损失函数和深度学习模型c与深度学习模型a的输出层之间的关系损失函数。

62、进一步地，所述s5中，具体包括以下步骤：

63、s51.建立强化模型到基础模型的层间损失函数，结合融合后的损失函数，得到总损失函数；

64、s52.基于链式求导法则，通过误差反向传播方式，对三种模型进行训练，得到训练完成的深度学习模型a即最优模型；

65、所述s51中，将深度学习模型a的选定层与深度学习模型c的选定层建立联系，深度学习模型a中的选定层包括第二层：卷积层1、第三层：激活层1、第四层：池化层1和第十七层：输出层，深度学习模型c的选定层包括第四层：卷积层2、第六层：池化层1、第十层：激活层4和第三十八层：输出层；

66、深度学习模型a的选定层为，对应的尺寸为，其中，和17，为深度学习模型a的选定层层数，为深度学习模型a的选定层宽度，为深度学习模型a的选定层长度，为深度学习模型a的选定层通道数，深度学习模型c的选定层为，对应的尺寸为，其中，和38，为深度学习模型c的选定层层数，为深度学习模型c的选定层宽度，为深度学习模型c的选定层长度，为深度学习模型c的选定层通道数；

67、当时，在深度学习模型a的选定层输出中，添加卷积操作，卷积核尺寸为1×1，卷积核数量为，得到深度学习模型a的选定层输出，其对应的各通道输出值为，=1，2，3，…，，为深度学习模型a的选定层输出通道编号，深度学习模型c的选定层对应的各通道输出值为，=1，2，3，…，，为深度学习模型c的选定层输出通道编号，建立深度学习模型a的选定层与深度学习模型c的选定层之间的损失函数；

68、当时，在深度学习模型c的选定层输出中，添加卷积操作，卷积核尺寸为1×1，卷积核数量为，得到深度学习模型c的选定层输出为，其对应的各通道输出值为，深度学习模型c的选定层对应的各通道输出值为，建立深度学习模型a的选定层与深度学习模型c的选定层之间的损失函数；

69、根据上述计算，得到深度学习模型a的第二层与深度学习模型c的第四层之间的损失函数、深度学习模型a的第三层与深度学习模型c的第六层之间的损失函数和深度学习模型a的第四层与深度学习模型c的第十层之间的损失函数，结合深度学习模型b与深度学习模型a的输出层之间的关系损失函数、深度学习模型c与深度学习模型b的输出层之间的关系损失函数和深度学习模型c与深度学习模型a的输出层之间的关系损失函数，定义总损失函数。

70、进一步地，所述s6中，对最终的栏杆破损识别结果进行现场复核，统计不同时间的破损区域数量和破损区域面积，建立破损区域数量和破损区域面积随桥梁栏杆运行时间的变化规律；

71、破损区域数量随时间的变化规律表示为：

72、；

73、其中，为初始时刻栏杆破损区域数量，为破损区域数量中时间的平方项的系数，为破损区域数量中时间的系数，为破损区域数量中的常数；

74、破损区域面积随时间的变化规律表示为：

75、；

76、其中，为初始时刻栏杆破损区域面积，为破损区域面积中时间的平方项的系数，为破损区域面积中时间的系数，为破损区域面积中的常数；

77、构建栏杆修复之前和栏杆修复之后的修复费用与破损数量和面积的关系，得到栏杆修复之前的费用和栏杆修复之后的费用；

78、栏杆修复之前，修复费用与破损数量和面积的关系表示为：

79、；

80、其中，为栏杆破损修复前破损区域数量的系数，为栏杆破损修复前破损区域面积的系数；

81、栏杆修复之后，修复费用与破损数量和面积的关系表示为：

82、；

83、其中，为栏杆破损修复后破损区域数量的系数，为栏杆破损修复后破损区域面积的系数，为栏杆修复的时间；

84、根据总时间，进一步建立修复总费用与桥梁栏杆运行时间的关系表示为：

85、；

86、采用配方法求解二次函数最小值的方法，求解得到修复总费用的最小值，对应的栏杆运行时间即为最佳修复时机。

87、本发明的有益效果如下：本发明采用无人机进行桥梁栏杆破损检测时，最短飞行路径有助于提高检测效率，减少了所需时间和电池能耗，从而增加了无人机的作业续航能力，降低了运行成本，并能够在最短时间内获取关键结构的完整性信息，确保了桥梁结构的安全运营；本发明针对栏杆破损的图像进行像素更新，通过调整像素值，使得图像光照变得均匀，可以减少由光照变化引起的误差，使得栏杆的真实状态更容易被准确识别；本发明实现了桥梁栏杆破损快速智能识别，通过建立基础模型、辅助模型和强化模型，在不同层级引入额外的监督信号，有助于提高模型的泛化能力，减少了过拟合；本发明可以有效确定桥梁栏杆破损修复时机，避免了过早维修或因延误修复导致的高昂成本，优化了资源的使用，为后续维修提供了数据支撑，降低了总体维护成本。