基于无人机的高楼外墙病害识别系统的运行方法

本发明属于图像检测，涉及了一种基于无人机的高楼外墙病害识别系统的运行方法。

背景技术：

1、高楼是人们生活的重要基础设施；高楼的出现不仅改变了人们生活的局面，还带来了一系列挑战和问题；在长期使用和自然灾害等原因下，高楼表面可能会出现各种病害，如裂缝、裂纹等病害；这些病害，如果没有及时修复、维护和管理，就会严重影响高楼的安全和稳定性，甚至可能引发灾害事故。

2、目前，针对高楼表面的病害识别和检测主要依靠人工巡视和目视检测；然而，人工巡视会面临人力、物力、时间等方面的限制，而目视检测的准确性和可靠性也存在着一定的局限性，这些都妨碍了对高楼表面病害的发现和处理；因此，开发一种高效、准确、可靠、智能化的高楼表面病害识别方法，对于保障高楼的安全稳定，减少安全事故发生，提供有力保障。

技术实现思路

1、针对上述问题，本发明目的是提出了一种基于无人机的高楼外墙病害识别系统的运行方法，旨在提高高楼病害现象的识别精度。

2、本发明的技术方案是：本发明所述的基于无人机的高楼外墙病害识别系统的运行方法，通过无人机搭载rgb-d相机完成航迹规划，再通过搭载的rgb-d相机完成对高楼外墙病害现象识别分类，其运行步骤如下：

3、步骤(1)：无人机通过搭载的激光雷达与rgb-d相机，对高楼环境进行扫描建模，并获取点云数据和设置目标点；

4、步骤(2)：在无人机路径规划的过程中，采用改进的角蜥算法(hloa)进行路径规划，其中使用路径平滑方法和约束函数对无人机航迹进行约束，以获取最短、最安全的无人机飞行航迹；

5、步骤(3)：无人机在按照规划路径飞行时，每当无人机到达一个目标点，使用机载rgb-d相机对高楼外墙病害进行拍摄，采用新颖mume算法对高楼外墙病害现象进行识别分类。

6、进一步的，在步骤(1)中，所述激光雷达和rgb-d相机采集高楼环境信息的具体方法为：

7、根据激光雷达与rgb-d相机定义采集设置的m个目标点集合：t＝t1,t2,...,tm和无人机的初始位置：s＝(x0,y0,z0)；

8、根据激光雷达定义无人机的路径规划序列：p＝p1,p2,...,pm+1，式中，pi表示无人机在第i步时所在的位置。

9、进一步地，在步骤(2)中，所述采用改进的角蜥算法(hloa)进行路径规划，其具体方法为：

10、首先生成初始种群(搜索代理)定义为是第t代(时刻)中第i个角蜥；引入混沌映射的logistic映射，应用其随机性和遍历性提升搜索能力，同时计算每只角蜥的适应度；

11、logistic映射的数学表达式表示为：

12、zi(t)＝μzi(t-1)(1-zi(t-1))

13、式中，t为迭代时间，x(t)∈[0,1]，μ是可调整的参数，μ∈[0,4]；z(t)为在t时刻种群占最大可能种群规模的比例(即现有种群数与最大可能种群数的比率)，本方法中，μ取4；

14、加入logistic映射的角蜥个体由以下公式更新：

15、

16、使初始种群均匀分布在空间中，而且使获得的初始种群更靠近最优解；

17、在角蜥检测到危险时，会根据情况选择不同的策略，首先创立“隐蔽策略”；定义是在第t+1代空间中第i个搜索代理，是第t代适应度最佳的搜索代理，计算公式为：

18、

19、式中，r1、r2、r3和r4是在1和搜索代理的最大数目之间产生的整数随机数，并满足r1≠r2≠r3≠r4；max_iter代表最大迭代次数(代)；σ是二进制数通过判断来自颜色表的随机数是否小于等于0.5，满足则为1，不满足则为0；设定为2，c1和c2是模拟色度且c1≠c2；

20、改进的hloa抛弃对路径规划效益低的“攻击策略”，而是选择创立“移动逃跑策略”为完善无人机对障碍物的处理提高安全性，公式为：

21、

22、式中，walk是-1和1之间生成的随机数；ε是标准柯西分布生成的随机数，其中σ设置为0和1；

23、通过“皮肤变亮与变暗策略”替换最差的搜索代理，公式为：

24、

25、式中，是第t代适应度最差的搜索代理；light1和light2是0和0.4046661之间生成的随机数；dark1和dark2是0.5440510和1之间生成的随机数；

26、为避免算法陷入过早收敛的问题和跳出局部最优，引入随机差分变异策略，利用当前最佳个体的位置与随机选择的个体位置进行随机差分处理，以产生新的位置；具体公式如下：

27、

28、式中，r5表示在范围[0,1]之间的随机数；表示在t+1代中最新的个体；表示第t代中的随机个体；

29、对规划的路径进行平滑处理，使用b-spline算法处理路径中冗余的转换和边角，b样条曲线为：

30、

31、式中，pi是特征多边形的顶点，是由path(p0,p1,...)用来构建样条的点式，bi,k为k阶(k-1)次基函数，带入path后得到：

32、

33、bi,1(u)＝1,ui＜u＜ui+1；bi,k(u)＝0,otherwise.

34、设置无人机约束函数，引入无人机航偏角和俯仰角的性能约束，滤除部分后继节点，减少计算复杂度，提高路径规划的提合度和实时性；

35、设无人机当前所在节点为xi，无人机选取的下一节点为xi+1，上一父节点为xi-1，其航偏角φ(xi,xi+1)与俯仰角的算式如下：

36、

37、式中，(xi,yi,zi)为节点xi的三维坐标；(xi+1,yi+1,zi+1)为下一节点xi+1的三维坐标；(xi-1,yi-1,zi-1)为上一父节点xi-1的三维坐标；

38、

39、无人机在进行节点选择时的限制集合表示为：

40、

41、式中，n为点xi的所有后继节点集合，φmax与表示受无人机性能影响的最大航向角与俯仰角。

42、进一步地，在步骤(3)中，所述采用新颖mume算法对高楼外墙病害现象进行识别分类的具体方法为：

43、无人机按照改进hloa输出的最佳路径飞行，每当无人机到达一个目标点，使用机载rgb-d相机对高楼外墙进行拍摄；根据所采集图像建立高楼外墙病害图像数据集，高楼外墙病害主要包括横向裂缝与纵向裂缝；

44、使用联合mume算法对高楼外墙病害现象进行识别分类，联合mume算法的识别过程为msrcr算法对所采集高楼外墙病害图像进行图像增强，通过改进的u-net模型获得准确的裂缝分割图并进行二值化，然后采用形态学滤波对裂缝二值化后的图像进行去噪和平滑的处理，最后构建efficientnetv2-attnconv网络的数学模型对高楼病害裂缝、裂纹进行分类识别。

45、msrcr算法进行图片增强，多尺度色彩增强msrcr算法对图像进行多尺度分解，对每个尺度的图像进行retinex算法增强，得到反射率和亮度分量，然后进行颜色校正和加权合成，整个算法计算复杂度较低，速度相对更快；msrcr算法在retinex算法增强时，对不同尺度的图像使用不同的参数，可以得到更好的增强效果，而且在增强过程中能够保持图像的色彩不变，不会因增强而产生过度饱和或偏色的问题；msrcr的公式表示如下：

46、

47、ci(x,y)＝β(log(αii(x,y))-log(∑i∈{r,g,b}ii(x,y)))

48、式中，β是表示增益值，α的大小与非线性的强度相关；

49、利用改进的u-net模型获得准确的裂缝分割图并进行二值化；将多尺度特征预测融合神经网络用于改进u-net网络，改进后的u-net网络保留原有的卷积核池化部分，将此融合预测作用于u-net网络中间层的特征；这种方式可以提高网络的感受野，获得不同情况下的上下文信息，并增强网络对目标特征的理解和判断能力；该多尺度特征预测融合的输出公式表示为：

50、z(x)＝conv([z0,z1,z2,z3,z4])

51、式中，z(x)表示为经过特征预测融合的输出，z0,z1,z2,z3,z4表示为不同尺度的上采样输出特征图。

52、损失函数设计对网络模型的性能影响很大，以往大多数图像分割任务使用交叉熵作为目标损失函数；交叉熵损失函数用于像素级别的分类，对于裂缝图像来说，目标裂缝占比小，会导致类别不平衡的问题，因此引入dice损失函数；考虑交叉熵损失函数与dice损失函数的优缺点，对两种损失函数加权求和，得到新的损失函数；新的损失函数公式为：

53、

54、l＝αlce+(1-α)ldice

55、式中，n为像素数，yi表示第i个像素点的标签，表示第i个像素点的预测结果；ε为超参数，防止分母为0；α∈[0,1]为权重系数；

56、最后，将获得的裂缝分割图进行二值化。

57、采用形态学滤波对裂缝二值化后的图像进行去噪和平滑的处理；形态学滤波(morphological filtering)是一种非线性滤波技术，其核心思想是通过构造特定的结构元素对原始信号做从前至后的平移匹配或局部修正，抑制噪声的同时保留信号的形态学特征；其通过腐蚀膨胀等操作可以有效地消除一些孤立的小点或较小的连通区域，同时还能消除毛刺和凹凸不平的部分，达到平滑图像边缘的目的；

58、本发明选择形态学处理中的开闭操作对二值化图像的滤波处理；开闭运算主要建立在腐蚀与膨胀算子的组合，公式为：

59、

60、式中，a表示待处理对象；b为结构元素；为膨胀符号；θ为腐蚀符号；

61、将高楼病害裂缝图片分为测试集和训练集输入efficientnetv2-a模型中，训练efficientnetv2-a网络的数学模型对高楼病害裂缝、裂纹进行分类识别。

62、本发明的有益效果是：1、本发明考虑到实际环境中，无人机需要不断适应高楼环境；所以在无人机路径规划过程中，最佳路径会显得比较复杂；考虑到现实环境，本发明采用融合路径平滑和约束函数对无人机航迹进行约束的改进角蜥算法，以提高无人机飞行的安全性与合理性；2、本发明提出采用新颖mume算法对高楼外墙病害信息进行识别分类；新颖mume算法的过程为：msrcr算法对所采集高楼外墙病害图像进行图像增强，通过改进的u-net模型获得准确的裂缝分割图并进行二值化，然后采用形态学滤波对裂缝二值化后的图像进行去噪和平滑的处理，最后构建efficientnetv2-attnconv网络的数学模型对高楼病害裂纹、裂缝进行分类识别。