面向无人机公路边坡裂缝的轻量化分割方法、系统及介质

本发明属于图像处理，尤其涉及面向无人机公路边坡裂缝的轻量化分割方法、系统及介质。

背景技术：

1、在公路的路基两侧，为保证路基稳定，会做成一个在路基横断面两侧与地面连接的斜面，也叫公路边坡或者路基边坡，按照边坡的高度分为超高边坡、高边坡、中高边坡和低边坡，在自然因素和认为因素的影响下，高边坡、超高边坡容易发生破面冲刷、滑坡、泥石流、坍塌等地质灾害，这些地质灾害出现以前通常会产生裂缝，因此，针对这类高边坡的设计，通常采用折线形和阶梯形来改善。

2、此外，除了上述的对边坡的形状进行改善，还需要定期的对边坡的巡检，目前巡检采用传统的人工巡检，这种巡检方式导致检测难以实现实时报警，同时巡检人员的安全得不到保障，另一种方式则是通过无人机搭载监控设备，对公路两侧的边坡进行图像拍摄再通过分割算法进行检测，这种方式虽然效率较高，但是在进行检测时，目前的分割算法多存在网络参数量大，使得小目标信息难以精准识别。

技术实现思路

1、本发明所解决的技术问题在于提供一种面向无人机公路边坡裂缝的轻量化分割方法、系统及介质，以解决现有技术中所使用的对公路边坡裂缝识别的准确性低的问题。

2、本发明提供的基础方案：面向无人机公路边坡裂缝的轻量化分割方法，包括：

3、s1：通过无人机采集公路边坡实时视频数据；

4、s2：对所采集的实时视频数据进行预处理，生成预处理后的实时视频数据；

5、s3：构建多尺度可变形卷积裂缝语义分割模型，获取经预处理后的边坡的实时视频样本数据，输入至多尺度可变形卷积裂缝语义分割模型中进行训练；

6、s4：将预处理后的实时视频数据传输至训练完成的多尺度可变形卷积裂缝语义分割模型中，输出分割结果，并根据分割结果识别边坡存在的裂缝信息。

7、进一步，所述s2中对实时视频数据进行预处理具体为：

8、对采集的实时视频数据进行稀疏抽帧处理，所述经过稀疏抽帧处理后的实时视频的帧数调整为15帧，图像输入分辨率调整为224*224。

9、进一步，所述s3包括：

10、s3-1：构建多尺度可变卷积裂缝语义分割模型；

11、s3-2：获取经过稀疏抽帧处理后的实时视频样本数据，划分为训练集和测试集，设置多尺度可变卷积裂缝语义分割模型的训练参数，将训练集输入至多尺度可变卷积裂缝语义分割模型中按照线性预测策略进行训练；

12、s3-3：调用测试集输入至训练完成的多尺度可变卷积裂缝语义分割模型中进行测试，若测试满足要求，则测试通过，反之则重新设置训练参数，对多尺度可变卷积裂缝语义分割模型进行再训练。

13、进一步，所述s3-1中，构建的多尺度可变卷积裂缝语义分割模型包括卷积特征提取模块、依次连接的阶段一网络、阶段二网络、阶段三网络和阶段四网络，还包括上采样模块和cbam模块；

14、所述卷积特征提取模块连接阶段一网络，所述阶段一网络还连接cbam模块，所述阶段二网络、阶段三网络和阶段四网络均连接上采样模块，所述上采样模块输出的特征与cbam模块输出的特征进行融合处理，输出分割结果。

15、进一步，所述卷积特征提取模块包括三个卷积、三个ln层和一个gelu激活函数，所述三个卷积的核大小为3，步长为2，填充为1；

16、所述ln层表达式为：

17、

18、

19、

20、

21、其中，h是一层中隐层节点的数量，l是mlp的层数，μ和σ为归一化统计量，g为增益，b为偏置，f为激活函数，∈是一个防止除数为零的常数；

22、gelu激活函数的表达式为：

23、

24、其中，x为输入的张量，φ(x)是x的高斯正态分布累计函数，μ和σ是均值和标准差。

25、进一步，所述阶段一网络、阶段二网络、阶段三网络和阶段四网络均包括依次连接的dcnv3模块、ln层、ffn模块、ln层、卷积块和ln层，并依次通过dcnv3模块、ln层进行特征融合，再通过ffn模块、ln层对融合之后的特征进一步融合，最后通过卷积块和ln层输出特征。

26、进一步，所述s4包括：

27、s4-1：将预处理完成的实时视频数据输入至训练完成的多尺度可变卷积裂缝语义分割模型中，得到输出的特征图；

28、s4-2：计算特征图的期望值，从小到大对期望值进行排序，按照预设的剪枝比例对从小到大的顺序裁剪与特征图对应的卷积核，输出公路边坡分割图像；

29、s4-3：根据公路边坡分割图像中每一条裂缝的标记范围计算每一条裂缝的面积，以及根据标记的坐标信息计算每一条裂缝的长度和宽度，生成公路边坡裂缝信息。

30、面向无人机公路边坡裂缝的轻量化分割系统，应用于上述的面向无人机公路边坡裂缝的轻量化分割方法，包括：

31、采集模块，用于采集公路边坡实时视频数据；

32、预处理模块，用于对所采集的实时视频数据进行预处理，生成预处理后的实时视频数据；

33、模型构建训练模块，用于构建多尺度可变形卷积裂缝语义分割模型，并获取经预处理后的边坡的实时视频样本数据，输入至多尺度可变形卷积裂缝语义分割模型中进行训练；

34、识别模块，用于将预处理后的实时视频数据传输至训练完成的多尺度可变形卷积裂缝语义分割模型中，输出分割结果，并根据分割结果识别边坡存在的裂缝信息。

35、一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如上所述的面向无人机公路边坡裂缝的轻量化分割方法。

36、本发明的原理及优点在于：本申请的技术方案，首先通过无人机采集公路边坡的实时视频数据，以此来解决人工采集带来的效率低和不安全性，接着对采集的实时视频数据进行预处理，使得满足模型输入的要求，然后构建多尺度可变形卷积裂缝语义分割模型，该模型由卷积特征提取模块、四个阶段网络、上采样模块和cabm模块组成，其中，卷积特征提取模块的结构能够使得模型更加图像的全局信息和语义结果，捕捉图像中的语义内容，四个阶段网络处理后的图像的特征分别经过cabm模块和上采样模块处理后，有助于提升图像特征的表达能力和判别性，从而提高模型性能。

37、因此，综上来说，本申请的方案中所构建的多尺度可变形卷积裂缝语义分割模型，能够有效的解决现有分割算法中存在的准确性低的问题。

技术特征：

1.面向无人机公路边坡裂缝的轻量化分割方法，其特征在于：包括：

2.根据权利要求1所述的面向无人机公路边坡裂缝的轻量化分割方法，其特征在于：所述s2中对实时视频数据进行预处理具体为：

3.根据权利要求2所述的面向无人机公路边坡裂缝的轻量化分割方法，其特征在于：所述s3包括：

4.根据权利要求3所述的面向无人机公路边坡裂缝的轻量化分割方法，其特征在于：所述s3-1中，构建的多尺度可变卷积裂缝语义分割模型包括卷积特征提取模块、依次连接的阶段一网络、阶段二网络、阶段三网络和阶段四网络，还包括上采样模块和cbam模块；

5.根据权利要求4所述的面向无人机公路边坡裂缝的轻量化分割方法，其特征在于：所述卷积特征提取模块包括三个卷积、三个ln层和一个gelu激活函数，所述三个卷积的核大小为3，步长为2，填充为1；

6.根据权利要求5所述的面向无人机公路边坡裂缝的轻量化分割方法，其特征在于：所述阶段一网络、阶段二网络、阶段三网络和阶段四网络均包括依次连接的dcnv3模块、ln层、ffn模块、ln层、卷积块和ln层，并依次通过dcnv3模块、ln层进行特征融合，再通过ffn模块、ln层对融合之后的特征进一步融合，最后通过卷积块和ln层输出特征。

7.根据权利要求6所述的面向无人机公路边坡裂缝的轻量化分割方法，其特征在于：所述s4包括：

8.面向无人机公路边坡裂缝的轻量化分割系统，应用于上述权利要求1-7任一项所述的面向无人机公路边坡裂缝的轻量化分割方法，其特征在于：包括：

9.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如上权利要求1-7任一项所述的面向无人机公路边坡裂缝的轻量化分割方法。

技术总结
本发明属于图像处理技术领域，尤其涉及面向无人机公路边坡裂缝的轻量化分割方法、系统及介质，首先通过无人机采集公路边坡实时视频数据；然后对所采集的实时视频数据进行预处理，生成预处理后的实时视频数据；接着构建多尺度可变形卷积裂缝语义分割模型，获取经预处理后的边坡的实时视频样本数据，输入至多尺度可变形卷积裂缝语义分割模型中进行训练；最后将预处理后的实时视频数据传输至训练完成的多尺度可变形卷积裂缝语义分割模型中，输出分割结果，并根据分割结果识别边坡存在的裂缝信息。本发明能够解决现有技术中所使用的对公路边坡裂缝识别的准确性低的问题。

技术研发人员：易军,谭继超,黄河,阎宗岭,王成源,徐峰,张小松,周伟,谭玲,毛友平
受保护的技术使用者：重庆科技大学
技术研发日：
技术公布日：2024/8/20