一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法、系统、设备及介质

本发明涉及自动识别滑坡，具体涉及一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法、系统、设备及介质。

背景技术：

1、我国是地质灾害易发国家，其中滑坡是最为常见的地质灾害之一，滑坡灾害对当地人民的生命财产、重要基础设施等构成严重威胁，因此，对滑坡进行识别具有重要意义，目前在滑坡上比较成熟的技术是insar技术进行滑坡的早期识别，但由于其传感器成本高、多幅影像不易获取、观测周期长、技术要求高等原因，限制了其在滑坡识别领域的大规模应用。

2、目前应用在滑坡检测上的图像分类方法大多是基于目前比较成熟的常用网络的改进，比如dawenyu等人提出基于注意力机制的方法对卫星遥感影像进行滑坡检测(ji s,yu d,shen c,et al.landslidedetection from an open satellite imagery anddigital elevation modeldataset using attention boosted convolutional neuralnetworks[j].landslides,2020,17(6):1337-1352)，在vgg-net、resnet等这些图像分类网络上添加提出的scam注意力机制方法提高网络性能；sameen等人提出使用resnet进行滑坡检测(sameen m i,pradhan b.landslidedetection using residual networks and thefusion of spectral andtopographic information[j].ieeeaccess,2019,pp(99):114363-114373)，其将光谱与地形信息进行融合，通过增加特征的方法提高检测结果；但以上都是基于网络深度和复杂度都比较高的模型进行改进，以此来提升网络对滑坡识别的性能。

3、目前，自动识别滑坡方法还存在着以下几点：

4、1、通过人工目视解译进行滑坡早期识别：该方法需要依据遥感影像色彩、纹理等几何特征，与专家知识、非遥感数据相结合，识别准确度较高，但存在对专家知识依赖性强、人工成本高、效率低等问题。

5、2、利用insar技术进行滑坡的早期识别：由于其传感器成本高、多幅影像不易获取、观测周期长、技术要求高等原因，限制了其在滑坡监测领域的大规模应用。

6、3、利用深度学习对滑坡进行识别的技术：目前主流技术都还是在网络深度和复杂度都比较高的模型上进行改进，以此来提高对滑坡的识别效果，虽然网络模型性能是提高了，但是这些网络往往计算量巨大，依赖这些基础网络的检测算法很难达到实时运行的要求。

7、2021年4月发表的efficientnetv2(tanm,le q.efficientnetv2:smallermodelsand fastertraining[c]//international conference onmachine learning.pmlr,2021:10096-10106)，是一个轻量化的网络模型，该文提出了改进的渐进学习方法，该方法会根据训练图像的尺寸动态调节正则方法；除此之外，验证了在浅层网络使用深度可分离卷积速度会很慢，因此提出了一个新的网络模块fused-mbconv应用于浅层网络，以此来提升网络的训练速度，并提升网络的准确率。但因其网络架构是通过神经结构搜索得到的网络架构，并不完全适用于滑坡识别。

技术实现思路

1、为了克服上述现有技术的不足，本发明的目的在于提供一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法、系统、设备及介质，利用fused-mbconv模块、mbconv模块设计出网络模型的主体框架，以此作为轻量化卷积神经网络的主体部分，在网络模型的主体框架中使用pdc模块来增加网络模型空间感知的全局性，在pdc模块中主要使用了双注意力机制模块，从空间维度和通道维度分别进行自注意力机制，实现全局建模，本发明的our network framework网络模型是将卷积神经网络的优势和自注意力机制的优势结合起来，创建出一个轻量化的网络模型。

2、为了实现上述目的，本发明采取的技术方案是：

3、一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法，包括以下步骤：

4、步骤1：对遥感影像进行预处理，获取滑坡遥感影像数据集；

5、步骤2：搭建ournetwork framework网络模型；

6、步骤3：对ournetwork framework网络模型进行迭代训练，最终保存训练效果最好轮次的权重；

7、步骤4：对步骤3训练好的网络模型进行预测，分别使用准确率accuracy、平衡f分数f1、召回率recall、精确率precision作为评判网络性能的评价指标，评价网络的好坏；

8、步骤5：使用深度学习框架随机生成一个张量，将其送入到步骤2得到的ournetwork framework网络模型中，计算flops、参数量、以及模型推理时间，所述flops代表用来衡量模型的复杂度。

9、所述步骤1的具体方法为:

10、步骤1.1：获取滑坡遥感影像数据集的正样本：将遥感影像按照滑坡规模进行裁剪，并向外扩充像素点作为背景，获得正样本；

11、步骤1.2：获取滑坡遥感影像数据集的负样本：将遥感影像以128或256或512尺寸的大小进行裁剪，删除所有包含正样本的数据，并挑选特殊场景作为负样本；

12、步骤1.3：将步骤1.1获取的正样本与步骤1.2获取的负样本按一定比例划分为训练集和测试集；

13、步骤1.4：将步骤1.3中得到的训练集按一定比例分别划分为新的训练集和验证集；

14、步骤1.5：对步骤1.4得到的新的训练集进行数据增强；

15、步骤1.6：将步骤1.3的测试集、步骤1.4中的验证集以及步骤1.5数据增强后的训练集的数据均调整为统一大小224*224或者300*300。

16、所述步骤2的具体方法为:

17、步骤2.1：利用深度学习框架分别构建fused-mbconv模块、mbconv模块以及pdc模块；

18、步骤2.2：对步骤2.1构建的fused-mbconv模块、mbconv模块以及pdc模块进行融合。

19、所述步骤2.1的具体方法为：所述fused-mbconv模块包括一个3*3升维卷积以及一个1*1降维卷积，将fused-mbconv模块的特征输入与特征输出进行跳跃连接；mbconv模块包括一个1*1升维卷积、一个3*3深度可分离卷积、一个se注意力机制以及一个1*1降维卷积，将mbconv模块的特征输入与特征输出进行跳跃连接；pdc模块由1*1卷积、patchemded模块、双注意力机制、特征转换操作以及1*1卷积组成，并将输入特征图与最终输出特征图进行shortcut链接，使用patchembed模块调整特征图通道的大小，并将特征图展平为适合dualattention block的特征向量；

20、所述步骤2.2的具体方法为：首先构建一个1*1的标准卷积层，将其输出特征图送入步长为1的fused-mbconv模块中，该次使用不进行升维，fused-mbconv模块循环两次，将其输出特征送入步长为2的fused-mbconv模块中，进行是输入特征通道数4倍的升维，循环4次，将其输出特征送入步长为2的fused-mbconv模块，进行是输入特征通道数4倍的升维，将其输出特征送入步长为2的mbconv模块，进行是输入特征通道数4倍的升维，循环2次，将其输出特征送入步长为1的pdc模块，循环2次，将其输出特征送入步长为2的mbconv模块，进行是输入特征通道数4倍的升维，循环3次，将其输出特征送入步长为1的pdc模块，循环3次，最终送入一个1*1卷积中，进行池化操作以及进行全连接操作，得到一个二分类的结果，完成网络模型构建。

21、所述步骤3的具体方法为：将步骤1.6中得到的训练集送入到步骤2搭建的ournetwork framework网络模型中，对our networkframework网络模型进行迭代训练，设置包括迭代轮次、批量大小以及学习率参数，进行网络训练并记录训练时间，接着将步骤1.6的验证集送入步骤2所搭建的our network framework网络模型中，验证模型效果，最后保存训练效果最好轮次的权重。

22、所述步骤4的具体方法为：将步骤1.6的测试集送入步骤3训练好的网络模型中进行预测，评价网络的好坏，分别使用准确率accuracy、平衡f分数f1、召回率recall、精确率precision作为评判网络性能的评价指标，准确率accuracy为分类正确的样本占样本总数的比例；召回率recall代表实际的正样本中预测为正样本的概率；精确率precision代表所有预测为正样本中实际为正样本的概率；precision和recall是一对矛盾的度量，precision高时，recall偏低；而recall高时，precision偏低；在需要兼顾precision和recall时，使用平衡f分数f1作为precision和recall的加权调和平均，以下为各个评价指标的计算公式：

23、

24、其中tp表示正样本预测正确的个数，fp负样本预测错误的个数，tn负样本预测正确的个数，fn正样本预测错误的个数；

25、

26、

27、

28、其中，p指precision，r指recall，f1指平衡f分数；

29、步骤5中所述张量的维度尺寸大小为步骤1中统一调整数据集尺寸大小之后影像的维度和大小。

30、所述步骤1.2中特殊场景包括：道路、耕地、湖泊、植被、云层遮挡、工厂、山脊、积雪覆盖的场景；所述步骤1.3中的训练集以及测试集按照6：4或8：2的比例划分；所述步骤1.4中所述的新的训练集以及验证集的比例范围为：7：3—9：1；所述步骤1.5中的数据增强包括：随机裁剪、随机旋转、叠加噪声。

31、本发明还提供了一种基于轻量化卷积神经网络和双注意力的自动识别滑坡系统，包括：

32、移动翻转瓶颈卷积模块：该模块由1*1升维卷积、3*3深度可分离卷积、se注意力机制以及1*1降维卷积组成，将mbconv模块的特征输入与特征输出进行跳跃连接，在该模块中使用倒残差结构，同时使用深度可分离卷积减少卷积计算所需要的参数个数，以达到网络模型轻量化的目的；

33、融合移动翻转瓶颈卷积模块：该模块由3*3升维卷积和1*1降维卷积组成，并将fused-mbconv模块的特征输入与特征输出进行跳跃连接，在浅层网络中应用，用于提高网络的训练速度；

34、双注意力机制模块：该模块由空间维度的窗口多头自注意力机制和通道组的自注意力机制组成，从正交的角度处理问题，分别从空间维度和通道维度进行自注意力机制，用于提高自动识别滑坡网络模型的精度；

35、空间窗口多头自注意力机制模块：双注意力机制模块中空间维度部分，利用空间维度信息完善局部特征；

36、通道组自注意力机制模块：双注意力机制模块中通道维度部分，利用通道维度信息捕捉全局的联系和特征；

37、pdc模块：该模块由1*1卷积、patchemded模块、双注意力机制、特征转换操作以及1*1卷积组成，并将输入特征图与最终输出特征图进行跳跃链接，对输入特征图进行调整，以适应双注意力机制模块的输入，并对双注意力机制模块的输出特征进行调整，以适应卷积神经网络层的输入。

38、本发明还提供了一种基于轻量化卷积神经网络和双注意力的自动识别滑坡设备，包括：

39、存储器：用于存储计算机程序；

40、处理器，用于执行所述计算机程序时实现所述的一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法。

41、本发明还提供了一种计算机可读存储介质，包括：

42、所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法。

43、相较于现有技术，本发明的有益效果为：

44、1、现有的使用深度学习进行滑坡识别的技术，更多的是依赖比较经典的网络比较深复杂度比较高的模型，以此来提高对滑坡识别的准确率，而本发明中构建的our networkframework网络模型，该网络模型由fused-mbconv模块、mbconv模块和pdc模块组成，利用fused-mbconv模块、mbconv模块设计出更加适用于滑坡识别的轻量化卷积神经网络，同时结合pdc模块中的双注意力机制以增加网络模型空间感知的全局性，以此来提高滑坡识别网络模型的性能；本发明使用轻量化模型对滑坡进行识别，并同时引入双注意力机制来提高滑坡识别的准确率，因此，在降低模型复杂度的同时，整体滑坡识别的准确率还得以提升。与efficientnetv2相比，本发明在滑坡自动识别上的f1、准确率、精确率、召回率上均有所提升，同时模型复杂度、参数量、推理时间、训练时间均有所降低。本发明在efficientnetv2的基础上，提升了网络的训练速度和提升了网络的准确率，使其更加适用于滑坡识别任务中。

45、2、目前在滑坡上比较成熟的技术是insar技术进行滑坡的早期识别，但由于其传感器成本高、多幅影像不易获取、观测周期长、技术要求高等原因，限制了其在滑坡识别领域的大规模应用；而本发明提出的自动识别滑坡的技术相比较insar技术来说，图像更容易获取、不需要高成本的传感器要求等，因此，可以先使用本发明进行滑坡识别的一个初筛选，提高滑坡识别的效率。

46、3、相比较人工目视解译的方法，本发明无需强烈依赖专家知识，因为主要是使用计算机技术，人工成本低，效率也比人工目视解译高。

47、4、相比较insar技术，本发明中光学遥感影像成本低，数据更易获取。