一种基于多尺度注意力的遥感图像屋顶识别方法及系统与流程

本发明涉及遥感图像屋顶识别网络，特别是一种基于多尺度注意力的遥感图像屋顶识别方法及系统。

背景技术：

1、建筑物是高分辨率卫星图像中一个突出的人造特征。检测建筑物屋顶的数量、类型和形状是进行各种其他决策任务的先决程序。例如，评估农村地区的屋顶是评估太阳能发电潜力和太阳能光伏系统规模的一项重要任务。但由于航空和卫星图像的质量、照明条件和分辨率存在差异，该项任务非常具有挑战性。此外，屋顶难以被发现的一个重要原因是，它们具有复杂的形状、大小以及颜色，很容易与尘土和未铺砌的道路等特征混淆。

2、利用遥感技术对建筑物进行自动检测已被广泛认为是一种有效的方法，该类方法能够及时提供大规模的各类建筑物的有效数据。现有的主流方法是通过结合各种图像分割技术来识别真实屋顶类型。机器学习方法在近年来的研究中得到了广泛的应用，例如支持向量机svm、最大似然分类器mlc和随机森林rf等。然而，随着遥感观测技术的发展，这些方法往往难以用于现有的更复杂、更高维的图像数据上。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一。

2、本发明的技术方案是：一种基于多尺度注意力的遥感图像屋顶识别方法，包括以下步骤：

3、步骤(1)：对遥感图像进行数据预处理，获取标准化图像数据；

4、步骤(2)：基于标准化图像数据，构建主干网络提取遥感图像的特征；

5、步骤(3)：基于遥感图像的特征，构建空间注意力单元、高频特征单元以及多尺度交互单元；采用u型结构对图像进行逐层的上采样恢复；

6、步骤(4)：基于步骤(1)-(3)形成遥感图像屋顶识别模型，并利用数据集训练模型；

7、步骤(5)：基于f1分数和交并比两个评价指标对训练后的模型性能进行评估。

8、步骤(1)中：遥感图像包括若干组样本，每组样本包含一幅卫星航拍图像和对应的建筑屋顶标签图；

9、将每组样本的图像和对应的标签图裁剪成512×512像素大小，采用随机水平翻转、随机竖直翻转和随机旋转操作进行数据增强，并对图像进行归一化，将像素值缩放到0到1之间。

10、步骤(2)中：构建resnet34作为主干网络，resnet34整体架构包括连续的五个阶段，第一阶段采用步长为2的7×7卷积和步长为2的3×3最大池化对输入图像进行4倍快速下采样，后四个阶段包括四个残差层，用于逐层提取图像特征。

11、步骤(3)中：获取后四个阶段所提取到的图像特征，分别表示为c2、c3、c4和c5；基于后四个阶段的特征表示，构建空间注意力单元、高频特征单元以及多尺度交互单元。

12、所述空间注意力单元的数学表达式公式(1)所示：

13、y＝x⊙σ(conv3(mp(x)||ap(x)))       (1)

14、其中，x表示输入特征，y表示输出特征，mp和ap分别表示最大池化操作和平均池化操作，||表示concat操作，conv3表示3×3卷积，σ表示sigmoid激活函数，⊙表示矩阵哈达玛积。

15、所述高频特征单元的数学表达式如公式(2)-(4)所示：

16、xe＝conv3(x)              (2)

17、xd＝xe-up(mhsa(ap(xe)))         (3)

18、y＝conv3(xe||xd)         (4)

19、其中，x表示输入特征，y表示输出特征，xe和xd分别表示浅层特征表示和高频特征表示，conv3表示3×3卷积，ap表示平均池化操作，mhsa表示多头自注意力机制，up表示上采样操作，||表示concat操作。

20、所述多尺度交互单元的数学表达式如公式(5)-(6)所示：

21、xt＝cp(conv1(xc3)，conv1(xc4)，conv1(xc5)) (5)

22、yc3，yc4，yc5＝dcp(mhsa(xt))            (6)

23、其中，xt表示耦合特征，xc3，xc4，xc5分别表示多尺度交互单元的输入特征，来源于主干网络resnet34后三个阶段的输出特征，conv1表示1×1卷积，yc3，yc4，yc5分别表示三种输出特征，cp和dcp分别表示序列耦合和序列解耦操作，mhsa表示多头自注意力机制。

24、所述mhsa利用自注意力机制通过计算任意成对像素之间的关系，捕获图像全局空间特征关系，其数学表达式如公式(7)-(8)所示：

25、

26、mhsam(q，k，v)＝w(sa1||sa2||...||sam)    (8)

27、其中，mhsam表示具有m个注意力头的多头自注意力，sak表示第k个自注意力头，q，k，v分别表示查询、键和值，d表示特征维度，ξ表示softmax激活函数，w表示线性层，||表示concat操作。

28、步骤(4)中，训练过程采用adam优化器进行梯度更新，权重衰减系数为0.0001，学习率为0.001，交叉熵损失作为损失函数。

29、步骤(5)中，f1分数和交并比的数学表达式如公式(10)-(11)所示：

30、

31、

32、其中，f1表示f1分数，iou表示交并比，precision和recall分别表示精确率和召回率，tp，fp，fn分别表示真阳，假阳和假阴。

33、一种基于多尺度注意力的遥感图像屋顶识别系统，包括：

34、预处理模块，用于对遥感图像进行数据预处理，获取标准化图像数据；

35、提取模块，用于基于标准化图像数据，构建主干网络提取遥感图像的特征；

36、构建模块，用于基于遥感图像的特征，构建空间注意力单元、高频特征单元以及多尺度交互单元；采用u型结构对图像进行逐层的上采样恢复；

37、训练模块，用于基于预处理模块、提取模块和构建模块形成遥感图像屋顶识别模型，并利用数据集训练模型；

38、评估模块，用于基于f1分数和交并比两个评价指标对训练后的模型性能进行评估。

39、本发明在工作中,首先，对遥感图像进行预处理；其次,利用resnet34对遥感图像进行特征提取；然后采用u型结构进行图像恢复，从而实现构建遥感图像屋顶识别模型。通过引入空间注意力单元，在抑制重要性相对较低的特征的同时，使得模型更加关注更具判别性的特征；通过高频特征单元，保留原图中的细节特征；通过多尺度交互单元，充分地捕获不同尺度的特征间的互补关系，使得模型能够有效识别出各种尺度的建筑屋顶。本发明提高了屋顶检测的准确率。

技术特征：

1.一种基于多尺度注意力的遥感图像屋顶识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于多尺度注意力的遥感图像屋顶识别方法，其特征在于，

3.根据权利要求1所述的一种基于多尺度注意力的遥感图像屋顶识别方法，其特征在于，

4.根据权利要求3所述的一种基于多尺度注意力的遥感图像屋顶识别方法，其特征在于，

5.根据权利要求4所述的一种基于多尺度注意力的遥感图像屋顶识别方法，其特征在于，

6.根据权利要求4所述的一种基于多尺度注意力的遥感图像屋顶识别方法，其特征在于，

7.根据权利要求4所述的一种基于多尺度注意力的遥感图像屋顶识别方法，其特征在于，

8.根据权利要求6或7所述的一种基于多尺度注意力的遥感图像屋顶识别方法，其特征在于，

9.根据权利要求1所述的一种基于多尺度注意力的遥感图像屋顶识别方法，其特征在于，

10.根据权利要求1所述的一种基于多尺度注意力的遥感图像屋顶识别方法，其特征在于，

11.一种基于多尺度注意力的遥感图像屋顶识别系统，其特征在于，包括：

技术总结
本发明公开了一种基于多尺度注意力的遥感图像屋顶识别方法及系统，包括以下步骤：步骤(1)：对遥感图像进行数据预处理，获取标准化图像数据；步骤(2)：基于标准化图像数据，构建主干网络提取遥感图像的特征；步骤(3)：基于遥感图像的特征，构建空间注意力单元、高频特征单元以及多尺度交互单元；采用U型结构对图像进行逐层的上采样恢复；步骤(4)：基于步骤(1)‑(3)形成遥感图像屋顶识别模型，并利用数据集训练模型；步骤(5)：基于F1分数和交并比两个评价指标对训练后的模型性能进行评估。本发明通过构建遥感图像屋顶识别模型,提高屋顶检测的准确率。

技术研发人员：陈猛,吴云,沈玉兰,周竞,殷毓灿,孔赟,褚鸿飞,杜杰,洪艳,马艺超
受保护的技术使用者：国网江苏省电力有限公司扬州供电分公司
技术研发日：
技术公布日：2024/2/29