一种融合注意力与多层次CNN的电网建筑用地分类方法与流程

本发明涉及人工智能对遥感图像像素级分类，具体为一种融合注意力与多层次cnn的电网建筑用地分类方法。

背景技术：

1、随着社会经济的持续发展，全国用电量逐渐上升。全国各地为了解决电网性缺电问题，更好的服务地方经济，增加电网设备建设。然而，电网规划编制的落后以及规划衔接的不完善，诸多重大电力基础设施的落点建设却面临着重大困难，成为制约电网建设的重要因素。电力基础设施的落点建设往往由电力部门编制专业性的电网规划，地方则按照电力部门编制的专业规划。合理的规划的落点具有重大意义。而如何合理的规划落点需要遥感技术的辅助，利用遥感技术充分考虑地物分类、地形地貌，辅助专业人员对电力建设用地的前瞻性规划控制。

2、遥感影像不同于标准的rgb影像，受限于混合像元、复杂场景以及自身空间分辨率的限制，同物异谱现象严重。另外，不同于建筑地物，农作物、耕地、植被等地物受季节影响，不同地区、不同时间段所表现的特征有较大的差异导致识别困难。这要求遥感影像分析要综合空间、光谱、时间信息进行研究。然而传统遥感分类算法例如svm、最大似然法、神经网络等算法，并没有充分利用遥感图像中的空间、光谱和时间信息或者只利用某一种信息。目前，深度学习技术发展迅速，包括卷积神经网络、全卷积神经网络以及处理时序的transformer网络在图像识别方面具有优势，但是深度学习数据集的制作、网络设计的可解释性以及如何提高实时性满足我们的实际应用，仍然需要进行探索和发现。借助深度学习技术高精度、快速、自动化进行遥感解译，进而辅助电力部门完成电力建设用地规划具有重要意义。

3、为此，我们提出一种融合注意力与多层次cnn的电网建筑用地分类方法。

技术实现思路

1、本发明的目的在于提供一种融合注意力与多层次cnn的电网建筑用地分类方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种融合注意力与多层次cnn的电网建筑用地分类方法，包括以下步骤：

3、步骤一：对fc发送一个多光谱像素序列，利用全连接层的线性变换功能，调整1d-光谱序列的维度，将变换后的1d-光谱序列reshape为3d-光谱特征矩阵；

4、步骤二：提取2d-cnn三个不同层次的特征作为transformer输入的一部分；

5、步骤三：在添加位置编码的同时，将cnn提取的特征与位置编码共同和像素信息结合；

6、步骤四：在相邻transformer encoder之间通过跳跃链接实现特征融合；

7、第五步：最后mlp head获得分类结果，实现像素级分类；

8、第六步：以不同方法对研究区进行分类。

9、优选的，所述步骤六中以不同方法对研究区进行分类，包括以下步骤。

10、s1：户外样本采集

11、根据事先规划的路线，赴户外采集样本，获得样本的经纬度信息。

12、s2：图像预处理

13、在欧空局官网下载研究区sentinel-2遥感影像，对下载的影像进行辐射定标、大气矫正、裁剪等预处理。

14、s3：样本点选择

15、根据户外采样获得的经纬度信息以及先验知识，通过envi软件标记感兴趣区域并导出感兴趣区域在图像中的坐标。其中60％的样本用于训练模型，20％的样本用于验证，20％用于测试。

16、s4：训练网络

17、建立融合transformer和cnn的网络模型，利用生成的样本训练该模型，用训练的模型对测试集进行测试，以及对研究区其他未标记完成预测。

18、优选的，所述电网建筑规划用地分类方法，由cnn和transformer串行组成，包括以下步骤：

19、s1：设计全连接层(fc)与cnn结合的网络框架，全连接层获取的1d像素光谱序列重塑为3d光谱特征矩阵用于cnn的输入，其通过fc提升特征的维度；

20、s2：提取cnn三个层次的特征与经过线性变换的光谱信息结合，增强信息的表达能力，同时作为transformer encoder的输入，利用transformer的全局建模能力，改善cnn的特征；

21、s3：最后对相邻编码器进行跳跃连接，增强不同层次信息之间的融合，通过mlphead获得像素分类结果。

22、优选的，所述fc与cnn结合的网络框架，由fc与cnn组成，输入的光谱信息(1×1×4)经过fc进行线性变换，将线性变换获得的特征(1×1×256)重塑为3d特征(4，4，64)，3d特征用于2d-cnn的输入。2d-cnn的深度为2，第一层卷积层包含64个卷积核，卷积核的大小为1×1，第一层卷积层用于提升输入样本的维度，第二层卷积层包含64个卷积核，卷积核的大小为3×3，第二层卷积后连接一个se模块用于关注更有效的特征信息，通过残差连接将第一层卷积层和第二层卷积层组成残差单元，融合不同层次的特征，残差单元后接入一个2×2的平均池化层，降低信息的冗余，扩大感受野。经过两个残差单元和平均池化后的特征压扁为矢量形式。提取每个残差单元之后的特征，并用全局平均池化操作将提取的特征(n×n×m和n/2×n/2×m)转为序列数据(1×1×64)。

23、优选的，所述transformer模型的输入为原始波段信息，在添加位置编码的时，将cnn提取的特征与位置编码共同和像素信息结合，利用transformer进一步提升特征的表达能力。为了使更有效地信息可以传播到深层，在transformer的相邻编码器之间采用跳跃链接，充分利用相邻层之间的特征，减少信息的丢失。将前一个编码器和后一个编码器的特征在维度上进行拼接，再通过一个1×2的卷积融合两个编码器的特征。

24、与现有技术相比，本发明的有益效果是：

25、(1)本发明所提出的融合transformer和cnn的模型与transformer相比，总体精度、kappa值上升1.22％、0.0144。

26、(2)本发明不仅可以实现对二维卷积神经网络(2d-cnn)的分类，也可实现对遥感图像的像素级分类。

技术特征：

1.一种融合注意力与多层次cnn的电网建筑用地分类方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种融合注意力与多层次cnn的电网建筑用地分类方法，其特征在于：所述步骤六中以不同方法对研究区进行分类，包括以下步骤。

3.根据权利要求1所述的一种融合注意力与多层次cnn的电网建筑用地分类方法，其特征在于：所述电网建筑规划用地分类方法，由cnn和transformer串行组成，包括以下步骤：

4.根据权利要求3所述的一种融合注意力与多层次cnn的电网建筑用地分类方法，其特征在于：所述fc与cnn结合的网络框架，由fc与cnn组成，输入的光谱信息(1×1×4)经过fc进行线性变换，将线性变换获得的特征(1×1×256)重塑为3d特征(4，4，64)，3d特征用于2d-cnn的输入。2d-cnn的深度为2，第一层卷积层包含64个卷积核，卷积核的大小为1×1，第一层卷积层用于提升输入样本的维度，第二层卷积层包含64个卷积核，卷积核的大小为3×3，第二层卷积后连接一个se模块用于关注更有效的特征信息，通过残差连接将第一层卷积层和第二层卷积层组成残差单元，融合不同层次的特征，残差单元后接入一个2×2的平均池化层，降低信息的冗余，扩大感受野。经过两个残差单元和平均池化后的特征压扁为矢量形式。提取每个残差单元之后的特征，并用全局平均池化操作将提取的特征(n×n×m和n/2×n/2×m)转为序列数据(1×1×64)。

5.根据权利要求3所述的一种融合注意力与多层次cnn的电网建筑用地分类方法，其特征在于：所述transformer模型的输入为原始波段信息，在添加位置编码的时，将cnn提取的特征与位置编码共同和像素信息结合，利用transformer进一步提升特征的表达能力。为了使更有效地信息可以传播到深层，在transformer的相邻编码器之间采用跳跃链接，充分利用相邻层之间的特征，减少信息的丢失。将前一个编码器和后一个编码器的特征在维度上进行拼接，再通过一个1×2的卷积融合两个编码器的特征。

技术总结
本发明公开了人工智能对遥感图像像素级分类技术领域的一种融合注意力与多层次CNN的电网建筑用地分类方法，包括以下步骤：步骤一：对FC发送一个多光谱像素序列，利用全连接层的线性变换功能，调整1D‑光谱序列的维度，将变换后的1D‑光谱序列Reshape为3D‑光谱特征矩阵；步骤二：提取2D‑CNN三个不同层次的特征作为Transformer输入的一部分；步骤三：在添加位置编码的同时，将CNN提取的特征与位置编码共同和像素信息结合；步骤四：在相邻Transformer Encoder之间通过跳跃链接实现特征融合；本发明所提出的融合Transformer和CNN的模型与Transformer相比，总体精度、Kappa值上升1.22％、0.0144；本发明不仅可以实现对二维卷积神经网络(2D‑CNN)的分类，也可实现对遥感图像的像素级分类。

技术研发人员：王旭东,艾春,冯震宇,李国通
受保护的技术使用者：缤谷电力科技（上海）有限公司
技术研发日：
技术公布日：2024/1/15