遥感影像城市绿地信息提取方法、装置及介质

本发明属于遥感影像处理，更具体地，涉及一种遥感影像城市绿地信息提取方法、装置及介质。

背景技术：

1、城市绿地，即城市内完好的植被覆盖地与遭到破坏之后恢复的植被覆盖地。随着城市化进程的不断推进与经济的持续转型，农村人口向城市迁移的人数逐渐增加，高度集中的城市地区人口与愈加频繁的社会经济活动、使生态环境压力剧增。城市绿地作为城市环境中不可或缺的一部分，是改善城市居住环境，维持自然生态平衡的关键因素，在调节局部地区气候环境、推动城市生态环境建设，提高城市生态效益、改善城市居民生活环境，促进城市可持续发展等方面具有重要意义。

2、21世纪以来，在计算机硬件的不断迭代更新与计算机技术的快速发展的背景下，遥感技术以观测范围广、时效性快等特点，为城市绿地信息的快速提取提供基础的数据来源与技术支持，成为城市绿地调查管理的有效技术手段之一，城市绿地信息提取成为是当下遥感影像地物分类的研究热点之一，对于城市绿地的提取，大多数学者仍然使用传统绿地提取算法与机器学习方法进行研究，但大都基于特定地物集中的多光谱高分辨率遥感影像的基础之上，对数据本身质量要求较高，面对没有对应波段的光谱数据或者数据量大且场景复杂的遥感影像并不能很好地适用，传统的绿地分类提取方法往往难以达到规划所需的分割效果。近年来，人工智能技术的兴起，人们开始将关注的热点放在新型的深度学习算法之上，深度学习技术逐渐在各个领域中应用，深度学习有着不需要进行人为的设计特征就可以实现可以自动地进行特征提取和特征组合，无需手动设计特征的优势，基本原理是通过多层非线性变换来实现从输入数据到输出结果的映射。深度学习方法为城市绿地信息提取开辟了新的途径，节省了大量人力物力的消耗，因此逐渐被广泛应用于遥感影像的信息提取，已成为解决城市绿地相关问题的重要方法之一。

3、面对具有复杂光谱特征的遥感影像数据，深度学习技术的快速发展为高分辨率遥感图像分类提供了新的算法支持。充分地发掘遥感影像数据中的光谱、纹理和更深层次的特征信息，自动选择捕捉数据中的特征并提取是深度学习相较于传统的绿地分类提取算法和浅层机器学习方法的重要优势之一，能够快速、准确地从遥感影像中提取绿地信息，并在图像分类中实现更高的分类精度，极大程度上解决了传统算法存在的地物信息提取精度低，泛用性差、速度慢等问题。通过阅读国内外已有研究成果可知，当前大多数研究者进行城市绿地信息提取的研究时仍然采用传统绿地信息提取方法，如：归一化植被系数ndvi，支持向量机svm、决策树分类办法等，少有研究者使用深度学习技术进行城市绿地信息提取的研究。同时，随着遥感影像数据的大量增加，对信息处理和绿地提取的技术要求不断提升，所花费的时间成本、人力成本也越来越高，研究难度随之加大。因此，本文以上海市为研究区域，以google earth的遥感影像数据为研究对象，使用传统绿地信息提取方法以及基于深度学习中的城市绿地信息方法对城市绿地进行提取，针对两者结果进行精度评价与分析，对比传统绿地信息提取方法以及基于深度学习中的城市绿地信息方法的优越性与局限性，有助于推动城市绿地提取研究朝着自动化，智能化方向发展，实现更精准、效率更高的城市绿地提取，为城市规划管理提供一定参考。

4、深度学习出现于上世纪80年代。当时，神经网络作为一种模仿人脑中神经元的工作方式的计算模型被提出。由于当时计算机硬件性能的不足，深度学习神经网络的应用受到了很大的限制。随着计算机硬件不断的迭代更新与技术的不断发展、算力的提高使深度学习重新进入了学者们的视野之中。在2006年，hinton等人提出了深度信念网络(dbn)的概念，这是一种可以用来训练深度神经网络的算法。此后，深度学习开始迅速发展，并在图像识别、目标检测、语义分割、自然语言处理等众多领域取得了巨大的成就。

5、在遥感领域，深度学习算法相较传统的机器学习算法具有能够自动提取和捕捉遥感影像中所包含的光谱、纹理、形状等信息特征的优势，并可以通过多层深层卷积网络的学习，使其能在遥感影像地物分类提取中有更好的提取精度。

6、关于深度学习在遥感影像领域的应用，目前仍然处于摸索探究阶段。但在近几年的研究中，深度学习技术在多种研究中均有广泛的应用，并都达到了不错的效果，卷积神经网络(convolutional neural network，cnn)凭借其在语义分割、目标检测等领域的出众表现，成为了当前深度学习中用于城市绿地提取的主流方法之一。如helbich使用fcn-8s模型从街景数据中提取街景中的绿色和蓝色空间，进一步开展了老年抑郁症与街景图像绿色和蓝色空间的关系研究。曹留霞等学者将改进的u-net模型用于城市绿地信息提取，并验证其方法优于fcn，vgg，segnet和传统的u-net模型。费鲜芸等学者以上海市城市绿地为研究对象，使用worldview影像，选取ostu、meanshift、fnea和deeplabv3+四种方法对城市绿地进行分割研究，证明了其中deeplabv3+网络的分割性能最好。刘文雅等学者对比了六种城市绿地监测方法，指出deeplabv3+深度学习语义分割网络更好地提取了高分2号遥感影像的城市绿地信息，并能够消除农田像素的干扰等。

7、相较于传统的城市绿地提取方法，基于深度学习的城市绿地提取方法对遥感影像数据质量要求较低，具有更强的泛化能力及学习能力，有助于更快更准确地获取当前城市绿地信息。但模型训练中所需样本数据集的制作、获取难度大，深度学习模型的选择、结构的调整和参数优化，需要经过不断的调整，虽然当前计算机硬件已经能够满足深度学习技术的算力需求，但面对高分辨率遥感影像中城市绿地的复杂场景，如何训练有效准确的城市绿地提取模型仍是当前研究的重点和难点。

技术实现思路

1、提供了本发明以解决现有技术中存在的上述问题。因此，需要一种遥感影像城市绿地信息提取方法、装置及介质，以训练有效准确的城市绿地提取模型，充分发掘遥感影像数据中更深层次的信息特征，有效减少了传统城市绿地提取方法中所出现的椒盐现象，更为准确的提取城市绿地边界。为城市规划、生态环境保护等领域提供方法支持。

2、根据本发明的第一方案，提供了一种遥感影像城市绿地信息提取方法，所述方法包括：

3、获取遥感影像数据及城市绿地栅格数据，对所述遥感影像数据及城市绿地栅格数据进行预处理后并进行数据增强得到样本数据集；

4、构建多个深度学习模型，将所述样本数据集分为训练集和测试集，以所述训练集对所述多个深度学习模型进行训练得到多个训练好的深度学习模型，以所述测试集对所述多个训练好的深度学习模型进行测试得到多个测试结果；

5、通过多个评价指标构建混淆矩阵，利用所述混淆矩阵所述多个测试结果进行评价，选择评价精度最优的深度学习模型作为最优模型，利用所述最优模型对遥感影像中的城市绿地信息进行提取。

6、进一步地，所述对所述遥感影像数据及城市绿地栅格数据进行预处理后并进行数据增强得到样本数据集，具体包括：

7、对所述遥感影像数据进行辐射校正和坐标系转换的预处理以及对所述城市绿地栅格数据进行矢量转换、数据清洗和绘制的预处理以形成多个样本数据；

8、利用生成器对所述多个样本数据进行数据增强得到样本数据集，所述生成器包括编码器、转换器和解码器，以样本数据作为输入图像，所述编码器利用卷积神经网络从输入图像中提取特征，得到特征向量，所述转换器通过组合图像的不相近特征，并使用多层由两个卷积层构成的神经网络层的resnet模块，以在转换的过程中将原始图像特征保留的效果；所述解码器通过反卷积层将低级特征从特征向量中还原，输出生成图像作为增强后的样本数据。

9、进一步地，所述多个深度学习模型包括第一深度学习模型，所述第一深度学习模型包括第一编码器和第一解码器，

10、所述第一编码器中由连续的四个第一模块组成，每个第一模块包含两个卷积层和一个池化层，用于提取输入图像的高级别语义信息；

11、所述第一解码器由四个连续的第二模块组成，每个第二模块包含一个上采样层、一个卷积层和一个dropout层，

12、在所述第一解码器的每个第二模块中，来自对应第一模块的特征图经过跳跃连接技术连接起来，用于将编码过程中压缩的特征重新还原为输入图像的大小，并进行像素级别的分类。

13、进一步地，所述多个深度学习模型包括第二深度学习模型，所述第二深度学习模型包括编码器模块、aspp模块以及解码器模块；

14、输入图像经过编码器模块进入包含多个空洞卷积层的主干网络中，通过卷积和池化操作逐渐减小输入图像的空间大小，提取具有不同尺度的特征信息，再经过aspp模块，将图像通过在多个采样率下分别执行空洞卷积，获取不同尺度的空间特征，再进行线性加权和池化，获得全局的特征描述，aspp模块提取到的特征图再通过解码器模块进行上采样和融合，解码器模块使用双线性插值上采样将低分辨率的特征图恢复到原来的分辨率，并且采取跳跃连接的方式将编码器中的特征与解码器中的特征进行融合，生成图像分割结果。

15、进一步地，所述多个深度学习模型包括第三深度学习模型，所述第三深度学习模型包括第三编码器、transformer模块和第三解码器；

16、输入图像进入第三编码器，通过卷积与池化操作，进行特征提取，得到多尺度、多层次的特征图；

17、所述多尺度、多层次的特征图经过transformer模块，实现特征间的跨尺度、跨通道交互和融合，融合后的特征映射再被送到第三解码器进行特征融合和上采样，得到分割结果。

18、进一步地，以所述训练集对所述多个深度学习模型进行训练得到多个训练好的深度学习模型时，所述第一深度学习模型、第二深度学习模型和第三深度学习模型的训练参数一致，所述训练参数包括批量大小、工作次数、学习策略以及梯度下降方式。

19、进一步地，所述多个评价指标包括总体总体分类精度、用户精度、制图精度、交并比和f1分数；

20、所述总体分类精度表示所有正确分类的像元数所占总像元数的百分比，即在混淆矩阵中对角线的所有数值和除以全部样本的总和；

21、所述用户精度表示在某次分类中，落在城市绿地上的像元占总像元的比例，被正确分类为城市绿地的比率；

22、所述制图精度表示城市绿地的地面真实标签数据被正确分类的概率；

23、所述交并比表示每类预测正确结果和正值结果的交集和并集的比值。

24、进一步地，所述混淆矩阵分为四个部分，分别为：

25、真正类：样本像元的真实类别为城市绿地，并且模型识别的结果也为城市绿地，预测正确；

26、假负类：样本像元的真实类别为城市绿地，但模型将其识别的结果为非城市绿地，预测错误；

27、假正类：样本的像元的真实类别为非城市绿地，但模型将其识别的结果为城市绿地，预测错误；

28、真负类：样本像元的真实类别为非城市绿地，并且模型将其识别的结果为非城市绿地，预测正确。

29、根据本发明的第二技术方案，提供一种遥感影像城市绿地信息提取装置，所述装置包括：

30、数据处理单元，被配置为获取遥感影像数据及城市绿地栅格数据，对所述遥感影像数据及城市绿地栅格数据进行预处理后并进行数据增强得到样本数据集；

31、模型训练单元，被配置为构建多个深度学习模型，将所述样本数据集分为训练集和测试集，以所述训练集对所述多个深度学习模型进行训练得到多个训练好的深度学习模型，以所述测试集对所述多个训练好的深度学习模型进行测试得到多个测试结果；

32、信息提取单元，被配置为通过多个评价指标构建混淆矩阵，利用所述混淆矩阵所述多个测试结果进行评价，选择评价精度最优的深度学习模型作为最优模型，利用所述最优模型对遥感影像中的城市绿地信息进行提取。

33、进一步地，所述数据处理单元被进一步配置为：

34、对所述遥感影像数据进行辐射校正和坐标系转换的预处理以及对所述城市绿地栅格数据进行矢量转换、数据清洗和绘制的预处理以形成多个样本数据；

35、利用生成器对所述多个样本数据进行数据增强得到样本数据集，所述生成器包括编码器、转换器和解码器，以样本数据作为输入图像，所述编码器利用卷积神经网络从输入图像中提取特征，得到特征向量，所述转换器通过组合图像的不相近特征，并使用多层由两个卷积层构成的神经网络层的resnet模块，以在转换的过程中将原始图像特征保留的效果；所述解码器通过反卷积层将低级特征从特征向量中还原，输出生成图像作为增强后的样本数据。

36、进一步地，所述多个深度学习模型包括第一深度学习模型，所述第一深度学习模型包括第一编码器和第一解码器，

37、所述第一编码器中由连续的四个第一模块组成，每个第一模块包含两个卷积层和一个池化层，用于提取输入图像的高级别语义信息；

38、所述第一解码器由四个连续的第二模块组成，每个第二模块包含一个上采样层、一个卷积层和一个dropout层，

39、在所述第一解码器的每个第二模块中，来自对应第一模块的特征图经过跳跃连接技术连接起来，用于将编码过程中压缩的特征重新还原为输入图像的大小，并进行像素级别的分类。

40、进一步地，所述多个深度学习模型包括第二深度学习模型，所述第二深度学习模型包括编码器模块、aspp模块以及解码器模块；

41、输入图像经过编码器模块进入包含多个空洞卷积层的主干网络中，通过卷积和池化操作逐渐减小输入图像的空间大小，提取具有不同尺度的特征信息，再经过aspp模块，将图像通过在多个采样率下分别执行空洞卷积，获取不同尺度的空间特征，再进行线性加权和池化，获得全局的特征描述，aspp模块提取到的特征图再通过解码器模块进行上采样和融合，解码器模块使用双线性插值上采样将低分辨率的特征图恢复到原来的分辨率，并且采取跳跃连接的方式将编码器中的特征与解码器中的特征进行融合，生成图像分割结果。

42、进一步地，所述多个深度学习模型包括第三深度学习模型，所述第三深度学习模型包括第三编码器、transformer模块和第三解码器；

43、输入图像进入第三编码器，通过卷积与池化操作，进行特征提取，得到多尺度、多层次的特征图；

44、所述多尺度、多层次的特征图经过transformer模块，实现特征间的跨尺度、跨通道交互和融合，融合后的特征映射再被送到第三解码器进行特征融合和上采样，得到分割结果。

45、进一步地，所述模型训练单元被进一步配置为以所述训练集对所述多个深度学习模型进行训练得到多个训练好的深度学习模型时，所述第一深度学习模型、第二深度学习模型和第三深度学习模型的训练参数一致，所述训练参数包括批量大小、工作次数、学习策略以及梯度下降方式。

46、进一步地，所述多个评价指标包括总体总体分类精度、用户精度、制图精度、交并比和f1分数；

47、所述总体分类精度表示所有正确分类的像元数所占总像元数的百分比，即在混淆矩阵中对角线的所有数值和除以全部样本的总和；

48、所述用户精度表示在某次分类中，落在城市绿地上的像元占总像元的比例，被正确分类为城市绿地的比率；

49、所述制图精度表示城市绿地的地面真实标签数据被正确分类的概率；

50、所述交并比表示每类预测正确结果和正值结果的交集和并集的比值。

51、进一步地，所述混淆矩阵分为四个部分，分别为：

52、真正类：样本像元的真实类别为城市绿地，并且模型识别的结果也为城市绿地，预测正确；

53、假负类：样本像元的真实类别为城市绿地，但模型将其识别的结果为非城市绿地，预测错误；

54、假正类：样本的像元的真实类别为非城市绿地，但模型将其识别的结果为城市绿地，预测错误；

55、真负类：样本像元的真实类别为非城市绿地，并且模型将其识别的结果为非城市绿地，预测正确。

56、需要说明的是，本发明所述的装置与在先阐述的方法属于同一技术思路，能够起到的同样的技术效果，此处不赘述。

57、根据本发明的第三技术方案，提供一种可读存储介质，所述可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的方法。

58、本发明至少具有以下有益效果：

59、1)基于深度学习的城市绿地提取的方法提取效果优于传统的城市绿地提取方法。4种城市绿地提取方法按照总体分类精度平均值从大到小排序依次为deeplabv3+(88.57％)、segformer(87.86％)、u-net(86.60％)、svm(83.58％)，基于深度学习的城市绿地提取的方法能够有效降低传统城市绿地提取过程中所出现的椒盐现象，使提取边界拟合的更为完整清晰，能够进一步解决传统城市绿地提取方法中同谱异物的问题，提高了对不同城市绿地遥感影像的识别能力。

60、2)深度学习方法的学习能力和泛化能力与传统机器学习方法相比较强，能够从海量高分辨率遥感影像中发掘遥感影像中传统机器学习方法无法提取的潜在的特征信息，有利于促进高分辨率遥感影像在城市绿地提取中的异质性和类内差异等一系列问题的解决。