一种基于亚米级遥感图像的大棚解译提取方法及系统与流程

1.本技术涉及遥感影像处理技术领域，特别是涉及一种基于亚米级遥感图像的大棚解译提取方法及系统。


背景技术：

2.本部分的陈述仅仅是提到了与本技术相关的背景技术，并不必然构成现有技术。
3.随着我国现代农业的快速发展，为了满足温室蔬菜的需求，大棚数量显著增加。为了便于农业管理和土壤保护，准确及时的获取大棚的空间分布信息显得尤为重要。
4.在信息化的背景下，智慧农业越来越重视得到重视。在大棚信息解译提取的过程中，传统的人工目视解译获取，费时、费力。机器学习是人工智能更深入的研究，现被应用于遥感影像的提取中，实现遥感图像解译的智能化和自动化，提取土地信息，大大节省了人力资源。在农业大棚的遥感图像提取领域的研究中，仍存在如下问题：
5.(1)现有的深度学习方法存在需要使用大规模标记样本对卷积神经网络(cnn)进行训练才能取得优异性能的问题，应用于大棚的标记样本往往不能够保证大棚边缘提取精度；
6.(2)对农业大棚的提取完整性与提取精度不够高；
7.(3)很难将密集的大棚解译提取为单体的大棚解译。


技术实现要素：

8.为了解决现有技术的不足，本技术提供了一种基于亚米级遥感图像的大棚解译提取方法及系统，采用将边缘检测网络(hed)模型和语义分割网络(d_linknet)模型结合的深度学习方法，使大棚的提取精确度更高，以提升农业大棚的遥感图像提取的准确率。
9.第一方面，本技术提供了一种基于亚米级遥感图像的大棚解译提取方法；
10.一种基于亚米级遥感图像的大棚解译提取方法，包括：
11.获取任务区域的亚米级遥感图像并进行预处理，获取感兴趣区遥感图像；
12.根据水面矢量文件和路面矢量文件，将感兴趣区遥感图像划分为大棚密集地区影像和大棚非密集地区影像；
13.基于预处理后的任务区域的亚米级遥感图像，构建样本数据集，训练边缘线检测模型和纹理面检测模型；
14.利用训练好的纹理面检测模型对大棚密集地区影像进行预测，提取连续密集成片大棚；利用训练好的边缘线检测模型对大棚非密集地区影像进行预测，提取离散分离单个大棚；
15.对提取结果进行后处理，获取大棚预测提取结果。
16.第二方面，本技术提供了一种基于亚米级遥感图像的大棚解译提取系统；
17.一种基于亚米级遥感图像的大棚解译提取系统，包括：
18.预处理模块，被配置为：获取亚米级遥感图像并进行预处理，获取感兴趣区遥感图
像；
19.影像分区模块，被配置为：根据水面矢量文件和路面矢量文件，将感兴趣区遥感图像划分为大棚密集地区影像和大棚非密集地区影像；
20.模型训练模块，被配置为：基于预处理后的任务区域的亚米级遥感图像，构建样本数据集，训练边缘线检测模型和纹理面检测模型；
21.大棚提取模块，被配置为：利用训练好的纹理面检测模型对大棚密集地区影像进行预测，提取连续密集成片大棚；利用训练好的边缘线检测模型对大棚非密集地区影像进行预测，提取离散分离单个大棚；对提取结果进行后处理，获取大棚预测提取结果。
22.第三方面，本技术提供了一种电子设备；
23.一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述基于亚米级遥感图像的大棚解译提取方法的步骤。
24.第四方面，本技术提供了一种计算机可读存储介质；
25.一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述基于亚米级遥感图像的大棚解译提取方法的步骤。
26.与现有技术相比，本技术的有益效果是：
27.1、本技术采用高分辨率遥感影像，应用边缘检测算法和语义分割网络模型算法，针对不同的大棚的分布，选择不同的算法，开展遥感影像信息智能解译，准确识别图幅内农业用地信息，实现智能化提取感兴趣区大棚的精细矢量图斑，提高大棚提取的效率和准确度，解决在信息化背景下，智慧农业中的农业大棚提取困难的问题；
28.2、本技术创新性的将水网、路网和大棚的提取相结合，将大棚密集区解译提取成单个大棚再提取，减少大棚漏提取，提高了大棚的提取率，有效的保证了提取的完整性和精度。
附图说明
29.构成本技术的一部分的说明书附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。
30.图1为本技术实施例提供的基于亚米级遥感图像的大棚解译提取方法逻辑流程示意图；
31.图2为本技术实施例提供的基于亚米级遥感图像的大棚解译提取方法的流程示意图；
32.图3为本技术实施例提供的分区示例示意图；
33.图4为本技术实施例提供的样本制作流程示意图；
34.图5为本技术实施例提供的样本点覆盖示例示意图；
35.图6为本技术实施例提供的大棚线样本示例示意图；
36.图7为本技术实施例提供的大棚面样本示例示意图；
37.图8为本技术实施例提供的连续密集成片大棚提取示例图；
38.图9为本技术实施例提供的离散大棚提取示例图。
具体实施方式
39.应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本技术使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
40.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
41.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
42.实施例一
43.现有技术中，应用于大棚提取的深度学习方法无法保证大棚边缘提取精度和提取完整性，很难应对不同的大棚分布；因此，本技术提供了一种基于亚米级遥感图像的大棚解译提取方法。
44.一种基于亚米级遥感图像的大棚解译提取方法，包括：
45.获取任务区域的亚米级遥感图像并进行预处理，获取感兴趣区遥感图像；
46.根据水面矢量文件和路面矢量文件，将感兴趣区遥感图像划分为大棚密集地区影像和大棚非密集地区影像；
47.基于预处理后的任务区域的亚米级遥感图像，构建样本数据集，训练边缘线检测模型和纹理面检测模型；
48.利用训练好的纹理面检测模型对大棚密集地区影像进行预测，提取连续密集成片大棚；利用训练好的边缘线检测模型对大棚非密集地区影像进行预测，提取离散分离单个大棚；
49.对提取结果进行后处理，获取大棚预测提取结果。
50.进一步的，对任务区域的亚米级遥感图像进行预处理，获取感兴趣区遥感图像的具体步骤为：
51.对亚米级遥感图像依次进行正射校正操作、影像配准操作、影像融合操作、匀色镶嵌操作；
52.根据大棚的分布范围，对预处理后的亚米级遥感图像进行分幅裁剪操作，获取感兴趣区遥感图像。
53.进一步的，基于预处理后的任务区域的亚米级遥感图像，构建样本数据集的具体步骤为：
54.基于感兴趣区遥感图像，以相同的尺寸对预处理后的任务区域的亚米级遥感图像进行裁剪取样，制作取样样本对应的二值化标签，填充样本数据集。
55.进一步的，利用训练好的纹理面检测模型对大棚密集地区影像进行预测，提取连续密集成片大棚的具体步骤包括：
56.利用训练好的纹理面检测模型对大棚密集地区影像进行预测，生成预测灰度栅格数据；
57.将预测灰度栅格数据转换为面矢量数据，对面矢量数据进行直角化和边缘简化处理；
58.基于路面矢量文件，去除面矢量数据中道路面的大棚图斑。
59.进一步的，利用训练好的边缘线检测模型对大棚非密集地区影像进行预测，提取离散分离单个大棚的具体步骤包括：
60.利用训练好的边缘线检测模型对大棚非密集地区影像进行预测，生成预测灰度栅格数据；
61.将预测灰度栅格数据转换为线矢量数据，将线矢量数据构造成面矢量数据；
62.基于路面矢量文件，去除面矢量数据中道路面的大棚图斑。
63.进一步的，对提取结果进行后处理，获取大棚预测提取结果的具体步骤为：
64.将提取的离散分离单个大棚和连续密集成片大棚合并，基于路网矢量文件和水网矢量文件，去除误提取的河流与道路，获取大棚预测提取结果。
65.进一步的，边缘线检测模型为hed边缘检测模型，纹理面检测模型为d_linknet语义分割网络模型。
66.接下来，结合图1-9对本实施例公开的一种基于亚米级遥感图像的大棚解译提取方法进行详细说明；该基于亚米级遥感图像的大棚解译提取方法包括如下步骤：
67.s1、选择任务区域的亚米级遥感影像并进行预处理；分辨率代表了能分辨地表影像的最小单元，常见卫星分辨率从0.5m到15m不等，由于大棚的宽度小至几米大小，所以需要更高分辨率的遥感影像为宜，在本实施例中，选择高景一号卫星全色光分辨率可达到0.5m的遥感图像。具体步骤包括：
68.s101、对亚米级遥感图像依次进行正射校正操作、影像配准操作、影像融合操作、匀色镶嵌操作。
69.s102、根据大棚的分布范围，对预处理后的亚米级遥感图像进行分幅裁剪操作，获取感兴趣区遥感图像。
70.s2、根据水网和路网矢量文件，对任务地区的掩膜文件进行裁剪，将其分为大棚密集地区影像和大棚非密集地区影像。其中，掩膜文件指的是对处理的图像进行遮挡，来控制图像处理区域的特定矢量文件，控制分区一般参照地形、地势、地貌等本底信息，依据道路、水系、山脊、沟谷等在遥感影像中有明显边缘特征的线状地物勾绘，形成闭合的(最好为凸多边形)面状矢量范围。本实施例中，以0.5米分辨率遥感影像为基础，以道路网数据为基础，根据大棚所呈现的纹理、色彩以及形态等的不同进行地理分区的绘制，掩膜文件是用于处理任务地区遥感影像的特定矢量文件。
71.控制分区绘制的基准为：
72.(1)分区边界以不破坏提取目标为首要基准；
73.(2)单个分区面积控制在400平方千米以内；
74.(3)同一分区地物类型尽量保持一致。
75.s3、基于感兴趣区遥感图像，以相同的尺寸对预处理后的任务区域的亚米级遥感图像进行裁剪取样，制作取样样本对应的二值化标签，填充样本数据集；具体的，样本制作分为三个步骤：(1)根据大棚影像，基于arcmap中的“draw”工具绘制样本点，随机进行样本点(区域)绘制(2)以样本点为中心对遥感图像进行影像裁剪：根据上一步骤选择的样本点
对影像进行裁剪，裁剪的方式为以样本点为中心，以一定距离绘制正方形作为样本绘制区域，形成1000*1000像素的影像以及对应的外边界矢量数据；(3)绘制样本：在上述裁剪的每个样本矢量中以影像为底图绘制大棚。
76.s4、基于样本数据集，训练边缘线检测模型和纹理面检测模型；其中，边缘线检测模型为hed边缘检测模型，纹理面检测模型为d_linknet语义分割网络模型；
77.1.hed边缘检测模型以vgg-16作为骨干网络，将样本数据集中的样本图像输入hed边缘检测模型对模型进行训练，具体过程如下：
78.将样本训练集中裁剪好的尺寸为1000
×
1000、维度为3的图像文件输入hed边缘检测模型，对图像文件依次进行五次卷积和四次最大池化操作，取每次卷积的最后一层作为该网络的外侧输出，从而得到5个外侧输出。外侧输出为通过上述操作将边缘强化的图片。
79.由于外侧输出的尺寸不一致，因此，在网络中对每个外侧输出进行反卷积，其中，反卷积利用了转置卷积操作，使其扩大到输出的尺寸大小，并将这5层输出进行融合，得到融合层，则hed边缘检测模型一共有6层输出；最终输出结果为将五层侧输出层分别扩大到原输入图片尺寸大小后级联融合后尺寸为1000
×
1000、维度为一的特征图。
80.损失函数用来评估模型预测值与真实值的偏离程度。通常情况下，损失函数选取的越好，模型的性能越好，损失函数越小，模型的鲁棒性就越好。由于边缘提取中边缘与非边缘的像素点在数目上存在巨大差异，因此hed边缘检测模型改进了传统的损失函数，对边缘与非边缘的损失计算进行相应的加权。
81.hed边缘检测模型的外侧总损失函数为：
[0082][0083]
其中w为vgg-16网络的所有参数值，w
(m)
为第m个side branch的参数值，如果网络有m个side branch的话，那么定义side branch的参数值为w＝(w
(1)
,
…
,w
(m)
),αm表示每个side branch的损失函数的权值，可以根据训练日志进行调整，为第m个外侧输出的类间平衡交叉熵损失函数，定义为：
[0084][0085]
∑
j∈y-logpr(yj＝0|x；w,w
(m)
)
[0086]
其中，β适用于平衡边缘检测的正负样本的不均衡的类别平衡权值，其中y-为ground truth中标记为边缘的像素集合；y
+
为非边缘的像素集合；表示第m个side branch在第j个像素处预测的边缘值，σ()是sigmoid激活函数。
[0087]
融合层的损失函数为：
[0088]
[0089][0090]
其中：hm为融合权重；为每层外侧输出值；为外侧输出融合后并激活后的值，则融合层损失函数是计算与y之间的距离，dist为使用交叉熵损失函数计算，σ是sigmoid激活函数。
[0091]
最终的优化目标函数为：
[0092]
(w,w,h)
*
＝argmin(l
fuse
(w,w,h)+l
side
(w，w))
ꢀꢀꢀ
(4)
[0093]
即最小化side branch损失l
side
(w，w)以及fuse损失l
fuse
(w,w,h)之和。
[0094]
2.d-linknet语义分割网络模型以d-linknet使用预训练编码器的linknet作为骨干，并在中心部分有额外的膨胀卷积层。linknet使用resnet34作为其编码器,是一种利用跳跃连接、残差块和编解码器结构的高效语义分割神经网络。将样本数据集输入d-linknet语义分割网络模型，训练d-linknet语义分割网络模型的流程如下所示：
[0095]
d-linknet语义分割网络模型的编码结构由resnet34结构组成，将样本训练集中裁剪好的尺寸为1000
×
1000、维度为3的图像文件输入模型，先对图像文件进行第一次下采样，经过第一次下采样后特征图的尺寸为500
×
500、维度为64；再经过四次下采样，特征图的尺寸为32
×
32、维度为512。空洞卷积层串联的膨胀率依次为1、2、4、8，当加入空洞卷积后特征图中心的特征感受野会变为3、7、5、3。经过空洞卷积层后特征图大小和层数依然为尺寸为32
×
32、维度为512的特征图。网络的解码结构采用了linknet网络的解码结构，特征经过4次上采样后重新变回500
×
500
×
64的特征图，最终通过两次反卷积变为1000
×
1000的特征图，利用sigmoid函数的特征图中的像素点做二分类输出。
[0096]
d-linknet34神经网络的损失函数为：bce loss+soft dice loss，将损失函数dice_loss与bce_loss组合使用，从而提高模型训练的稳定性。
[0097]
(1)在bce loss中，对于包含n个样本的batch数据d(x,y),每个样本可能有m个标签，loss计算如下：
[0098][0099]
其中，为第n个样本对应的loss。
[0100][0101]
表示第n个样本中真实类别等于i取1，否则取0(0或1)，表示第n个样本中属于类别i的概率，由sigmoid函数得到概率。ωi是超参数，用于处理标签间的样本不均衡问题。对于一批训练集，若其中某个标签的出现次数较少，计算loss时应该给与更高的权重。
[0102]
(2)在soft dice loss中,soft dice loss＝1-soft dice coeff,其中，soft dice coeff为dice系数，公式为：
[0103]
[0104]
x表示的是ground truth分割图像，y表示预测的分割图像。
[0105]
根据已有的样本数据，基于深度学习技术，通过模型训练确定模型参数的，确定参数后的模型既为训练结果。训练过程中通过train.txt文件记录样本影像与对应标签图像的绝对路径，选取特定个数的样本进入深度学习网络，并根据设置的训练次数进行训练，最终形成模型。通过基于任务区域的样本进行训练，采用特定的数学结果获得了针对任务区域目标提取的模型，用于对任务区域进行预测。
[0106]
s5、进行大棚提取，大棚地块是因人工对地表改造而形成的土地利用单元，纹理特征相比于其边缘信息更加丰富，且受到干扰的因素较少，但在大棚密集分布的地区，纹理构造并不能很好地被区分，所以在大棚密集地区采用训练好的hed边缘检测模型，大棚非密集地区采用训练好的d_linknet语义分割网络模型进行提取。具体步骤包括：
[0107]
s501、连续密集成片大棚提取：
[0108]
(1)利用训练好的hed边缘检测模型对大棚密集地区影像进行预测，生成预测灰度栅格数据；
[0109]
(2)栅格矢量化：在arcmap软件中将预测灰度栅格数据转换为面矢量数据；
[0110]
(3)直角化和边缘简化：在arcmap软件或开源gis工具中将弯曲的图斑边界简化成规则矩形；
[0111]
(4)道路水网掩膜：在arcmap软件中，用已有的路网矢量数据掩膜大棚面提取结果，以达到去除错提的道路面上大棚图斑的目的；
[0112]
(5)碎斑去除：在arcmap软件中，根据面积、周长以及周长面积比(周长的平方除以16倍的面积)等字段筛选图斑，去除小面积碎斑和错提的图斑。
[0113]
s502、离散分离单个大棚提取：
[0114]
(1)利用训练好的d_linknet语义分割网络模型对大棚非密集地区影像进行预测，生成预测灰度栅格数据；
[0115]
(2)栅格矢量化：将预测灰度栅格数据转换为线矢量数据；
[0116]
(3)线矢量数据构造成面矢量数据；
[0117]
(4)道路水网掩膜：用已有的道路面矢量数据掩膜大棚线提取结果，以达到去除错提的道路面上大棚图斑的目的。
[0118]
(5)碎斑去除：根据面积、周长以及周长面积比(周长的平方除以16倍的面积)等字段筛选图斑，去除小面积碎斑和错提的图斑。
[0119]
s503、将提取的离散分离单个大棚和连续密集成片大棚合并，基于路网矢量文件和水网矢量文件，去除误提取的河流与道路，获取大棚预测提取结果。
[0120]
实施例二
[0121]
本实施例公开了一种基于亚米级遥感图像的大棚解译提取系统，包括：
[0122]
预处理模块，被配置为：获取亚米级遥感图像并进行预处理，获取感兴趣区遥感图像；
[0123]
影像分区模块，被配置为：根据水面矢量文件和路面矢量文件，将感兴趣区遥感图像划分为大棚密集地区影像和大棚非密集地区影像；
[0124]
模型训练模块，被配置为：基于预处理后的任务区域的亚米级遥感图像，构建样本数据集，训练边缘线检测模型和纹理面检测模型；
[0125]
大棚提取模块，被配置为：利用训练好的纹理面检测模型对大棚密集地区影像进行预测，提取连续密集成片大棚；利用训练好的边缘线检测模型对大棚非密集地区影像进行预测，提取离散分离单个大棚；对提取结果进行后处理，获取大棚预测提取结果。
[0126]
此处需要说明的是，上述预处理模块、影像分区模块、模型训练模块、大棚提取模块对应于实施例一中的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0127]
实施例三
[0128]
本发明实施例三提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，计算机指令被处理器运行时，完成上述的步骤。
[0129]
实施例四
[0130]
本发明实施例四提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述的步骤。
[0131]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0132]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0133]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0134]
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
[0135]
以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。