基于边界提取和断点连接后处理的田块提取方法及系统与流程

1.本发明涉及智能农业技术领域，更具体地，涉及一种基于边界提取和断点连接后处理的田块提取方法及系统。


背景技术：

2.在现代农业技术中，对农田田块进行精细化的提取，能够为粮食生产和耕地状况的监测与评价提供基础数据，能够实现对耕地资源进行有效、高质量和可持续的配置。
3.目前的农田田块提取方法中，常引入边界提取算法，通过提取田块的边缘，标绘各田块的边界，将边界提取结果转化为农田田块结果。然而，目前基于边界提取算法的田块提取方法主要通过探测图像的灰度变化情况，标绘各田块的边界，会引入大量非田块边界冗余，无法得到完整的农田田块，造成农田田块提取结果精度低的缺陷。


技术实现要素：

4.本发明为克服现有技术存在的无法得到完整的农田田块、农田田块提取结果精度低的缺陷，提供一种基于边界提取和断点连接后处理的田块提取方法及系统。
5.为解决上述技术问题，本发明的技术方案如下：
6.第一个方面，本发明提出一种基于边界提取和断点连接后处理的田块提取方法，包括：
7.收集农田遥感图像数据，并对所述农田遥感图像数据进行田块边界标注，得到标注数据集。
8.构建包括连通性注意力模块的边界提取模型。所述连通性注意力模块用于学习田块边界中的方向连通性。
9.将标注数据集中的图像数据输入训练好的边界提取模型进行边界提取，所述边界提取模型输出边界概率图和方向连通性概率图。
10.对所述边界概率图进行双阈值边界后处理，得到边界区域二值图，并对所述边界区域二值图进行中心线提取，得到第一边界提取结果。
11.对所述第一边界提取结果进行断点检测，并根据所述边界概率图和所述方向连通性概率图，对第一边界提取结果的断点进行延长处理，直至第一边界提取结果中的边界线不再检测到断点，得到第二边界提取结果。
12.对所述第二边界提取结果进行矢量转换，得到农田田块提取结果。
13.第二个方面，本发明还提出一种基于边界提取和断点连接后处理的田块提取系统，包括：
14.数据收集模块，用于收集农田遥感图像数据，并对所述农田遥感图像数据进行田块边界标注，得到标注数据集。
15.边界提取模型，所述标注数据集输入至边界提取模型，所述边界提取模型输出边界概率图和方向连通性概率图。所述边界提取模型包括连通性注意力模块，所述连通性注
意力模块用于学习田块边界中的方向连通性。
16.第一边界结果提取模块，用于对所述边界概率图进行双阈值边界后处理，得到边界区域二值图，并对所述边界区域二值图进行中心线提取，得到第一边界提取结果。
17.第二边界结果提取模块，用于对所述第一边界提取结果进行断点检测，并根据所述边界概率图和所述方向连通性概率图，对第一边界提取结果的断点进行延长处理，直至第一边界提取结果中的边界线不再检测到断点，得到第二边界提取结果。
18.转换模块，用于对所述第二边界提取结果进行矢量转换，得到农田田块提取结果。
19.与现有技术相比，本发明技术方案的有益效果是：本发明通过基于深度学习思想并引入连通性注意力模块的边界提取网络学习农田遥感图像数据的边界信息和方向连通信息，能够学习到更多的细节边界信息，并利用方向连通性概率对边界提取结果进行断点连接后处理，直到边界的断点被完全连接，使得更多的边界能够完整闭合成一个面，从而能够得到高精度且完整的农田田块提取结果。
附图说明
20.图1为本技术实施例中基于边界提取和断点连接后处理的田块提取方法的流程图。
21.图2为本技术实施例的边界提取模型的网络结构图。
22.图3为本技术实施例中第二边界提取结果的流程图。
23.图4为本技术实施例中基于边界提取和断点连接后处理的田块提取系统的架构图。
具体实施方式
24.附图仅用于示例性说明，不能理解为对本专利的限制；
25.下面结合附图和实施例对本发明的技术方案做进一步的说明。
26.实施例一
27.请参阅图1，本实施例提出一种基于边界提取和断点连接后处理的田块提取方法，包括：
28.s1：收集农田遥感图像数据，并对所述农田遥感图像数据进行田块边界标注，得到标注数据集。
29.s2：构建包括连通性注意力模块的边界提取模型。所述连通性注意力模块用于学习田块边界中的方向连通性。
30.s3：将标注数据集中的图像数据输入训练好的边界提取模型进行边界提取，所述边界提取模型输出边界概率图和方向连通性概率图。
31.s4：对所述边界概率图进行双阈值边界后处理，得到边界区域二值图，并对所述边界区域二值图进行中心线提取，得到第一边界提取结果。
32.s5：对所述第一边界提取结果进行断点检测，并根据所述边界概率图和所述方向连通性概率图，对第一边界提取结果的断点进行延长处理，直至第一边界提取结果中的边界线不再检测到断点，得到第二边界提取结果。
33.s6：对所述第二边界提取结果进行矢量转换，得到农田田块提取结果。
34.本实施例所提出的基于边界提取和断点连接后处理的田块提取方法，通过基于深度学习思想并引入连通性注意力模块的边界提取网络学习农田遥感图像数据的边界信息和方向连通信息，能够学习到更多的细节边界信息，并利用方向连通性概率对边界提取结果进行断点连接后处理，直到边界的断点被完全连接，使得更多的边界能够完整闭合成一个面，从而能够得到高精度且完整的农田田块提取结果，更适用于高分辨率遥感影像，大幅减少人工修正工作量。
35.实施例二
36.参阅图1，本实施例在实施例一提出的基于边界提取和断点连接后处理的田块提取方法的基础上作出改进，所述方法包括：
37.s1：收集农田遥感图像数据，并对所述农田遥感图像数据进行田块边界标注，得到标注数据集。
38.本实施例中，收集到的农田遥感图像数据需要进行几何校正和辐射校正，保证用于训练的影像几何和辐射条件的一致性。农田遥感图像需要进行初步筛选，保留大部分包含农田的影像，并适当引入少量只包含非农田地物类型的影像作为负样本。在标注过程中通过相关专业人员进行目视解译，判断农田范围和边界后进行勾画标注，标注内容为农田范围和农田边界，标注结果会生成农田范围二值图和边界二值图，并转化为带有地理坐标的矢量数据。本实施例中共标注了2874张512
×
512大小的图像样本对。
39.本实施例中，在得到标注数据集之后，对所述标注数据集中的图像数据进行数据增强处理以操作提高数据量和增强网络的泛化能力，并对经过数据增强处理的图像数据进行标准化处理。
40.所述对所述标注数据集中的图像数据进行数据增强处理，具体包括：对图像数据进行水平翻转、垂直翻转、变形、裁剪、亮度调整和增加高斯噪声等处理来增加训练样本，从而使得影像样本数量满足网络模型的特征学习要求，并且能够一定程度解决农田样本不均衡的问题。
41.所述对经过数据增强处理的图像数据进行标准化处理，其表达式如下所示：
[0042][0043]
其中，原图像中像素值x为图像的像素值，μ和σ分别为图像数据对应波段的均值和标准差。
[0044]
s2：构建包括连通性注意力模块的边界提取模型。所述连通性注意力模块用于学习田块边界中的方向连通性。
[0045]
本实施例中，将标注数据集划分为训练集和测试集，比例为80％和20％，并利用所述训练集对边界提取模型进行训练，直至边界提取模型的损失函数loss(p,y)收敛，得到训练好的边界提取模型；
[0046]
所述边界提取模型的损失函数loss(p,y)包括交叉熵损失loss
ce
(p,y)和dice损失loss
dice
(p,y)，其表达式如下所示：
[0047]
loss(p,y)＝αloss
ce
(p,y)+βloss
dice
(p,y)，
[0048]
[0049][0050]
其中，α和β为可调整的超参数，yi表示标签为i的真实值，i＝0表示背景类标签，i＝1表示真实田块边界标签，pi为标签为i的预测值，n为标签的数量。
[0051]
如图2所示，图2为本技术实施例的边界提取模型的网络结构图，本实施例中，所述边界提取模型包括依次连接的编码器、解码器和连通性注意力模块。边界提取模型采用了基于卷积神经网络的编码器-解码器结构，编码器通过多个卷积层提取影像特征，解码器基于所提取的特征挖掘具体的边界信息。
[0052]
本实施例中，所述编码器为多尺度高分辨率网络，包括四个并行的残差卷积模块，标注数据集中的图像数据分别传输至四个并行的残差卷积模块，所述四个并行的残差卷积模块分别输出不同尺度的特征图后经过拼接处理，得到第一边界特征图。编码器结构包含多个并行的多尺度分辨率特征分支，令网络学习能够同时学习更强的语义信息和精确位置信息，每个分支由多个残差模块组成。其中，残差模块表示为f包含卷积层、批标准化层和激活函数，，每个块的输入与输出会通过跳跃连接，该结构每一层网络的输出可以表示为：
[0053]
x
l+1
＝x
l
+f(x
l
)
[0054]
其中，x
l
表示第l层的特征。解码器整体可以分为4个阶段，每个阶段会进行一次特征下采样，获取空间分辨率更低更深层表示的特征，为了保持高分辨率尺度下的细节信息，通过并行化的网络结构保留不同尺度下的特征，使得网络后一个阶段的特征能够获得上一个阶段下额外的高分辨率特征。每个阶段之间会通过转换融合层进行信息交互。对于s个输入特征{x1,x2,
…
,xs}，经过交换单元后输出的对应分辨率s个的特征{y1,y2,
…
,ys}，每个输出都经过s个输入特征的聚合：
[0055][0056]
其中，函数a(xi,k)包含输入特征xi从分辨率i到k的上采样或下采样处理，其中，下采样通过不同数量的步长为2的3
×
3卷积实现；上采样使用最近邻采样，并在其后使用1
×
1卷积对齐特征通道数。若i＝k，则令a(xi,k)＝xi。
[0057]
解码器的卷积层使用了3
×
3大小的卷积函数、silu激活函数和批标准化层。其中，silu激活函数表示为：
[0058]
本实施例中，所述解码器利用真实的农田边界标签对所述第一边界特征图进行监督学习，得到边界概率图，具体的步骤包括：利用所述真实的农田边界标签对所述第一边界特征图进行语义分割，得到第一边界特征图的语义分割结果；对所述第一边界特征图进行基于对象的上下文信息学习，得到第二边界特征图；所述第二边界特征图经过一个自注意力模块进行特征增强学习，得到第三边界特征图；对所述语义分割结果和所述第三边界特征图进行拼接处理，得到边界概率图。
[0059]
解码器部分增加了模型对上下文信息增强的特征表示，通过卷积结果生成了同时表征对象信息和背景信息的多尺度特征，强化田块特征的提取。该解码器的输入为上一步中解码器所提取的多尺度第一边界特征图。首先引入真实结果进行监督训练获得粗边界提取结果，然后基于粗边界提取结果和深层网络特征，通过卷积层得到特征中每一个向量对
应的语义类别特征表示，最后通过深层特征和物体区域特征之间的关系矩阵，使用了类自注意力机制求取上下文特征。最终将对象上下文特征表示和原主干网络深层特征进行拼接，得到增强特征用于输出分割结果,当把物体上下文特征表示与网络最深层输入的特征表示拼接之后作为上下文信息增强的特征表示,可以基于增强后的特征表示预测每个像素的语义类别。基于对象的上下文特征表示可以计算一组目标区域的特征表达，从而根据对象级别的区域特征表示与像素级别的特征表示之间的相似度将这些物体区域特征表示传播给每一个像素。解码器的损失函数表示为：l
aux
＝loss(y
soft
,y
label
)，y
soft
为初步的语义分割结果，y
label
为真实的农田边界标签。
[0060]
本实施例中，所述连通性注意力模块基于所述边界概率图，学习田块边界中的方向信息，输出方向连通性概率图，具体的步骤包括：所述边界概率图经过若干个不同扩张率的卷积层进行感受野扩张后，经过全局平均池化进行通道维度上的特征压缩，得到表征全局信息的特征向量zc，全局平均池化的表达式如下所示：
[0061][0062]
其中，xc为输入的通道数c为特征图像，h和w对应特征图像的尺寸，i和j表示特征图像中对应的空间位置。
[0063]
特征向量依次经过全连接层和sigmoid激活函数，得到全局注意力权重，其表达式如下所示：
[0064]
表征全局信息的特征向量通过全连接层和sigmoid函数计算所得每个通道对应的注意力权重，计算方式可以表示为：
[0065]
a＝σ(w2δ(w1z))
[0066]
其中，z为输入的特征向量，w1和w1为全连接层权重，δ为relu激活函数，σ为sigmoid函数。通过对特征向量进行进一步的学习，并使用sigmoid函数将特征转化为范围从0到1的注意力权重。
[0067]
将所述边界概率图与所述全局注意力权重进行相乘处理，相乘处理结果再经过一个残差模块后，得到方向连通性概率图。
[0068]
引入连通性注意力模块对边界概率图进行监督训练，进而学习到农田边界的方向信息。连通性注意力模块首先将解码器输出的图像特征依次输入到扩张率为1和3的3
×
3卷积模块中，使用不同扩张率的卷积扩大感受域实现充分挖掘更大尺度的局部信息。随后对特征进行全局平均池化，进行通道层级的特征压缩，并使用两个全连接层学习特征注意力，得到范围为(0,1)的向量，将该向量与输入特征相乘即可得到连通性注意力，最终与真实标签生成的边界概率图进行监督学习，得到方向连通性概率图，其损失函数表示为：
[0069][0070]
其中，co为方向连通性概率图的通道数，n＝h
×
w为总像素个数，为位置为i时其像素与方向连通性概率图特定方向内相邻像元的连通性标注，为方向连通性概率图的预测值。
[0071]
s3：将标注数据集中的图像数据输入训练好的边界提取模型进行边界提取，所述边界提取模型输出边界概率图和方向连通性概率图。s4：对所述边界概率图进行双阈值边界后处理，得到边界区域二值图，并对所述边界区域二值图进行中心线提取，得到第一边界提取结果，具体的步骤包括：
[0072]
步骤1：设置高阈值和低阈值；在本实施例中，高阈值设置为0.5，低阈值设置为0.1。
[0073]
步骤2：将边界概率图中边界概率预测值高于高阈值的区域设置强边界区域；
[0074]
步骤3：将边界概率图中边界概率预测值低于低阈值的区域设置为非边界区域；
[0075]
步骤4：将边界概率图中边界概率预测值低于高阈值且高于低阈值的区域设置为弱边界区域；
[0076]
步骤5：在所述弱边界区域中对某一像素进行8邻域方向求和，得到该像素的8邻域概率总和；
[0077]
步骤6：若该像素的8邻域概率总和高于高阈值时，则将该像素设置为强边界区域；
[0078]
步骤7：重复执行步骤5-步骤6，直至弱边界区域中所有像素都完成强边界区域判断，并利用设置的强边界区域生成边界区域二值图。
[0079]
s5：对所述第一边界提取结果进行断点检测，并根据所述边界概率图和所述方向连通性概率图，对第一边界提取结果的断点进行延长处理，直至第一边界提取结果中的边界线不再检测到断点，得到第二边界提取结果，如图3所示，图3为本技术实施例中第二边界提取结果的流程图，具体的步骤包括：
[0080]
步骤a：对第一边界提取结果中的所有断点进行入栈，得到包括断点元素的堆栈；
[0081]
步骤b：判断所述堆栈是否为空，若所述堆栈不为空，则执行步骤c，若所述堆栈为空，则输出第二边界提取结果，结束；
[0082]
步骤c：将断点出栈，并基于该断点的位置读取该断点处在第一边界提取结果中的延长方向，并将该延长方向的相反方向的像素位置的边界概率和连通方向概率设置为0；
[0083]
步骤d：加载出栈的断点处的8邻域方向的边界概率和连通方向概率，并分别对8邻域方向的边界概率和连通方向概率进行加权求和；本实施例中，边界概率的权重设置为0.4，连通方向概率的权重设置为0.6。
[0084]
步骤e：对8邻域方向的边界概率和连通方向概率求和值进行大小比较，将概率求和值较大的邻域方向的像素位置设置为新增边界值；
[0085]
步骤f：判断所述新增边界值的位置是否为断点，如果是断点，则将该断点的位置入栈并跳转执行步骤b，如果不是断点，则直接跳转执行步骤b。
[0086]
例如，对第一边界提取结果中的所有边界像素基于8邻域方向进行判断，如果该边界像素与周围8个方向的像素相连，即该位置与该方向连通，则在该方向上的连通性图像中记为1，否则记为0。在判断相邻像素间时，设置一定的距离d，即判断某方向上距离d个像素是否均为边界，如果均为边界视为该方向上连通，连通性图像值记为1，最终生成第二边界提取结果—连通性图像o∈rh×w×8，其中h
×
w表示图像的尺寸，连通性图像包含8个维度表示计算八邻域的连通性。连通性图像中某一个像素o
i,j,c
表示该像素与特定像素之间的连通性，其中i,j表示图像像素的空间位置，c表示其相邻像素的位置，最终8邻域内的连通信息通过拼接得到最终的第二边界提取结果—连通性图像。
[0087]
本实施例中，连通性距离d设置为1。
[0088]
s6：对所述第二边界提取结果进行矢量转换，得到农田田块提取结果。
[0089]
实施例三
[0090]
本实施例为了探究连通性注意力模块的有效性，对未引入连通性注意力模块的提取模型，使用连通距离d＝1的连通性注意力模块的边界提取模型，断点连接后处理的模型，以及其他语义分割网络包括deeplabv3+、linknet、dlinknet，进行了对比。为了对模型性能进行量化，完成模型训练后对模型提取的结果与真实标签进行精度评价，所使用到的指标包括iou、recall和f1。
[0091]
表1本技术提出的边界提取模型与其他语义分割网络的精度评价对比
[0092][0093]
如表1所示，本实施例所使用的本发明申请实施例提出的边界提取模型在各项指标中均优于参与对比的模型，能够对农田田块作出更精确和完整的识别。另外，使用本技术实施例所提出的边界提取模型并引入断点连接后处理，能够显著提升农田地块精度，在各项指标中均取得更优。该后处理方法能够对断点处边界预测概率较低的区域进行有效的补全，从而优化了农田地块提取效果。
[0094]
实施例三
[0095]
参阅图4，本实施例提出一种基于边界提取和断点连接后处理的田块提取系统，包括：
[0096]
数据收集模块，用于收集农田遥感图像数据，并对所述农田遥感图像数据进行田块边界标注，得到标注数据集。
[0097]
边界提取模型，所述标注数据集输入至边界提取模型，所述边界提取模型输出边界概率图和方向连通性概率图。所述边界提取模型包括连通性注意力模块，所述连通性注
意力模块用于学习田块边界中的方向连通性。
[0098]
第一边界结果提取模块，用于对所述边界概率图进行双阈值边界后处理，得到边界区域二值图，并对所述边界区域二值图进行中心线提取，得到第一边界提取结果。
[0099]
第二边界结果提取模块，用于对所述第一边界提取结果进行断点检测，并根据所述边界概率图和所述方向连通性概率图，对第一边界提取结果的断点进行延长处理，直至第一边界提取结果中的边界线不再检测到断点，得到第二边界提取结果。
[0100]
转换模块，用于对所述第二边界提取结果进行矢量转换，得到农田田块提取结果。
[0101]
本实施例所提出的基于边界提取和断点连接后处理的田块提取系统，通过基于深度学习思想并引入连通性注意力模块的边界提取网络学习农田遥感图像数据的边界信息和方向连通信息，能够学习到更多的细节边界信息，并利用方向连通性概率对边界提取结果进行断点连接后处理，直到边界的断点被完全连接，使得更多的边界能够完整闭合成一个面，从而能够得到高精度且完整的农田田块提取结果，更适用于高分辨率遥感影像，大幅减少人工修正工作量。
[0102]
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
[0103]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。