一种基于SE-U-Net++模型的耕地地块提取方法及装置

一种基于se-u-net++模型的耕地地块提取方法及装置
技术领域
1.本发明主要涉及土地监测技术领域，具体涉及到一种基于se-u-net++模型的耕地地块提取方法及装置。


背景技术：

2.随着人工智能技术的发展，深度学习技术的深层网络模型中有大量的神经元，各个神经元可以相互连接，且可以改变其关联的强度，从而决定网络的功能，为高分辨率遥感图像提取耕地地块信息提供了更好的技术支持。
3.目前对于高分遥感影像的耕地地块提取，主要采用u-net网络分割模型进行提取，但是耕地形状、光谱特征复杂多样，采用u-net模型提取的耕地地块边界比较模糊，存在孔洞和遗漏分类的问题，提取精度低。


技术实现要素：

4.本发明的目的在于克服现有技术的不足，本发明提供了一种基于se-u-net++模型的耕地地块提取方法，所述方法采用u-net++模型，提取图像的浅层和深层特征，并在所述u-net++模型上融入注意力机制se模块，提高模型对不同波段的图像学习能力，提高耕地地块的提取精度。
5.本发明提供了一种基于se-u-net++模型的耕地地块提取方法，所述提取方法包括：
6.采集高分遥感影像并进行预处理，获得预处理后的高分遥感影像；
7.将预处理后的高分遥感影像进行标签化处理，获得标签图像；
8.将所述标签图像进行分割，获得切片图像集；
9.将所述切片图像集进行数据增强处理，获得增强数据集；
10.将所述增强数据集输入到训练好的se-u-net++模型进行耕地地块提取，获得耕地地块提取结果。
11.进一步的，所述采集高分遥感影像并进行预处理，获得预处理后的高分遥感影像，包括：
12.采集高分遥感影像，提取所述高分遥感影像的多光谱影像和全色影像，将所述多光谱影像依次进行辐射定标，大气校正和正射校正的预处理操作，获得预处理后的多光谱影像；
13.将所述全色影像进行辐射定标和正射校正的预处理操作，获得预处理后的全色影像。
14.所述采集高分遥感影像并进行预处理，获得预处理后的高分遥感影像，还包括：
15.将所述预处理后的多光谱影像和所述预处理后的全色影像进行地理配准，并将地理配准后的多光谱影像和地理配准后的全色影像进行融合，获得预处理后的高分遥感影像。
16.进一步的，所述将预处理后的高分遥感影像进行标签化处理，获得标签图像，包括：
17.通过目测解译勾绘所述预处理后的高分遥感影像的耕地图斑，得到矢量标签图像，将所述矢量标签图像转化为栅格标签图像，获得标签图像。
18.进一步的，所述将标签图像进行分割，获得切片图像集，包括：
19.构建一个预设大小的正方形裁剪框，基于所述正方形裁剪框在所述标签图像上从左往右依次分割，将所述标签图像分割为若干个切片图像，获得切片图像集。
20.进一步的，所述将切片图像集进行数据增强处理，获得增强数据集，包括：
21.将所述切片图像集进行图像翻转处理扩充，获得扩充切片图像集，所述图像翻转处理包括水平翻转、竖直翻转、对角翻转和随机翻转；
22.将所述扩充切片图像集进行滤波数据增强处理，获得增强数据集。
23.所述训练好的se-u-net++模型的训练方法为：
24.选取耕地地块历史数据，通过分析处理将历史数据划分为训练集和测试集；
25.将训练集输入到se-u-net++模型进行二元交叉熵损失值的迭代训练，当所述训练集的二元交叉熵损失值收敛时，获得训练后的se-u-net++模型；
26.将测试集输入训练后的se-u-net++模型进行精度测试，获得训练好的se-u-net++模型。
27.进一步的：所述将训练集输入到se-u-net++模型进行训练，并通过验证集进行验证，获得验证后的se-u-net++模型，包括：
28.在所述训练集中随机选取一组图像，以矩阵形式输入所述se-u-net++模型进行耕地地块提取，将提取结果进行二元交叉熵损失值的迭代计算，当所述训练集的二元交叉熵损失值的迭代计算结果收敛，获得训练后的se-u-net++模型。
29.进一步的，所述二元交叉熵损失值的计算公式为：
[0030][0031]
其中，loss
bce
为当前轮次训练后的二元交叉熵损失值，为耕地地块提取结果，为训练集图像标签，w为切片数据的宽度，h为切片数据的高度，c
l
为影像标签对中标签的通道数。
[0032]
本发明还提供了一种基于se-u-net++模型的耕地地块提取装置，所述装置包括：
[0033]
预处理模块：采集高分遥感影像并进行预处理，获得预处理后的高分遥感影像；
[0034]
标记模块：将预处理后的高分遥感影像进行标签化处理，获得标签图像；
[0035]
切片模块：将所述标签图像进行分割，获得切片图像集；
[0036]
数据增强模块：将所述切片图像集进行数据增强处理，获得增强数据集；
[0037]
运算模块：将所述增强数据集输入到训练好的se-u-net++模型进行耕地地块提取，获得耕地地块提取结果。
[0038]
本发明提供了一种基于se-u-net++模型的耕地地块提取方法及装置，所述方法采用u-net++网络模型提取图像的浅层特征和深层特征，在u-net++模型基础上，增加了se注
意力机制模块，强化不同类别的地物特征，提高耕地地块的提取精度。
附图说明
[0039]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0040]
图1为本发明实施例中基于se-u-net++模型的耕地地块提取方法流程图；
[0041]
图2为本发明实施例中高分遥感影像预处理流程图；
[0042]
图3为本发明实施例中se-u-net++模型训练方法流程图；
[0043]
图4为本发明实施例中u-net++网络结构示意图；
[0044]
图5为本发明实施例中训练集的训练精度变化示意图；
[0045]
图6为本发明实施例中训练集的损失函数变化示意图；
[0046]
图7为本发明实施例中各个模型耕地地块提取结果对比示意图；
[0047]
图8为本发明实施例中基于se-u-net++模型的耕地地块提取装置示意图。
具体实施方式
[0048]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0049]
图1示出了本发明实施例基于se-u-net++模型的耕地地块提取方法流程图，所述提取方法包括：
[0050]
s11：采集高分遥感影像并进行预处理，获得预处理后的高分遥感影像。
[0051]
具体的，图2示出了本发明实施例中高分遥感影像预处理流程图，采集高分2号遥感影像，所述高分2号遥感影像包括4米空间分辨率的多光谱影像和1米空间分辨率的全色影像。
[0052]
进一步的，将所述多光谱影像依次进行辐射定标、大气校正和正射校正的预处理操作，获得预处理后的多光谱影像。将所述全色影像依次进行辐射定标和正射校正的预处理操作，获得预处理后的全色影像，将所述预处理后的多光谱影像和所述预处理后的全色影像进行地理配准，使得所述预处理后的多光谱影像和所述预处理后的全色影像之间相对应位置没有发生偏移，将完成地理配准后的多光谱影像和全色影像进行整合，生成1米的高空间分辨率高分二号遥感影像，即预处理后的高分遥感影像。
[0053]
s12：将预处理后的高分遥感影像进行标签化处理，获得标签图像，包括：
[0054]
通过目测解译勾绘所述预处理后的高分遥感影像的耕地图斑，得到矢量标签图像，将所述矢量标签图像转化为栅格标签图像，获得标签图像。
[0055]
具体的，将所述预处理后的高分遥感影像导入地图绘制软件中，创建一个与所述预处理后的高分遥感影像空间坐标系一致的矢量标签文件，通过目视解译勾绘所述预处理后的高分遥感影像的耕地图斑，获得矢量标签图像，并在属性表中新建一个空字段，使用字
段计算器，将耕地图斑赋值为1。利用工具箱的转换工具将得到的矢量标签转成栅格标签，输出像元大小与处理范围与影像一致，输出标签图像。
[0056]
s13：将所述标签图像进行分割，获得切片图像集，包括：
[0057]
构建一个256*256像素的正方形裁剪框，基于所述正方形裁剪框在所述标签图像上从左往右依次分割，将所述标签图像分割为若干个切片图像，获得切片图像集。
[0058]
具体的，使用gdal库，即开源栅格空间数据转换库，读取所述栅格化影像左上角的第一个像素点坐标(x1,y1)，构建一个像素大小为256*256的正方形裁剪框，从左到右依次裁剪所述标签图像，形成若干个切片图像，获得切片图像集。
[0059]
进一步的，所述标签图像的大小不能被256整除，截取所述标签图像的最后一行图像时，选取所述最后一行的右上角坐标为起点，在截取所述标签图像的最后一列图像时，选取所述最后一列图像的左下角坐标为起点，在截取所述标签图像右下角图像时，从所述标签右下角的坐标为起点向前截取。
[0060]
s14：将所述切片图像集进行数据增强处理，获得增强数据集，包括：
[0061]
将所述切片图像集进行图像翻转处理扩充，获得扩充切片图像集，所述图像翻转处理包括水平翻转、竖直翻转、对角翻转和随机翻转；
[0062]
将所述扩充切片图像集进行滤波数据增强处理，获得增强数据集。
[0063]
进一步的，使用gdal库读取所述切片图像集，通过跨平台计算机视觉和机器学习软件库的图像翻转函数对所述切片图像集进行水平翻转、竖直翻转、对角翻转、随机反转的操作，扩充所述切片图像集，通过图像滤波函数对扩充后的切片图像集进行滤波的数据增强，获得增强数据集。
[0064]
s15：将增强数据集输入到训练好的se-u-net++模型，获得耕地地块提取结果。
[0065]
具体的，将所述增强数据集输入训练好的se-u-net++模型，输出耕地地块提取结果，获得耕地地块分布图。
[0066]
本实施例提供了一种基于se-u-net++模型的耕地地块提取方法，所述方法基于se-u-net++模型进行耕地地块提取，将高分遥感图像进行分析处理，输入到所述se-u-net++模型，提取图像的浅层和深层特征，提高模型对不同波段的图像学习能力，强化耕地地块特征，提高耕地地块的提取精度。
[0067]
实施例二：
[0068]
图3示出了本发明实施例中se-u-net++模型的训练方法流程示意图，所述se-u-net++模型的训练方法为包括：
[0069]
s21：选取耕地地块历史数据，通过分析处理将历史数据划分为训练集和测试集；
[0070]
具体的，选取耕地地块历史数据，提取高分二号多光谱影像和全色遥感影像，进行辐射定标、大气校正、正射校正、影像配准、影像融合的预处理操作，从而生成1m分辨率的高分辨率遥感影像，基于所述1m分辨率的高分辨率遥感影像，手动勾绘了该区域正在耕作的耕地地块作为训练标签，并通过转换工具得到标签图像。
[0071]
具体的，将所述1m分辨率的高分辨率遥感影像输入u-net++模型，通过卷积操作提取所述预处理后的高分遥感影像的耕地特征，并融入se模块的通道注意力，构建se-u-net++模型。
[0072]
所述卷积操作公式为：
[0073][0074]
其中，i为编码器中第i个下采样层；j为跳跃连接中第j个卷积层，h()为带有激活函数relu的卷积运算，u()为上采样的解卷积操作。
[0075]
图4示出了本发明实施例中u-net++网络结构示意图，所述u-net++网络结构包括编码器和解码器。
[0076]
所述编码器部分包含三个操作，标准化函数处理、relu激活函数处理和池化处理，所述三个操作的任一个操作包括两个卷积层；所述标准化函数对一批数据在网络各层的输出做标准化处理，使数据符合0均值，1为标准差的正态分布；所述relu激活函数和max pooling最大池化层，将卷积操作后输出的多个特征图缩小两倍，三个步骤输出的特征图数量分别为64、128，256，512和1024。
[0077]
所述解码器部分重新设置了跳跃连接结构，使得编码器的特征图的语义特征更加接近解码器的特征图的语义特征，有助于优化器的优化。最终的输出层包含一个卷积层，其后紧跟sigmoid激活函数，该函数生成耕地地块概率图像，取值范围为[0，1]。
[0078]
在所述编码器部分融入se模块，所述se模块为结合空间和通道的注意力机制模块，分为压缩和激发两个步骤，所述压缩步骤通过将输入的特征图层执行全局平均池化，得到当前特征图[h,w,c]的全局压缩特征量[1,1,c]；激发步骤通过两层全连接结构得到特征图层中每个通道的权值，然后使用sigmoid函数进行归一化，得到对应的se特征图像。最后将输入图像和se特征图像相乘，得到经过信息校准过的特征图，并将加权后的特征层作为下一层网络的输入，通过融入所述se模块，提高所述u-net++模型的耕地特征提取精度。
[0079]
通过滑动窗口对所述标签图像进行裁剪，获得切片图像集，对所述切片图像进行翻转处理和数据滤波增强操作，获得历史数据集，通过移动数据函数将所述历史数据集随机划分为训练集和测试集。
[0080]
s22：将训练集输入到se-u-net++模型进行二元交叉熵损失值的迭代训练，当所述训练集的二元交叉熵损失值收敛时，获得训练后的se-u-net++模型；
[0081]
模型训练过程中采用二元交叉熵损失作为损失函数。为了最大效率地使用显卡的内存，批处理参数设置为16。选用adam作为参数优化器，设定初始学习率为0.0001，训练迭代的最大次数epoch设为100。加入早停机制，当训练集的训练精度三轮迭代之后不下降，就停止训练并保存模型。
[0082]
具体的，所述耕地地块模型训练参数设置如下表：
[0083]
表1耕地地块模型训练参数设置
[0084][0085]
使用训练集的7000张切片图像对所述se-u-net++网络模型进行训练，从测试集1000张中进行测试，使用训练好的网络模型对其进行耕地地块提取并评估结果。
[0086]
具体的，将训练集输入到所述se-u-net++模型进行二元交叉熵损失值的迭代训练，当所述训练集的二元交叉熵损失值收敛时，完成所述se-u-net++模型的训练，获得训练后的se-u-net++模型。
[0087]
具体的，设置迭代次数epoch，初始化epoch＝1，在每一轮训练时，从训练集中随机选择一组切片数据，通过gdal库中的按块读取栅格函数读入所述切片数据，然后以矩阵形式输入所述切片图像数据到所述se-u-net++模型中进行训练，得到计算结果，计算当前轮次训练后的二元交叉熵损失值，计算公式为：
[0088][0089]
其中，loss
bce
为当前轮次训练后的二元交叉熵损失值，w和h为切片数据的宽度和高度，c
l
为影像标签对中标签的通道数。
[0090]
比较当前轮次训练后的二元交叉熵损失值是否小于前一轮次训练后的二元交叉熵损失值，如果小于，则根据当前轮次训练后的二元交叉熵损失值，通过反向传播更新当前权重，进行下一步；否则，保持前一轮训练后的网络权重，进行下一步。
[0091]
令epochx＝epochx+1，然后提取新的切片数据，通过融入se注意力机制的u-net++网络进行反复迭代训练，直到计算的二元交叉熵损失值收敛，通过三轮的训练集的训练，所述二元交叉熵损失值维持稳定，则停止迭代，保存训练后的se-u-net++模型。
[0092]
进一步的，图5示出了本发明实施例中训练集的训练精度示意图，图6示出了本发明实施例中训练集的损失函数变化示意图，所述训练集的精度呈现上升趋势，损失函数呈现下降趋势，当精度提升和损失函数下降趋于平缓时，完成训练，获得训练后的se-u-net++模型。
[0093]
s23：将测试集输入训练后的se-u-net++模型进行精度测试，获得训练好的se-u-net++模型。
[0094]
具体的，将所述测试集输入到训练后后的se-u-net++模型，获得耕地地块提取结果，将所述耕地地块提取结果进行精度评价，精度评价结果满足要求时，获得训练好的se-u-net++模型，若精度评价结果不符合要求，则重新训练所述se-u-net++模型。
[0095]
具体的，将得到的模型对测试集提取耕地地块，进一步对耕地地块提取精度以及总体精度对模型进行评价，并与所述栅格化图像进行计算形成混淆矩阵，由混淆矩阵可以
计算真阳性、真阴性、假阳性、假阴性，然后依据混淆矩阵计算出耕地地块提取结果的总体提取精度、各类精度以及iou，kappa等来进行精度评价。
[0096]
精确率计算公式为：
[0097]
precision＝tp/(tp+fp)；
[0098]
其中，precision为精确率，tp为真阴性，fp为假阴性；
[0099]
召回率计算公式为：
[0100]
recall＝tp/(tp+fn)；
[0101]
其中，recall为召回率，tp为真阴性，fn为假阳性；
[0102]
总体精度计算公式为：
[0103]
oa＝(tp+tn)/(tp+fp+tn+fn)；
[0104]
其中，oa为总体精度，tp为真阴性，tn为真阳性，fp为假阴性，fn为假阳性；
[0105]
f1分数计算公式为：
[0106]
f＝2tp/(2tp+fp+fn)；
[0107]
其中，tp为真阴性，fp为假阴性，fn为假阳性；
[0108]
交并比计算公式为：
[0109]
iou＝tp/(tp+fp+fn)；
[0110]
其中，iou为交并比，tp为真阴性，fp为假阴性，fn为假阳性；
[0111]
kappa系数的计算公式为：
[0112]
kappa＝(p0-pe)/(1-pe)；
[0113]
p0＝(tp+tn)/(tp+fp+tn+fn)；
[0114]
pe＝((tp+fp)
·
(tp+fn)+(tn+fp)
·
(tn+fn))/(tp+fp+tn+fn)2；
[0115]
其中，tp为真阴性，tn为真阳性，fp为假阴性，fn为假阳性。
[0116]
具体的，将所述测试集的提取结果进行精度评价，将评价结果与其它模型对比，对比结果如表2所示：
[0117]
表2结果精度评价对比表
[0118][0119]
进一步的，图7示出了本发明实施例中测试集耕地地块提取结果对比示意图，所述se-u-net++模型提取结果相比u-net模型提取结果总体精度提高了5％，iou提高了0.05，kapp系数提高了0.06。
[0120]
所述se-u-net++模型相比u-net++模型进行耕地地块分割精度评价结果的总体精度提高了2％，iou提高了0.04，kapp系数提高了0.05。
[0121]
进一步的，u-net与u-net++模型在提取耕地地块边界时不够平滑，且存在较多的误分漏分的情况，对于耕地边界较为模糊的地块提取效果不理想，所述se-u-net++模型对
于耕地边界的划分有较好的分割效果，且对于模糊的地块边界和小面积的地块也能有较理想的分割效果。
[0122]
本发明实施例提供了se-u-net++模型的训练方法，所述方法通过在u-net++模型上融入注意力机制se模块，构建se-u-net++模型，通过历史数据进行训练、验证和测试，得到耕地地块提取精度高的se-u-net++模型。
[0123]
实施例三：
[0124]
图8示出了本发明实施例中基于se-u-net++模型的耕地地块提取装置示意图，所述装置包括：
[0125]
预处理模块1：采集高分遥感影像并进行预处理，获得预处理后的高分遥感影像；
[0126]
具体的，提取高分遥感影像的多光谱影像和全色影像，将所述多光谱影像依次进行辐射定标、大气校正和正射校正的预处理操作，获得预处理后的多光谱影像；将所述全色影像依次进行辐射定标和正射校正的预处理操作，获得预处理后的全色影像。
[0127]
进一步的，将所述预处理后的多光谱影像和所述预处理后的全色影像进行地理配准，使得所述预处理后的多光谱影像和所述预处理后的全色影像之间相对应位置没有发生偏移，将完成地理配准后的多光谱影像和全色影像进行整合，生成1米的高空间分辨率高分二号遥感影像，即预处理后的高分遥感影像。
[0128]
标记模块2：将预处理后的高分遥感影像进行标签化处理，获得标签图像；
[0129]
输入目测解译勾绘所述预处理后的高分遥感影像的耕地图斑，得到矢量标签图像，将所述矢量标签图像转化为栅格标签图像，获得标签图像。
[0130]
具体的，在地图绘制软件中，勾绘所述预处理后的高分遥感影像的耕地图斑，获得矢量标签图像，通过转换工具将所述矢量标签进行转换，得到栅格化标签，输出标签图像。
[0131]
切片模块3：将所述标签图像进行分割，获得切片图像集；
[0132]
具体的，通过大小为256*256的裁剪窗口将所述标签图像进行分格，获得切片图像集。
[0133]
数据增强模块4：将所述切片图像集进行数据增强处理，获得增强数据集；
[0134]
具体的，将所述切片图像集进行图像翻转处理扩充，获得扩充切片图像集，所述图像翻转处理包括水平翻转、竖直翻转、对角翻转和随机翻转；
[0135]
将所述扩充切片图像集进行滤波数据增强处理，获得增强数据集。
[0136]
运算模块5：将所述增强数据集输入到训练好的se-u-net++模型，获得耕地地块提取结果。
[0137]
本发明实施例提供了一种基于se-u-net++模型的耕地地块提取装置，所述装置通过将高分遥感数据进行处理分析，输入带有注意力机制se模块的u-net++模型进行提取，提高耕地地块的提取精度。
[0138]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonly memory)、随机存取存储器(ram，random access memory)、磁盘或光盘等。
[0139]
另外，以上对本发明实施例进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核
心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。