基于半监督深度学习的植被类地物提取方法与流程

1.本发明涉及遥感影像分割技术领域，具体涉及一种基于半监督深度学习的植被类地物提取方法。


背景技术：

2.近年来，遥感技术、无人机技术和航天技术的发展和应用，为大范围的地物分类提供了影像基础。利用遥感影像进行的地物分割和分类技术被广泛的应用于各个行业中。其中植被类的地物样本的提取与分类对全球变化等研究有着重大的意义。
3.目前，遥感影像植被提取方法可以分为基于传统机器学习的提取方法和基于深度学习的提取方法。基于传统机器学习的提取方法需要先进行特征提取，而特征提取过程中需要专业知识来设计特征提取器，同时传统的分类模型在应对海量、复杂的遥感数据上效果多有不足，提取的结果形状完整性差，边界精度不好。基于深度学习的方法因为具有强大的自动特征提取能力，无需单独进行特征提取与选择，因而有其优越性。基于深度学习的方法中，语义分割方法提取结果形状完整性好，边界精度高，但是对样本的要求高，需要有精确边界的全像素的样本标签标注。依赖边界的标注要求会带来大量繁杂的工作，在大范围的遥感影像项目中实施难度大。


技术实现要素：

4.本发明提出一种基于半监督深度学习的植被类地物提取方法，弥补了现有方法对样本要求高，工作量大的缺陷，降低了工作量的同时保障了提取结果的精度，获得高准确率、形状完整性和边界精度的植被类地物提取结果。
5.为实现上述技术目的，本发明的技术方案如下：
6.一种基于半监督深度学习的植被类地物提取方法，该方法包括以下步骤：
7.s1：获取待处理遥感影像，根据所述待处理遥感影像制作植被类地物样本；
8.s2：将所述待处理遥感影像输入半监督深度学习网络模型中，获得植被类地物提取结果，其中，所述半监督深度学习网络模型为基于植被类地物样本中像素对应的各类别预测概率和各类别标签构建的半监督损失函数以及深度学习网络构建的。
9.可选地，所述半监督损失函数，包括：
10.l＝sum
p∈ω
loss(y
p
，a
p
)
11.其中，ω为仅包含部分像素标注区域的指标集，a
p
为像素p的各类别预测概率，y
p
为像素p的各类别标签，loss为具体的损失函数，要求至少有一个loss函数。
12.可选地，步骤s1包括：
13.获取待处理遥感影像，所述待处理遥感影像包含植被类地物；
14.在所述待处理遥感影像中选定植被类型，对待处理遥感影像中植被类地物进行样本勾画，获得勾画后的样本，对样本赋予标签，用于后续深度学习网络训练；
15.对所述勾画后的样本进行规则样本制作，得到植被类地物样本。
16.可选地，所述样本勾画的方式为：
17.利用矩形框或者不规则多边形进行勾画；
18.或利用闭合或不闭合的线条进行勾画；
19.或利用离散点进行勾画。
20.可选地，对任意一块植被类地物勾画样本时，勾画的样本像素少于或等于该块植被类地物包含的像素。
21.可选地，所述规则样本制作的方法包括：
22.使用匹配待处理遥感影像大小的规则形状滑动窗口，以给定的步长进行滑动，以待处理遥感影像一端上的点或影像内一点为起始截取图像，每滑动一次截取一张图像，将包含勾画出的样本的图像保存为规则样本，将勾画出的样本像素赋予标签，未被勾画的植被地物像素不赋予标签。
23.可选地，滑动窗口截取的图像包含待处理遥感影像的所有元素。
24.可选地，使用相同或不同尺度的滑动窗口截取图像，若使用不同尺度的滑动窗口截取图像后，再对不同尺度的图像进行上、下采样，得到大小一致的规则样本。
25.可选地，上采样采用传统双线性插值算法。
26.本发明的有益效果为：在植被地物提取中构建了一种半监督损失函数，进而构建了一种半监督深度学习网络模型，能够降低植被地物提取对样本的要求，降低了植被地物提取的工作量，同时保证了提取结果的准确率、形状完整性和边界精度。
附图说明
27.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1为本发明提供的一种基于半监督深度学习的植被类地物提取方法的流程图；
29.图2(a)
‑
(b)为本发明一实施例的勾画过程示意图。图2(a)为待处理图像；图2(b)为勾画出的矩形初始样本；
30.图3(a)
‑
(c)为本发明一实施例的提取结果对比图。图3(a)为待处理遥感图像；图3(b)为使用传统机器学习方法的提取的结果；图3(c)为本发明实施例的提取的结果。
具体实施方式
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
32.请参照图1，图1是本发明所述的基于半监督深度学习的植被类地物提取方法，该方法包括以下步骤：
33.s1：获取待处理遥感影像，根据所述待处理遥感影像制作植被类地物样本；
34.s2：将所述待处理遥感影像输入半监督深度学习网络模型中，获得植被类地物提
取结果，其中，所述半监督深度学习网络模型为基于植被类地物样本中像素对应的各类别预测概率和各类别标签构建的半监督损失函数以及深度学习网络构建的。
35.所述半监督损失函数的构建方法为：
36.l＝sum
p∈ω
loss(y
p
，a
p
)
37.其中，ω为仅包含部分像素标注区域的指标集，a
p
为像素p的各类别预测概率，y
p
为像素p的各类别标签，loss为具体的损失函数，要求至少有一个loss函数；
38.所述步骤s1中包括：
39.s11：获取待处理遥感影像。待处理遥感影像由用户自定义选择，用户可根据应用场景使用拉矩形框的方式或者根据地理位置选择影像。
40.本实施例中遥感影像数据基于高分一号卫星2m空间分辨率影像获得；根据地理位置选择影像；
41.s12：获取待处理影像覆盖的植被区域的实地调查资料；
42.s13：根据实地调查资料，获取所述植被区域所具有的全部植被类型；
43.s14：根据所述植被类型，建立所述植被区域的植被分类体系；本实施例中提取的植被类型为小麦植被；
44.s15：对待处理遥感影像进行预处理，得到预处理后的遥感影像。
45.本实施例中预处理工序包括正射校正、几何校正、辐射校正、大气校正和去云去雾，确保得到清晰完整的小麦植被影像。实际应用中根据待处理影像的状态决定所需的预处理工序，保证影像上植被类地物的清晰度和完整性，便于制作无噪声的植被类地物样本，从而确保后续使用植被类地物样本对半监督深度学习网络架构进行训练的准确性；
46.s16：在所述预处理后的遥感影像上，进行植被地物勾画，勾画地物的纯净像元，获得勾画出的样本并赋予相应的植被类型标签。
47.勾画的方法包括：利用矩形框或者不规则多边形、利用闭合或不闭合的线条、利用离散的点。本实施例中在小麦植被上勾画矩形图斑，如图2(a)
‑
(b)所示，图中黑色条纹矩形为勾画的矩形图斑，对任意一块植被类地物勾画样本时，勾画的样本像素少于或等于该块植被类地物包含的像素。对勾画出的样本像素赋予小麦标签，设置像素值为1。部分像素勾画的方式相对于全样本像素勾画的方法大大减少了工作负担。
48.s17：对所述勾画出的样本进行规则样本制作。使用匹配待处理遥感影像大小的规则形状滑动窗口，以给定的步长进行滑动，以待处理遥感影像一端上的点或影像内一点为起始截取图像，每滑动一次截取一张图像，将包含勾画出的样本的图像保存为规则样本，将勾画出的样本像素赋予标签，未被勾画的植被地物像素不赋予标签。滑动窗口截取的图像包含待处理遥感影像的所有元素。本实施例中使用512*512像素大小的矩形滑动窗口，以256像素为步长进行滑动，滑动一次截取一张图像，直至窗口截取待处理影像所有像素，确保得到足够多的规则样本且待处理影像被完全使用。滑动窗口的大小和滑动步长的选择会直接影响制作的规则样本的数量，样本数量不足时，设置步长小于滑动窗口的宽度，使得样本间有重叠区域，提高了对样本的利用率。
49.可选的，使用相同或不同尺度的滑动窗口截取图像，若使用不同尺度的滑动窗口截取图像后，再对不同尺度的图像进行上、下采样，得到大小一致的规则样本。例如，滑动窗口尺寸为k*p，对截取的图像其进行n倍下采样，得到(k/n)*(p/n)尺寸的分辨率图像，要求n
为k和p的公约数。
50.上采样采用传统双线性插值算法。4个像素点(x，y)、(x，y+1)、(x+1，y)、(x+1，y+1)构成一个插值区域。f(x，y)为原图像(x，y)处的像素值。设置坐标通过反向变换得到的浮点坐标为(x+a，y+b)，其中a、b为[0，1]区间的浮点数。目标像素值f(x+a，y+b)可由上述4个像素点构成的插值区域构成：
[0051]
f(x+a,y+b)＝(1
‑
a)(1
‑
b)f(x,y)+(1
‑
a)bf(x,y+1)+a(1
‑
b)f(x+1,y)+abf(x+1,y+1)
[0052]
使用不同尺度的滑动窗口截取图像再通过上、下采样得到规则样本图像，能够进一步扩充样本数据，提升样本数据的多样性。
[0053]
本实施例中样本全部为部分像素标注的弱标注样本，可选的，可使用弱标注样本和全像素标注的强标注样本的混合样本；
[0054]
所述步骤s2中构建半监督深度学习网络模型，包括：
[0055]
s21：构建半监督损失函数；
[0056]
s22：提取所述植被类地物样本的特征，基于所述植被类地物样本的特征构建半监督深度学习网络。
[0057]
本实施例中所述半监督损失函数的构建如下：
[0058]
l＝sum
p∈ω
loss(y
p
，a
p
)
[0059]
只关注有标注区域的值和语义分割模型预测值，构建损失。ω为一张仅包含部分像素标注区域的指标集，ω
whole
为全像素的指标集，本实施例中使用部分像素标注区域的指标集ω，与一般语义分割方法要求ω覆盖全部像素区分开，该方法实现了直接使用部分像素勾画的地物样本对网络架构进行训练，降低了对样本形式的要求。
[0060]
可以理解的是，一般语义分割网络要求使用全像素标注的样本，本方法同样适用于语义分割网络，实现了基于部分像素标注的样本通过语义分割网络进行高精度的目标样本提取。
[0061]
还可以利用图像样本层级构建该样本的全部像素相似度矩阵，来结合无监督语义分割正则项构建正则分割损失函数。
[0062]
本实施例中使用的半监督损失函数为交叉熵损失函数：
[0063][0064]
其中像元类别为{1，
…
，k)，深度语义分割模型对于像素p的各类别预测概率是其由神经网络参数化。在像素p点的真实类别为k，其表示为k维1和0向量，标签为其中
[0065]
可选的，所述半监督损失函数还可以由一个或多个其他损失函数构成。
[0066]
本实施例中采用语义分割网络d
‑
linknet作为基础网络来构建半监督深度学习网络模型。网络由编码器，中央部分和解码器组成。其中使用预训练的resnet34作为其编码器，在中心部分使用级联模式堆叠空洞卷积增大感受野。解码器部分使用转置卷积层进行上采样，将特征图的分辨率还原。
[0067]
本实施例中，对半监督深度学习网络模型的训练包括：
[0068]
将所述植被类地物样本划分为训练集和测试集。
[0069]
训练集包括样本和对应的标签，测试集仅包括样本。本实施例中训练集和测试集比例为8：2。
[0070]
将训练集输入到所述半监督深度学习语义分割网络架构中进行训练，通过测试集和所述半监督损失函数优化半监督深度学习语义分割网络，获得训练好的半监督深度学习植被提取模型。
[0071]
可选的，可在训练时添加随机扰动项来提升语义分割网络的泛化性能。
[0072]
当模型学习新的任务时，将参数的敏感性矩阵作为一个正则项添加到模型原有的损失函数中，然后使用修改后的损失函数对模型进行训练，能够提高对半监督深度学习语义分割网络的训练精度；
[0073]
本实例中对小麦植被提取的结果如图3，3(a)为待处理遥感图像，3(b)为传统机器学习方法对小麦植被进行提取的结果；3(c)为基于半监督深度学习的植被类地物提取方法对小麦植被进行提取的结果。相比于传统机器学习方法，本发明的半监督式植被提取方法消除了小碎斑，并使得提取的图像边界精度更高。
[0074]
本发明的有益效果为：在植被地物提取中构建了一种半监督损失函数，进而构建了一种半监督深度学习网络模型，能够降低植被地物提取对样本的要求，降低了植被地物提取的工作量，同时保证了提取结果的准确率、形状完整性和边界精度。
[0075]
本发明一些点解释说明：
[0076]
(1)在语义分割方法的基础上结合半监督的深度学习方法，实现一种高边界精度的基于半监督深度学习的植被类地物提取方法；
[0077]
(2)基于语义分割的分类方法依赖高边界精度的样本勾画，工程量大，耗时严重。本发明中可直接使用部分像素勾画的样本，不依赖对边界的勾画要求，大大降低了人力成本；
[0078]
(3)本发明在可使用部分像素勾画的样本的基础上，保持了图像提取结果的准确率、形状完整性和边界精度。
[0079]
综上所述，借助于本发明的上述技术方案，通过该方法，实现了基于半监督深度学习的植被类地物提取方法，在保证提取结果精度的同时降低了对样本勾画的要求，降低了人力成本和工作量。
[0080]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。