一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法

1.本发明涉及遥感影像处理技术领域，具体来说是一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法。


背景技术：

2.遥感影像是指通过安装在遥感平台上的遥感仪器对地球表面摄影或扫描获得的影像，包括光学摄影成像的航空影像、紫外和近红外影像；以及用各种类型扫描仪成像的单波段影像和多波段扫描影像。由于遥感影像的语义分割标签制作费时费力，有些影像还需要领域专家才能做出标记。基于有标签的遥感影像进行训练，从而适应到没有标签的影像，并为其生成效果良好的语义分割标注，也就是领域自适应技术，能够节省大量时间成本和人力成本。
3.领域自适应是指在已有标记的源域数据集上进行语义分割训练，训练得到的模型能够适应其他域的影像，能在其他域上得到好的分割结果。伪标签技术是利用已标注数据所训练的模型在未标注的数据上进行预测，根据预测结果对样本进行筛选，再次输入模型中进行训练的一个过程。而传统的伪标签过度依赖在源域数据集上训练的模型，存在较多的噪声，会影响训练效果。
4.由于遥感影像的地表覆盖面积大、地物类别多、局部块数据分布差异较大、且不同的传感器即使在相同的地理位置也会存在较大的数据分布差异。导致在相同域的影像内部数据分布差异大尤其是纹理特征，不同域间的影像存在巨大的外部结构差异尤其是空间特征。本文设计了一种既能够保证目标域特征表示的局部细节一致性，又能保证全局结构的一致性的域适应分割网络，并且基于伪标签进行训练，从而获得良好的训练效果。


技术实现要素：

5.本发明的目的是为了解决超高分辨率遥感影像难以进行域自适应，设计了一种从局部域自适应到全局域自适应的方法，能够从易域自适应的影像块生成噪声足够小的伪标签，同时在网络模型特征提取器与域分类器之间引入了梯度反转层，在反向传播过程中，域分类器的域分类损失的梯度反向传播到特征提取器的参数之前会自动取反，进而实现了类似与gan的对抗损失。最后将精度足够高的易适配的目标域图片以及标签加入到源域训练集中，共同训练目标域，为目标域生成高精度的预测。
6.为了实现上述目的，本发明的技术方案如下：一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法，包括以下步骤：11）基于伪标签生成的从局部到全局的域自适应遥感影像语义分割准备工作：获取到源域遥感卫星影像以及目标域遥感卫星影像，对遥感影像数据进行裁剪，对标签影像进行裁剪并把像素值规划到类别数等预处理操作得到处理后的遥感影像以及标签；
12）构建与训练基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型：构建一个用于分类的卷积神经网络模型，一个用于域判别的全卷积的判别器网络模型。将预处理后的遥感影像数据以及标签数据输入网络模型中进行训练，得到训练好的基于伪标签生成的从局部到全局的域自适应网络模型；13）对基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型求解和验证：将未标记的目标域影像输入到训练好的基于伪标签生成的从局部到全局的域自适应网络模型中进行模型测试并得到目标域影像地物语义分割结果；所述基于伪标签生成的从局部到全局的域自适应遥感影像语义分割准备工作包括以下步骤：21）读取原始tif格式的源域以及目标域遥感影像；将影像进行不重叠裁剪到256
×
256像素的固定大小，将原始tif格式的遥感影像导出成.jpg格式，对标签影像像素进行归一化，把像素值归一化到类别号；22）筛选去除标记有误的影像块。
7.所述构建与训练基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型包括以下步骤：31）其中构建伪标签生成的从局部到全局的遥感影像语义分割域自适应模型的具体步骤如下：311）构建用于域判别的语义级域判别器，其域判别器结构包括一个kernel size为3，stride为1的卷积层，一个leakyrelu层，一个线性激活单元；312）构建用于域判别的熵级域判别器，其域判别器结构包括一个kernel size为3，stride为2的卷积层，一个leakyrelu层，一个线性激活单元；313）构建用于特征提取的下采样结构，其结构包括一个普通卷积层，一个实例归一化层，一个leakyrelu激活单元，一个最大池化层；314）构建用于使用低层特征为高层特征补充细节信息的跳跃连接结构，其跳跃连接结构为拼接两个输入为一个输出；32）其中训练伪标签生成的从局部到全局的遥感影像语义分割域自适应模型的具体步骤如下：321）将预处理后的源域影像以及标签数据输入卷积神经网络中，训练一个有监督的源域分割模型；322）通过正向传播，得到分割概率；323）使用交叉熵损失函数作为网络模型的损失函数对分割概率进行计算得到分割损失；324）通过分割损失反向传播确定梯度向量；325）重复上述过程直到设定次数或误差损失的平均值不再下降，训练完成，得到有监督的源域分割模型；326）用有监督的源域分割模型对目标域进行预测输出，并计算其熵值按值排序，获取到容易域适应的目标域影像和粗略的伪标签，以及难以域适应的目标域影像；327）先忽略难以域适应的目标域影像，把容易域适应的目标域影像当作目标域，将其和源域以及源域标签输入到域自适应网络中训练；
328）通过正向传播，得到分割概率；329）使用交叉熵损失函数作为基础分割模型的损失函数对分割概率进行计算得到分割损失。使用bce损失函数作为特征对齐的对抗损失函数，对得到的分割图是源域还是目标域进行计算得到对抗损失；3210）通过分割损失和对抗损失反向传播确定梯度向量；3211）重复上述过程直到设定次数或误差损失的平均值不再下降，训练完成，得到容易域适应的目标域分割模型；3212）用此模型重新预测目标域影像，并基于熵值按值排序重新获取容易域适应的目标域影像和其细致的伪标签，以及难以适应的目标域影像；3213）把容易域适应的目标域影像以及其细致的伪标签加入到源域训练集中去，目标域为难以适应的影像；3214）将组织后的源域影像和标签，难以适应的目标域影像输入到域自适应网络中训练，得到最终的域自适应分割网络模型。
8.所述对基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型求解和验证包括以下步骤：41）读取目标域影像，把影像输出为.jpg格式；42）将影像进行不重叠裁剪到256
×
256像素的固定大小；43）对目标域标签影像像素进行归一化，把像素值归一化到类别号，用来计算分割精度；44）将预处理后的目标域影像输入到训练好的卷积神经网络域自适应模型中进行地物语义分割；45）得到分割好的遥感影像地物分割图。有益效果本发明涉及基于伪标签生成的从局部到全局的领域自适应方法，与现有技术相比通过从局部到全局的训练方法，先让容易适应的目标域进行域自适应再综合训练难以适应的目标域影像，能够获取良好的局部特征和全局结构信息，通过对抗训练把源域特征迁移到目标域，以解决很难直接对目标域进行域自适应的问题，并在特征提取网络与域分类网络之间添加梯度反转层（grl），反向传播过程中实现梯度取反，进而构造出了类似于gan的对抗损失，又通过该层避免了gan的两阶段训练过程。此外，由于超高分辨率的大尺度遥感影像，预适应难度大，且不同卫星、不同时相、不同地区的影像存在较大的域偏移，本发明提供的方法从易到难逐步进行域适应，大大提高了分割精度。应用于无标签的遥感影像可以不必花费大量人力物力制作标签。
附图说明
9.图1是一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法流程图。
10.图2是一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法的训练流程图。
11.图3是一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法的
网络模型图。
12.图4是一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法判别器模型图。
13.图5 是一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法的实验结果与原影像及其标签的对比图。
具体实施方式
14.为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：如图1所示，本发明所述的一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法，包括以下步骤：第一步，基于伪标签生成的从局部到全局的域自适应遥感影像语义分割准备工作：获取到源域以及目标域遥感卫星影像，对遥感影像数据进行裁剪，对标签影像进行裁剪并把像素值规划到类别数，筛选剔除标记有误的数据，得到处理后的遥感影像以及标签。
15.其具体步骤如下：（1）读取原始tif格式的源域以及目标域遥感影像；将影像进行不重叠裁剪到256
×
256像素的固定大小；将原始tif格式的遥感影像导出成.jpg格式；对标签影像像素进行归一化，把像素值归一化到类别号；（2）筛选去除标记有误的影像块。
16.第二步，构建与训练基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型：构建一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型，将预处理后的源域遥感卫星影像以及标签数据和目标域遥感卫星影像输入到从局部到全局的域自适应遥感影像中，得到训练好的地物语义分割网络模型，其训练流程如图2所示，由易到难对目标域遥感卫星影像进行逐步适应，其域自适应框架结构的输入特征图来自于图3所示的用于遥感影像地物语义分割的卷积神经网络，在分割网络中对多个尺度的特征图进行拼接融合，得到遥感影像的局部和全局特征表示，其用于对抗训练的域判别器网络如图4所示，与语义分割网络进行对抗训练以减少跨域特征差异。
17.其具体步骤如下；（1）其中构建伪标签生成的从局部到全局的遥感影像语义分割域自适应模型的具体步骤如下：（1-1）构建用于域判别的语义级域判别器，其域判别器结构包括一个kernel size为3，stride为1的卷积层，一个leakyrelu层，一个线性激活单元；（1-2）构建用于域判别的熵级域判别器，其域判别器结构包括一个kernel size为3，stride为2的卷积层，一个leakyrelu层，一个线性激活单元；（1-3）构建用于特征提取的下采样结构，其结构包括一个普通卷积层，一个实例归一化层，一个leakyrelu激活单元，一个最大池化层；
（1-4）构建用于使用低层特征为高层特征补充细节信息的跳跃连接结构，其跳跃连接结构为拼接两个输入为一个输出；（2）其中训练伪标签生成的从局部到全局的遥感影像语义分割域自适应模型的具体步骤如下：（2-1）将预处理后的源域影像以及标签数据输入卷积神经网络中，训练一个有监督的源域分割模型；（2-2）执行一次卷积核大小为1x1的普通卷积层，执行一次编码器结构，得到5个下采样输出；（2-2-1）执行一个卷积核为3
×
3的普通卷积，一个实例归一化一个leakyrelu，一个最大池化，得到第一个下采样输出；（2-2-2）对第一个下采样输出执行一次3
×
3的普通卷积，一个实例归一化一个leakyrelu，一个最大池化，得到第二个下采样输出；（2-2-3）对第二个下采样输出执行一次3
×
3的普通卷积，一个实例归一化一个leakyrelu，一个最大池化，得到第三个下采样输出；（2-2-4）对第三个下采样输出执行一次3
×
3的普通卷积，一个实例归一化一个leakyrelu，一个最大池化，得到第四个下采样输出；（2-2-5）对第五个下采样输出执行一次3
×
3的普通卷积，一个实例归一化一个leakyrelu，一个最大池化，得到第五个下采样输出；（2-3）对第五个下采样输出执行一次1
×
1的普通卷积改变其通道数；（2-4）执行一次解码器，其中解码器的各层输出如下；（2-4-1）第一条路径对编码器的第一个输出执行一次卷积核为1的卷积层，得到第一个输出；（2-4-2）第二条路径对编码器的第二个输出执行一次卷积核为1的卷积层，得到第二个输出；（2-4-3）第三条路径对编码器的第三个输出执行一次卷积核为1的卷积层，得到第三个输出；（2-4-4）第四条路径对编码器的第四个输出执行一次卷积核为1的卷积层，得到第四个输出；（2-4-5）第五条路径对编码器的第五个输出执行一次卷积核为1的卷积层，得到第五个输出；（2-5）将五条路径输出的结果进行上采样恢复图像的分辨率；（2-6）将编码器的第五个输出与第一条路径的输出进行拼接；（2-6-1）执行一次卷积核为3的普通卷积、一个实例归一化、一个leakyrelu、一个倍数为2的上采样；（2-7）将编码器的第四个输出与第二条路径的输出进行拼接；（2-7-1）执行一次卷积核为3的普通卷积、一个实例归一化、一个leakyrelu、一个倍数为2的上采样；（2-8）将编码器的第三个输出与第三条路径的输出进行拼接；（2-8-1）执行一次卷积核为3的普通卷积、一个实例归一化、一个leakyrelu、一个
倍数为2的上采样；（2-9）将编码器的第二个输出与第四条路径的输出进行拼接；（2-9-1）执行一次卷积核为3的普通卷积、一个实例归一化、一个leakyrelu、一个倍数为2的上采样；（2-10）将编码器的第一个输出与第五条路径的输出进行拼接；（2-10-1）执行一次卷积核为3的普通卷积、一个实例归一化、一个leakyrelu、一个倍数为2的上采样；（2-11）将编码器的第二个输出与第四条路径的输出拼接后，执行一次卷积核为1的普通卷积；（2-12）执行一次上采样，将尺寸扩大二倍作为第一个特征图输出；（2-13）将编码器的第一个输出与第五条路径的输出拼接后执行一次卷积核为3的普通卷积、一个实例归一化、一个leakyrelu、一个倍数为2的上采样，作为第二个特征图输出；（2-14）正向传播，得到最终的分割概率；（2-15）使用交叉熵损失函数作为网络模型的损失函数对分割概率进行计算得到分割损失；（2-16）通过分割损失反向传播确定梯度向量；（2-17）判断是否达到设定的轮数，是则得到训练好的分割模型，否则返回（2-1）重新加载数据继续训练；（2-18）用有监督的源域分割模型对目标域进行预测输出，并计算其熵值按值排序，获取到容易域适应的目标域影像和粗略的伪标签，以及难以域适应的目标域影像；（2-18-1）先忽略难以域适应的目标域影像，把容易域适应的目标域影像当作目标域，将其和源域以及源域标签输入到域自适应网络中训练；（2-18-2）通过正向传播，得到分割概率；（2-18-3）使用交叉熵损失函数作为基础分割模型的损失函数对分割概率进行计算得到分割损失。使用bce损失函数作为特征对齐的对抗损失函数，对得到的分割图是源域还是目标域进行计算得到对抗损失；（2-18-4）通过分割损失和对抗损失反向传播确定梯度向量；（2-18-5）重复上述过程直到设定次数或误差损失的平均值不再下降，训练完成，得到容易域适应的目标域分割模型；（2-19）用此模型重新预测目标域影像，并基于熵值按值排序重新获取容易域适应的目标域影像和其细致的伪标签，以及难以适应的目标域影像；（2-19-1）把容易域适应的目标域影像以及其细致的伪标签加入到源域训练集中去，目标域为难以适应的影像；（2-19-2）将组织后的源域影像和标签，难以适应的目标域影像输入到域自适应网络中训练，得到最终的域自适应分割网络模型；（2-20）通过正向传播，得到分割概率；（2-21）使用交叉熵损失函数作为基础分割模型的损失函数对分割概率进行计算得到分割损失。使用bce损失函数作为特征对齐的对抗损失函数，对得到的分割图是源域还
是目标域进行计算得到对抗损失；（2-22）反向传播确定梯度向量，更新模型参数；（2-23）判断是否达到设定的轮数，是则得到训练好的分割模型，否则返回（2-1）重新加载数据继续训练。
18.第三步，对基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型求解和验证：（1）读取目标域影像，把影像输出为.jpg格式；（2）将影像进行不重叠裁剪到256
×
256像素的固定大小；（3）对目标域标签影像像素进行归一化，把像素值归一化到类别号，用来计算分割精度；（4）将预处理后的目标域影像输入到训练好的卷积神经网络域自适应模型中进行地物语义分割；（5）得到分割好的遥感影像地物分割图；下面以isprs遥感vaihingen数据集及potsdam数据集为例对本发明提出的方法进行说明：isprs potsdam数据集作为源域数据集，由38幅高分遥感航空影像组成，图像分辨率为6000
×
6000像素，标签为手动标注的像素级标签，质量很高，共有6个类别：不透水面、建筑物、低矮植被、树木、汽车、背景。isprs vaihingen数据集作为目标域数据集，由33幅不同大小的高分航空影像组成，每幅图像都是从一个更大的顶层正射影像图片提取的，图像选择的过程避免了出现没有数据的情况，标记方式、类别数与potsdam数据集相同。为了训练和评估网络，选择isprs potsdam部分影像作为源域训练集，isprs vaihingen中20幅作为目标域训练集，13幅作为测试集，对数据集进行滑动裁剪为256
×
256大小的图像块。最终产生5000张影像作为源域训练集，1700张影像作为目标域训练集，446张测试集。利用本发明所述的方法训练卷积神经网络模型，并与其它基于伪标签生成的域自适应网络模型对比，本发明从局部到全局逐步适应目标域影像可以有效的对不同卫星、不同时相、不同地区的超高分辨率遥感卫星影像做域自适应，在一定程度上弥补了现有域自适应技术对超高分辨率遥感影像难以进行域适应的缺点。如图5所示，其为isprs vaihingen高分航空影像及其标签与本发明模型分割结果对比图，其中a为isprs vaihingen影像、b为isprs vaihingen影像标签、c为本专利所述的方法所获得的分割结果，与标签基本无异，达到了满足实际应用的效果。
19.以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。