一种基于GAN网络的异源遥感图像自动化标注方法

一种基于gan网络的异源遥感图像自动化标注方法
技术领域
1.本发明属于图像处理和模式识别技术领域，具体涉及一种基于gan网络的异源遥感图像自动化标注方法。


背景技术：

2.在遥感领域中，遥感图像分类标注是遥感图像处理技术中最基本的问题之一，也是遥感图像分析和解译的基础。分类标注结果应用到后续的遥感图像处理技术中，其好坏会对分析结果产生根本性影响。另外，遥感图像分类标注技术也逐步拓展到各个地区和各种业务部门，涉及全球环境评估、土地利用、资源调查和自然灾害等多方面。遥感图像的分类标注已经成为遥感领域中的研究热点。
3.目前遥感图像标注方法主要分为四类：(1)基于作者主题模型的遥感图像标注方法；(2)基于语义的遥感图像标注方法；(3)基于空间约束多特征联合稀疏编码模型的遥感图像标注方法；(4)基于深度学习的遥感图像标注方法。由于语义鸿沟的存在，语义的自动化标注性能有待提高。近年来，随着深度学习的发展，深度卷积神经网络在特征提取上具有较好的效果，可以对海量的高分辨率遥感图像进行自动化标注。
4.现有的遥感图像类别标注方法，大多都是基于可见光遥感图像进行标注，而对异源遥感图像则无法进行有效的标注。为了克服遥感图像类别标注方法不能对异源遥感图像进行类别标注的缺陷，我们提出了基于gan网络的异源遥感图像自动化标注方法。


技术实现要素：

5.本发明通过实际的遥感图像进行类别标注实验，可以得出基于深度学习的异源遥感图像自动化标注方法，可以提高异源遥感图像标注的准确率和实现自动化标注，相比于传统的人工标注，很大的提高了工作效率。
6.为了达到上述技术目的，本发明是通过以下技术方案实现的：一种基于gan网络的异源遥感图像自动化标注方法，其特征在于，包括以下步骤：
7.s1：首先收集不同地区sar、近红外、可见光遥感图像和不同地物的可见光图像，对训练集进行人工标注；
8.s2：对异源遥感图像进行类别判断；
9.s3：对sar和近红外图像通过gan网络生成可见光图像；
10.s4：对生成的可见光图像进行预处理，突出图像的特征；将图像的像素值归一化到[-1,1]；
[0011]
s5：最后利用vgg16网络对可见光遥感图像进行特征提取；
[0012]
s6：利用rpn网络在特征图像上生成候选区域框，通过全连接网络对特征图像进行目标分类；
[0013]
s7：提取生成的类别标签，对原始遥感图像进行自动标注，进而得到完整的异源遥感图像标注。
[0014]
优选的，所述异源遥感图像为gan网络、目标分类网络训练的样本准备，人工标注训练样本的步骤具体为：
[0015]
1)为gan网络模型训练准备数据，人工标注步骤具体为：
[0016]
s1：对多个地区，采用不同的遥感传感器获取同一地区，不同类型的遥感图像；
[0017]
s2：对获取的部分同一地区的sar、近红外、可见光遥感图像进行人工类别标注；
[0018]
s3：对标注的图像进行gan网络的训练，未标记的样本进行gan网络模型的测试；
[0019]
2)为检测分类的全连接网络准备训练数据，人工标注步骤具体为：
[0020]
s1：收集不同地物的可见光遥感图像；
[0021]
s2：对收集的部分样本数据，进行人工标注；
[0022]
s3：对人工标记的样本进行卷积神经网络的训练，未标记的样本进行网络模型识别准确率的测试。
[0023]
优选的，所述s3中对sar和近红外图像通过gan网络生成可见光图像的步骤为：
[0024]
s1：设计gan网络；
[0025]
s2：gan网络训练；
[0026]
s3：gan网络测试。
[0027]
优选的，所述设计gan网络的具体步骤为：
[0028]
s11：首先构建总体的gan网络模型结构形式；其次gan网络的生成网络g,采用u-net网络，实现对sar、近红外图像进行卷积特征提取，生成有效的特征序列，对有效特征序列进行反卷积操作，便于生成可见光图像，生成网络g的构建；
[0029]
s12：将sar图像生成可见光图像，生成器为g1，判别器为d2；
[0030]
s13：将近红外图像生成可见光图像，生成器为g2，判别器为d2；
[0031]
s14：分别采用对抗损失函数和像素损失函数使生成的图像更加真实；
[0032]
优选的，所述gan网络训练的具体步骤为：
[0033]
s21：图像预处理，使sar图像、近红外图像、可见光图像大小固定一致；
[0034]
s22：将已经标记好的sar图像、近红外图像分别放入g1和g2两种生成器，将可见光图像作为真实图像，训练两种gan网络模型。
[0035]
优选的，所述gan网络测试的具体步骤为：
[0036]
s31：将未标记的训练样本，放入gan网络中进行可见光图像生成的测试。
[0037]
优选的，所述对原始遥感图像进行自动标注的具体步骤为：
[0038]
s1：对获取的可见光进行图像平滑，增强等预处理，以突出图像的边缘纹理等特征；将图像的像素值归一化到[-1,1]；
[0039]
s2：用vgg16网络对可见光遥感图像进行特征提取，生成特征图像；
[0040]
s3：对提取的特征图像，用rpn网络生成候选区域框；
[0041]
s4：对生成的特征图像，利用3*3的卷积核进行特征提取，然后进行激活层；
[0042]
s5：将生成的候选区域框和特征图进行池化操作；
[0043]
s6：对池化后的特征图进行全连接网络，判别区域框内图像的类别，实现目标分类；
[0044]
s7：提取图片生成的类别标签，对原始遥感图像进行自动化标注。
[0045]
本发明的有益效果是：
[0046]
本发明通过实际的遥感图像进行类别标注实验，可以得出基于深度学习的异源遥感图像自动化标注方法，可以提高异源遥感图像标注的准确率和实现自动化标注，相比于传统的人工标注，极大提高了工作效率。
附图说明
[0047]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0048]
图1是本发明基于gan网络的异源遥感图像自动化标注方法流程图；
[0049]
图2是本发明gan网络训练模型的构建；
[0050]
图3是gan网络生成模型的构建形式；
[0051]
图4是图像自动化标注流程图。
具体实施方式
[0052]
为了清楚完整的对本发明的方案及效果做出描述，通过以下实施例进行详细说明。
[0053]
实施例1
[0054]
参阅图1至图4所示，一种基于gan网络的异源遥感图像自动化标注方法，其特征在于，包括以下步骤：
[0055]
s1：首先收集不同地区sar、近红外、可见光遥感图像和不同地物的可见光图像，对训练集进行人工标注；
[0056]
s2：对异源遥感图像进行类别判断；
[0057]
s3：对sar和近红外图像通过gan网络生成可见光图像；
[0058]
s4：对生成的可见光图像进行预处理，突出图像的特征；将图像的像素值归一化到[-1,1]；
[0059]
s5：最后利用vgg16网络对可见光遥感图像进行特征提取；
[0060]
s6：利用rpn网络在特征图像上生成候选区域框，通过全连接网络对特征图像进行目标分类；
[0061]
s7：提取生成的类别标签，对原始遥感图像进行自动标注，进而得到完整的异源遥感图像标注；标注步骤流程如图1所示。
[0062]
优选的，所述异源遥感图像为gan网络、目标分类网络训练的样本准备，人工标注训练样本的步骤具体为：
[0063]
1)为gan网络模型训练准备数据，人工标注步骤具体为：
[0064]
s1：对多个地区，采用不同的遥感传感器获取同一地区，不同类型的遥感图像；
[0065]
s2：对获取的部分同一地区的sar、近红外、可见光遥感图像进行人工类别标注；
[0066]
s3：对标注的图像进行gan网络的训练，未标记的样本进行gan网络模型的测试；
[0067]
2)为检测分类的全连接网络准备训练数据，人工标注步骤具体为：
[0068]
s1：收集不同地物的可见光遥感图像；
[0069]
s2：对收集的部分样本数据，进行人工标注；
[0070]
s3：对人工标记的样本进行卷积神经网络的训练，未标记的样本进行网络模型识别准确率的测试。
[0071]
优选的，所述s3中对sar和近红外图像通过gan网络生成可见光图像的步骤为：
[0072]
s1：设计gan网络，具体步骤如下：
[0073]
s11：首先构建总体的gan网络模型结构形式，如图2所示；其次gan网络的生成网络g,采用u-net网络，实现对sar、近红外图像进行卷积特征提取，生成有效的特征序列，对有效特征序列进行反卷积操作，便于生成可见光图像，生成网络g的构建，如图3所示；
[0074]
s12：将sar图像生成可见光图像，生成器为g1，判别器为d2；
[0075]
s13：将近红外图像生成可见光图像，生成器为g2，判别器为d2；
[0076]
s14：分别采用对抗损失函数和像素损失函数使生成的图像更加真实；
[0077]
对抗损失函数让生成器生成的图片使判别器无法分辨真假，其公式为：
[0078][0079][0080]
其中e代表交叉熵，s代表sar图像，j代表近红外图像；
[0081]
像素损失函数是让生成器生成的图片，在像素级别上与真实图片更加接近，其公式为：
[0082][0083][0084]
其中k代表可见光图像，表示生成的可将光图像。
[0085]
s2：gan网络训练，具体步骤如下：
[0086]
s21：图像预处理，使sar图像、近红外图像、可见光图像大小固定一致；
[0087]
s22：将已经标记好的sar图像、近红外图像分别放入g1和g2两种生成器，将可见光图像作为真实图像，训练两种gan网络模型。
[0088]
s3：gan网络测试，具体步骤如下：
[0089]
s31：将未标记的训练样本，放入gan网络中进行可见光图像生成的测试。
[0090]
优选的，所述对原始遥感图像进行自动标注的具体步骤为：
[0091]
s1：对获取的可见光进行图像平滑，增强等预处理，以突出图像的边缘纹理等特征；将图像的像素值归一化到[-1,1]；
[0092]
s2：用vgg16网络对可见光遥感图像进行特征提取，生成特征图像；
[0093]
s3：对提取的特征图像，用rpn网络生成候选区域框；
[0094]
s4：对生成的特征图像，利用3*3的卷积核进行特征提取，然后进行激活层；
[0095]
s5：将生成的候选区域框和特征图进行池化操作；
[0096]
s6：对池化后的特征图进行全连接网络，判别区域框内图像的类别，实现目标分
类；
[0097]
s7：提取图片生成的类别标签，对原始遥感图像进行自动化标注，如图4所示。