基于双流生成器深度卷积对抗生成网络的遥感图像上色方法

1.本发明属于遥感图像处理技术领域，特别涉及基于双流生成器深度卷积对抗生成网络的遥感图像上色方法。


背景技术：

2.随着深层生成模型的发展，图像上色技术得到了广泛的研究，在接近人类感知方面取得了很大的进展。目前，对遥感图像进行上色的需求是迫切的，但是由于遥感设备的局限性，以及受到空气中的烟雾或其他噪声的影响使捕获的遥感图像出现色度对比度低，色度不饱和的问题。遥感图像上色的最大挑战是在极其不平衡的空间结构背景下保持空间一致性以及获得生动的着色信息。前者需要对大规模分布进行稳定的学习，后者需要对局部像素进行专门的建模。
3.目前实现遥感图像着色的方法是使用深度卷积生成对抗网络，生成器使用单尺度的u
‑
net结构用于遥感图像的生成，生成的图像与真实图像作为判别器的输入。通过生成器和判别器互相博弈，使得网络生成的彩色图片越来越逼近真实图片。除此之外，目前也存在根据特征金字塔网络(fpn)设计的多尺度输出图像级联求和的网络。其中每个输出都被监督为一个独立的鉴别器，通过不同尺度的鉴别器对颜色输出进行监督。
4.目前基于深度卷积生成对抗网络的着色方法，只在单一尺度提取特征生成图片，但是遥感图像的物体分布是不平衡的，例如，总是有微观物体(汽车或船只)被宏观连续纹理区域包围，这使得单尺度的上色容易在一致空间中产生突变像素，使得生成图像真实性差。而以往通过引入多尺度判别器来解决上述问题的方法，只优化了jensen
‑
shannon散度的测量，而不能对宏观尺度空间稳定性施加很强的约束。


技术实现要素：

5.针对现有技术存在的不足，本发明提供一种基于双流生成器深度卷积对抗生成网络的遥感图像上色方法，提出一种双流生成器深度卷积对抗生成网络，该网络包括生成器、后融合模块、判别器，所述生成器由两条具有不同尺度的u
‑
net结构的生成网络组成，以保持宏观尺度的空间一致性和微观对象细节。在双流深度卷积生成对抗网络中，宏观尺度分布可以作为约束微观尺度生成模型的先验，以缓解上色中的不适定问题。另外，选择两个尺度对应元素相加的策略实现不同尺度融合，从获得高质量的遥感图像着色图片。
6.为了解决上述技术问题，本发明采用的技术方案是：
7.基于双流生成器深度卷积对抗生成网络的遥感图像上色方法，包括以下步骤：
8.一、构建双流生成器深度卷积对抗生成网络，该网络包括生成器、后融合模块、判别器，所述生成器由两条具有不同尺度的u
‑
net结构的生成网络组成；
9.一条是原始尺度的生成网络，以遥感图像原始灰度图作为输入，输出原始图片相同尺寸的特征图；另一条是宏观尺度的生成网络，先对灰度图进行平均池化得到大小为原始灰度图一半尺寸，再将其输入u
‑
net生成网络，生成尺寸为原始灰度图一半的小尺度特征
图，将该小尺度特征图进行上采样，得到原始大小的特征图；
10.最终将两个尺度生成特征图输入后融合模块进行一个后融合，得到最终的生成图像；
11.将生成图像与对应的真实图像输入判别器，使判别器正确判别生成图像与真实图像，通过生成器与判别器博弈的方法优化网络；
12.二、将原始图像输入所述双流生成器深度卷积对抗生成网络，通过生成器与判别器持续的训练对抗，来生成与真实图像更为相近的着色图片。
13.进一步的，生成网络首先对输入图像进行编码操作，不断提取特征，直到特征图可以足够提取高维特征时，再进行解码操作，使用反卷积的方式进行特征恢复；将编码过程的每层加到解码过程中的对应层实现跳跃连接，最终输出提取出的特征图。
14.进一步的，步骤一中，采用双三次线性插值的方法对小尺度生成特征进行上采样，通过在现有像素之间添加新像素来放大图像，得到原始大小的特征图；
15.要添加的像素的位置是(x，y)，那么这一点的像素大小根据其周围的16个点在水平和垂直方向上计算的；利用bicubic构造函数计算周围16个点对(x，y)的影响系数，影响系数如以下公式所示：
[0016][0017]
进一步的，两个尺度生成的特征图在后融合时，选择两个尺度对应元素相加的策略实现不同尺度融合，获得高质量的遥感图像着色图片。
[0018]
进一步的，两个尺度生成的特征图后融合时，将宏观尺度生成特征图经过上采样、卷积操作，获得与原始图像相同通道数量和尺寸大小的特征图，然后将其与另一条生成网络生成的原始尺度生成特征图对应通道对应元素相加，将获得的特征图再进行卷积操作，生成最终的彩色遥感图像。
[0019]
优选的是，两个尺度生成的特征图在后融合时，首先将宏观尺度生成特征图上采样为64通道，256*256大小的特征图，再将其进行卷积操作获得3通道的特征图；然后将其与另一条生成网络生成的原始尺度特征图对应通道对应元素相加得到256*256大小，通道为3的特征图；最后对这个特征图进行卷积核为1*1，步长为1的卷积，从而生成最终的彩色遥感图像。
[0020]
进一步的，通过生成器与判别器博弈的方法优化网络时，首先，进行生成器g训练，此时判别器d固定不动，训练生成器g时，有以下公式：
[0021][0022]
f2＝λ||g(x1，x2)
‑
y)||1ꢀꢀꢀ
(2)
[0023]
式中，x1为第一条线路的样本，x2为第二条线路的样本，g(x1,x2)为生成的图像样本，y为原始图像，d(g(x1,x2))表示判别器d判别生成图像是真实图像的概率；f1是判别器判别生成图片是假图时给的分数；当训练生成器g时，希望生成的图片越真越好，因此，判别器d给生成图片的打分越高越好，所以f1越小越好；
[0024]
f2是l1范数损失函数，它是把生成图像与真实图像对应像素值的绝对差值的总和最小化，λ为超参数；
[0025]
由此，得到其中一个目标函数，如下公式(3)所示：
[0026][0027]
为生成器g的损失，该目标函数是最小化判别器d给生成图片的得分和最小化生成图片和真实图片的对应像素差值；
[0028]
然后，进行判别器d训练，此时生成器g固定不动，训练判别器d时，有以下公式：
[0029][0030][0031]
式中，d(y∣(x1,x2))表示判别器d将真实图像y识别为真样本的概率，f3是判别器d给真实图像y的分数；f4是判别器d给生成图片的分数的经过一些运算的相反数，这里期望判别器d给生成图片低分，所以它的相反数应该是高分；
[0032]
由此，得到一个目标函数，使f3和f4最大化，如下公式(6)所示：
[0033][0034]
j
(d)
为判别器d的损失，该目标函数是最大化判别器d给真实图片的得分、最小化判别器d给生成图片的得分。
[0035]
与现有技术相比，本发明优点在于：
[0036]
1.采用本发明的双流生成器深度卷积生成对抗网络进行遥感图像上色，在不同尺度提取特征，通过宏观尺度网络解决微观尺度网络中大范围纹理区域的过拟合问题，解决了遥感图像类别分布不平衡引起的着色空间不一致的问题，减少了不适定问题的发生。当使用相同大小的卷积核时，微观尺度生成网络具有比宏观尺度更大的感受野。正是由于较大的感受野，使得宏观尺度网络能够捕捉到更多的上下文信息，更加注重区域相关性，因此能够平滑由于遥感图像分布不平衡所造成的着色空间不连续性。
[0037]
2.宏观尺度的生成网络可以作为原始尺度生成模型的先验，通过宏观尺度提取的特征对微观尺度提取的特征，即细节信息，进行平滑处理，解决遥感图像中出现的不适定问题。而对于微观尺度网络，更加重视细节的提取。因此，融合宏观尺度和微观尺度不仅可以保证着色的空间完整性和一致性，而且还可以考虑到颜色的提取细节。
附图说明
[0038]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0039]
图1为本发明实施例的双流生成器深度卷积对抗生成网络结构图；
[0040]
图2为本发明实施例的宏观尺度生成网络的网络结构图；
[0041]
图3为本发明实施例的后融合方法示意图。
具体实施方式
[0042]
下面结合附图及具体实施例对本发明作进一步的说明。
[0043]
基于双流生成器深度卷积对抗生成网络的遥感图像上色方法，包括以下步骤：
[0044]
一、构建双流生成器深度卷积对抗生成网络，该网络包括生成器、后融合模块、判别器，所述生成器由两条具有不同尺度的u
‑
net结构的生成网络组成，以保持宏观尺度的空间一致性和微观对象细节。
[0045]
其中，一条是原始尺度的生成网络(即微观尺度生成网络)，以遥感图像原始灰度图作为输入，输出原始图片相同尺寸的特征图；另一条是宏观尺度的生成网络，先对灰度图进行平均池化得到大小为原始灰度图一半尺寸，再将其输入u
‑
net生成网络，生成尺寸为原始灰度图一半的小尺度特征图，将该小尺度特征图进行上采样，得到原始大小的特征图。
[0046]
结合图1所示，以原始图尺寸为256*256为例，生成器的输入图像为遥感图像灰度图，灰度图同时进入两条u
‑
net结构的生成网络，原始尺度的生成网络输出的特征图尺寸为256*256；宏观尺度的生成网络先对灰度图进行平均池化得到大小为原始灰度图一半尺寸，即128*128的灰度图，再将其输入u
‑
net网络，生成尺寸为128*128的特征图。将小特征图采用双三次线性插值的方法进行上采样，得到原始大小的特征图。最终将两个尺度生成特征图进行一个后融合，得到最终的生成图片。
[0047]
最终将两个尺度生成特征图输入后融合模块进行一个后融合，得到最终的生成图像。
[0048]
将生成图像与对应的真实图像输入判别器，使判别器正确判别生成图像与真实图像，通过生成器与判别器博弈的方法优化网络。
[0049]
其中，在此网络中，优化网络方法如下：
[0050]
1.首先，生成器g训练。当训练生成器g时，判别器d固定不动。
[0051]
训练生成器g时，有以下公式：
[0052][0053]
f2＝λ||g(x1，x2)
‑
y)||1ꢀꢀꢀ
(2)
[0054]
式中，x1为第一条线路的样本，x2为第二条线路的样本，g(x1,x2)为生成的图像样本，y为原始图像，d(g(x1,x2))表示判别器d判别生成图像是真实图像的概率；f1是判别器判别生成图片是假图时给的分数。当训练生成器g时，希望生成的图片越真越好，因此，判别器d给生成图片的打分越高越好(实际上真图给高分、假图即生成图给低分)，所以f1越小越好。
[0055]
f2是l1范数损失函数，它是把生成图像与真实图像对应像素值的绝对差值的总和最小化；λ为超参数，本实施例取值λ＝100。
[0056]
由此，得到其中一个目标函数，如下公式(3)所示：
[0057][0058]
为生成器g的损失，该目标函数是最小化判别器d给生成图片的得分(这里
的得分指的是判别器认为生成图片是真实图片的概率)和最小化生成图片和真实图片的对应像素差值。
[0059]
2.然后，判别器d训练。当训练判别器d时，生成器g固定不动。
[0060]
训练判别器d时，希望判别器d给真实图片高分，给生成图片低分，有以下公式：
[0061][0062][0063]
式中，d(y∣(x1，x2))表示判别器d将真实图像y识别为真样本的概率，f3是判别器d给真实图像y的分数。f4是判别器d给生成图片的分数的经过一些运算的相反数，这里期望判别器d给生成图片低分，所以它的相反数应该是高分。
[0064]
由此，得到一个目标函数，使f3和f4最大化，如下公式(6)所示：
[0065][0066]
j
(d)
为判别器d的损失，该目标函数是最大化判别器d给真实图片的得分、最小化判别器d给生成图片的得分。
[0067]
最后，通过生成器、判别器交替训练，优化网络。
[0068]
二、将原始图像输入所述双流生成器深度卷积对抗生成网络，通过生成器与判别器持续的训练对抗，来生成与真实图像更为相近的着色图片。
[0069]
在双流深度卷积生成对抗网络中，宏观尺度分布可以作为约束微观尺度生成模型的先验，以缓解上色中的不适定问题。另外，选择两个尺度对应元素相加的策略实现不同尺度融合，从获得高质量的遥感图像着色图片。
[0070]
下面分别介绍各部分：
[0071]
1.生成器
[0072]
生成网络首先对输入图像进行编码操作，不断提取特征，直到特征图可以足够提取高维特征时(本实施例此处特征图尺寸为2*2大小时)，再进行解码操作，使用反卷积的方式进行特征恢复；将编码过程的每层加到解码过程中的对应层实现跳跃连接，最终输出提取出的特征图。其中，宏观尺度生成网络的网络结构如图2所示。
[0073]
2.上采样方法
[0074]
采用双三次线性插值的方法对小尺度生成特征进行上采样，通过在现有像素之间添加新像素来放大图像，得到原始大小的特征图；
[0075]
如果要添加的像素的位置是(x，y)，那么这一点的像素大小根据其周围的16个点在水平和垂直方向上计算的；利用bicubic构造函数计算周围16个点对(x，y)的影响系数，影响系数如以下公式所示：
[0076][0077]
需要注意的是，这种插值方法可以反向传播。
[0078]
3.后融合方法
[0079]
两个尺度生成的特征图在后融合时，选择两个尺度对应元素相加的策略实现不同尺度融合，获得高质量的遥感图像着色图片。
[0080]
具体的，两个尺度生成的特征图后融合时，将宏观尺度生成特征图经过上采样、卷积操作，获得与原始图像相同通道数量和尺寸大小的特征图，然后将其与另一条生成网络生成的原始尺度生成特征图对应通道对应元素相加，将获得的特征图再进行卷积操作，生成最终的彩色遥感图像。结合图3所示的后融合示意图，将宏观尺度生成特征图首先上采样为64通道，256*256大小的特征图，再将其进行卷积操作获得3通道的特征图。然后将其与另一条生成网络生成的原始尺度特征图对应通道对应元素相加得到256*256大小，通道为3的特征图。最后对这个特征图进行卷积核为1*1，步长为1的卷积，从而生成最终的彩色遥感图像。
[0081]
综上所述，本发明采用双流生成器深度卷积生成对抗网络进行遥感图像上色，在不同尺度提取特征，通过宏观尺度网络解决微观尺度网络中大范围纹理区域的过拟合问题，解决了遥感图像类别分布不平衡引起的着色空间不一致的问题，减少了不适定问题的发生。
[0082]
宏观尺度网络能够捕捉到更多的上下文信息，能够平滑由于遥感图像分布不平衡所造成的着色空间不连续性，通过融合宏观尺度和微观尺度不仅可以保证着色的空间完整性和一致性，而且还可以考虑到颜色的提取细节。
[0083]
当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。