一种基于生成式对抗网络的空间目标样本增广方法

1.本发明属于空间智能操控技术领域，具体涉及一种基于生成式对抗网络的空间目标样本增广方法。


背景技术：

2.基于深度神经网络的高识别率需要巨量的、类别丰富的数据集作为支撑，识别模型通过对大数据集的训练，逐渐学习到图像识别所需的特征信息，最终利用组合的高级特征完成目标识别任务。但在面向空间碎片清除、交会对接、在轨组装等航天任务中，应用深度学习方法识别空间目标会面临识别准确率急剧下降的问题，主要原因在于用于训练空间目标识别模型的数据不足。与地面常规目标的数据集收集不同，空间目标的状态不稳定、部分可能为他方航天器，无法获取种类丰富的目标作为训练样本。即使付出了昂贵的代价来获取训练数据集，随着失效卫星、太空碎片、火箭末级残骸等新目标不断增多，数据集无法有效更新。
3.为增广空间目标样本集，传统方法一般采用图像旋转、剪切、模糊、缩放等方式，但增广后的数据集训练容易导致模型过拟合。也有部分传统方法采用模拟数据训练模型，但地面试验条件下产生的模拟训练数据样本相对单一和有限，难以完全模拟空间实际情况，导致训练后的模型难以适应真实的空间环境。样本生成旨在基于同一种类的少量图像，生成该种类更多的图像，可以用来增广已有的训练数据，从而增强空间目标识别任务。随着生成式对抗网络的发展，生成模型开始用来做数据增广，但训练阶段模型易坍塌，生成阶段的样本不够逼真、模式单一。
4.因此，为解决稀缺样本条件下的空间目标识别等问题，有必要研究面向稀缺认知样本的生成技术，以此来扩展空间目标数据集。


技术实现要素：

5.针对于上述现有技术的不足，本发明的目的在于提供一种基于生成式对抗网络的空间目标样本增广方法，以解决现有样本增广方法存在的模式单一、样本质量低等问题，本发明可以有效提高生成样本的质量，在降低模式坍塌同时抑制梯度消散。
6.为达到上述目的，本发明采用的技术方案如下：
7.本发明的一种基于生成式对抗网络的空间目标样本增广方法，步骤如下：
8.1)空间目标的不变特性关联性分析，对其不变特征和差异特征进行分类，为生成式对抗网络提供可供选择的样本；
9.2)分析原有损失函数易导致模式坍塌的原因，使用逼真度函数替代生成式对抗网络原有的损失函数，对目标进行样本生成；
10.3)基于自然进化方式，将生成器的生成过程转化为变异过程，并将原有的单个生成器修改为3个待进化的异类生成器；设立适应度函数自我优化空间目标样本，并将优化后的目标样本输入到判别器。
11.进一步地，所述步骤1)中空间目标的不变特性关联性分析具体包括：
12.11)样本相似性分析：对空间目标的样本进行增广，要求目标域和源域的数据分布尽可能相似，以保证分类器不变的情况下，对识别任务保持尽可能相同的性能；
13.12)特征相似性分析：在样本增广前，从原始样本集中提取原始或附加特征，去除受迁移转换因素影响大的特征，同时选择一组不受响的特征作为样本增广的输入特征；
14.13)模型相似性分析：考虑目标域训练样本不足的情况，通过源域训练分类模型并保持数据分布不变，使分类器适应于目标域的数据分布。
15.进一步地，所述步骤2)具体为：
16.21)模式坍塌分析：通过kl散度与js散度的定义分析生成式对抗网络原有的损失函数的缺陷，证明原有的损失函数易导致生成式对抗网络训练过程陷入模式坍塌，不利于空间目标样本的生成；
17.22)定义逼真度函数，将生成式对抗网络判别器原有的单一变量输出替换为关于逼真分布度的输出。
18.进一步地，所述步骤21)具体为：
19.生成式对抗网络包含生成器g和判别器d两部分，生成器以随机噪声z～p(z)作为输入，输出为生成样本分布pg(x)；判别器以样本集真实样本分布p
data
(x)为输入，输出为生成样本分布pg(x)与真实样本分布p
data
(x)之间的差异性；原有的成式对抗网络满足以下：
[0020][0021]
其中，d(x)表示判别器d对真样本的输出，d(g(z))表示判别器d对假样本的输出，g(z)表示生成器g生成的样本，表示样本x属于真实样本分布p
data
(x)的期望，表示由噪声数据z～p(z)生成的假样本的数学期望，表示x属于生成样本分布pg(x)的期望；判别器d的损失函数定义为：
[0022][0023]
生成器g的损失函数为：
[0024][0025]
整个对抗网络达到纳什平衡的条件为：
[0026][0027]
当p
data
(x)＝pg(x)时，d
*
(x)＝0.5表示为判别器的最优输出，p
data
(x)表示真实样本分布，pg(x)表示生成样本分布；
[0028]
定义p
data
(x)与pg(x)的kl散度为：
[0029][0030]
其中，kl(
·
)表示kl散度；定义p
data
(x)与pg(x)的js散度公式：
[0031][0032]
其中，js(
·
)表示js散度；当p
data
(x)＝pg(x)，则原有的损失函数变换为：
[0033][0034]
其中，表示样本x属于真实样本分布p
data
(x)的期望，表示由噪声数据z～p(z)生成的假样本的数学期望；将kl散度与js散度带入到后得到：
[0035][0036]
因此，生成式对抗网络使用原有的损失函数训练时，当p
data
(x)＝pg(x)，
[0037]
此时损失函数输出的是一个恒值-2log2，即梯度为0，最终导致判别器d对生成器g没有梯度指导，导致生成式对抗网络模式坍塌。
[0038]
进一步地，所述步骤22)具体包括：
[0039]
原有的损失函数中，判别器d输出的单一标量1或者0易导致损失函数输出-2log2；将判别器d输出的单一标量转变为多变量输出来抑制此问题；
[0040]
利用逼真分布pr作为判别器d的输出，对于任意给定的样本x，判别器d满足d(x)＝{pr(x,u)；ω是pr的集合，u是逼真度评价标准函数；定义真分布为r1，假分布为r0，以替代原有的1和0；则生成式对抗网络变为：
[0041][0042]
其中，d
kl
(
·
)表示两个分布之间的kl散度，d(x)表示判别器d对真样本的输出，表示样本x属于真实样本分布p
data
(x)的期望，表示x属于生成样本分布pg(x)的期望，r0表示逼真分布输出的假样本分布，r1表示逼真分布输出的真样本分布；
[0043]
基于逼真度的对抗网络达到纳什均衡满足的条件为：
[0044][0045]
其中，d
*
(x,u)表示基于逼真分布pr的判别器最优输出；当r1(u)＝1，r0(u)＝0，即判别器对生成的样本分布pg(x)输出0，此时，d
*
(x,u)＝d
*
(x)＝0.5，即基于分布度的损失函数不会改变原始的纳什均衡。
[0046]
进一步地，所述步骤3)具体包括：
[0047]
31)将生成器的生成过程转化为变异过程，并将原有的单个生成器修改为3个待进化的异类生成器；
[0048]
32)定义适应度函数；
[0049]
33)通过适应度函数的得分情况，滤除不符合要求的子代目标；将合格的样本输入到判别器d中，并作为下一次网络迭代的初始化样本。
[0050]
进一步地，所述步骤31)具体包括：
[0051]
基于自然进化方式，将生成器g的生成过程转化为变异过程，并将原有的单个生成器g修改为3个待进化的异类生成器以此提高生成样本的多样性和质量；异类生成器最小化d(x)与r0之间的kl散度：
[0052][0053]
其中，d
kl
(
·
)表示两个分布之间的kl散度，g(z)表示生成的样本，表示由噪声数据z～p(z)生成的假样本的数学期望，d(g(z))表示假样本的判别器得分，r0表示逼真分布输出的假样本分布；异类生成器定义为：
[0054][0055]
其中，d
kl
(
·
)表示两个分布之间的kl散度，表示x属于真实样本分布p
data
(x)与噪声数据z～p(z)生成的假样本的联合数学期望，d(g(z))表示假样本的判别器得分，d(x)表示真实样本的判别器得分，r0表示逼真分布输出的假样本分布；异类生成器分别定义为：
[0056][0057]
其中，d
kl
(
·
)表示两个分布之间的kl散度，表示由噪声数据z～p(z)生成的假样本的数学期望，d(g(z))表示假样本的判别器得分，r0表示逼真分布输出的假样本分布，r1表示逼真分布输出的真样本分布；因此，为3个待进化的异类生成器。
[0058]
进一步地，所述步骤32)具体包括：
[0059]
适应度函数的目的是将步骤31)中的3个异类生成器的变异样本进行自然选择，下标i,j,k分别表示变异后生成器所生成的对应样本；利用最小二乘适应度函数来衡量生成的假样本的质量和多样性；适应度函数fq定义为：
[0060][0061]
其中，表示由噪声数据z～p(z)生成的假样本的数学期望，g(z)表示生成器输出的样本，d(g(z))表示假样本的判别器得分；多样性适应度函数fd定义为：
[0062][0063]
其中，与分别表示判别器d与生成器g的梯度；
[0064]
整体适应度函数f定义为：
[0065]
f＝fq+λfd[0066]
其中，λ≥0为自适应参数，fq为适应度函数，fd为多样性适应度函数。
[0067]
进一步地，所述步骤33)具体包括：
[0068]
根据适应度函数的得分情况，按降序排序；找出序列的中间值σ，将适应度函数得分大于σ的定义为合格样本；将合格样本输入到判别器d中；
[0069]
所有生成的样本根据其的性能分数进行再次选择，将阈值σ筛选后的样本序列依据降序排序，选择序列的第一个样本充当下一个迭代训练的初始化样本；在进化选择的每一个进化步骤后，异类生成器完全变异；判别器开始更新，进一步将真实样本x和假样本y标注为1或0，判别过程如下：
[0070][0071]
其中，表示x属于生成样本分布pg(x)的期望，d(y)表示判别器对假样本y的输出，p
data
(x)表示真实样本的数据分布，表示y属于生成样本分布py(y)的期望，py(y)表示生成样本的数据分布。
[0072]
与现有技术相比，本发明的有益效果在于：
[0073]
1)本发明通过对空间目标的不变特性关联性分析，建立了样本相似性模型、特征相似性模型与分类模型，为生成式对抗网络提供可供选择的样本，减少了生成式对抗网络训练的时间。
[0074]
2)本发明将生成式对抗网络的原有损失函数改进为基于逼真度的损失函数，抑制了判别器对生成器的无梯度引导。
[0075]
3)本发明采用自然进化生成式对抗学习方式，将样本的生成问题转化为样本的变异问题，有效地降低了生成式对抗网络的梯度消散和模式坍塌问题且不改变原始的纳什均衡条件。
[0076]
4)本发明使用生成器和判别器的损失函数梯度作为判别依据，基自然进化选择中的样本筛选方法选取合格样本，促使生成器生成的空间目标图像进行自我优化以达到生成逼真的样本目的；同时，自然进化选择方法促使生成器生成的样本效果好，网络训练快，并且可以直接用于相关深度学习的训练。
附图说明
[0077]
图1为本发明方法的流程图；
[0078]
图2为自然进化生成式对抗网络的原理图。
具体实施方式
[0079]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0080]
参照图1、图2所示，本发明提供一种基于生成式对抗网络的空间目标样本增广方
法，步骤如下：
[0081]
1)空间目标的不变特性关联性分析，对其不变特征和差异特征进行分类，为生成式对抗网络提供可供选择的样本；
[0082]
示例中，所述的步骤1)中，设已有的目标图像为源域，生成的目标图像为目标域；将深度学习算法在源域下学习到的知识向目标域迁移，完成空间目标的扩展任务。源域与目标域存在一些共同的交叉特征，通过特征变换，将源域和空间目标域的特征变换到相同空间，使得该空间中源域数据与空间目标域数据具有相同分布的数据分布，然后进行对抗网络学习。考虑到基于共同特征空间的迁移方法主要是依靠相同的不变特征，需要对合作空间目标不变特征的关联性进行分析，对其不变特征和差异特征进行分类。
[0083]
具体如下：
[0084]
11)样本相似性分析；
[0085]
示例中，利用一种3层的凸状网络用于空间目标特性分析，每一层都有相对独立的封闭式运作机制；第1层是由超限学习机的特殊单层前馈网络，主要用于将源域的自然图像的通道信息映射到目标域的复杂环境下目标数据集中；第2层也是由超限学习机组成，主要作用是对复杂环境下的目标进行识扩展；第3层考虑到空间信息，通过使用随机游走算法进行空间正则化，使得目标图像转化成方格图像的形式，之后再使用能量函数进行正则化，进而提高了模型的稳定性和生成能力。
[0086]
12)特征相似性分析；
[0087]
通过神经网络对低分辨率自然图像和高分辨率自然图像之间的非线性映射进行建模，然后将学习到的映射关系通过单独处理通道迁移到目标域上；当进行复杂背景下目标扩展任务时，如果训练样本缺乏，可以利用之前在自然图像上学习到的关系，从普通的自然图像上提取与复杂背景下的图像中同一类别物体的特征，用于辅助进行复杂背景下的目标识别任务。
[0088]
13)模型相似性分析；
[0089]
基于模型的特性分析主要考虑目标域训练样本不足的情况，通过源域训练基于resnet的分类模型，并在数据分布保持不变的情况下，使用基于半监督学习的策略将分类器更恰当地适应于目标域的数据分布。首先，利用resnet网络进行特征提取，在自然图像数据中通过结合周围像素与当前像素的差异性进行训练。之后设计一个5层线性主成分分析网络来合成resnet输出的目标图像的特征信息，使得预训练卷积神经网络时源域和目标域之间的差异明显减小。接着，利用深度残差神经网络googlenet挖掘样本邻域空间的深层特征后，利用迁移的resnet网络进行再次特征提取，提高了残差网络在少量有标签情况下的分类效果。同时，使用双支3层卷积神经网络对复杂环境下的目标图像的通道信息和空间信息分别进行提取，之后与resnet网络的输出进行特征融合并分类。在分类过程中，考虑到resnet前3层卷积层捕获的是一些诸如边缘和棱角的低级特征，这些层的功能都是通用的，因此可以将源域训练好的网络层迁移到目标域中。而后3层卷积层一般用于提取特定目标场景的高级特征，不适合对这些层进行迁移，因此在对目标域进行分类时，后3层采用随机初始化的方式，再利用目标域的少量样本来训练，完成面向复杂环境下的目标扩展任务的模型迁移。
[0090]
完成步骤1)后，样本集待扩展的样本完成了样本相似性分析、特征相似性分析以
及模型的相似性分析，为生成式对抗网络的供了可生成样本的前提和条件。
[0091]
2)分析原有损失函数易导致模式坍塌的原因，使用逼真度函数替代生成式对抗网络原有的损失函数，对目标进行样本生成；
[0092]
具体地，所述步骤2)具体为：
[0093]
21)模式坍塌分析：通过kl散度与js散度的定义分析生成式对抗网络原有的损失函数的缺陷，证明原有的损失函数容易导致生成式对抗网络训练过程陷入模式坍塌，不利于空间目标样本的生成；
[0094]
22)定义逼真度函数，将生成式对抗网络判别器原有的单一变量输出替换为关于逼真分布度的输出。
[0095]
其中，所述步骤21)具体为：
[0096]
生成式对抗网络包含生成器g和判别器d两部分，生成器以随机噪声z～p(z)作为输入，输出为生成样本分布pg(x)；判别器以样本集真实样本分布p
data
(x)为输入，输出为生成样本分布pg(x)与真实样本分布p
data
(x)之间的差异性；原有的成式对抗网络满足以下：
[0097][0098]
其中，d(x)表示判别器d对真样本的输出，d(g(z))表示判别器d对假样本的输出，g(z)表示生成器g生成的样本，表示样本x属于真实样本分布p
data
(x)的期望，表示由噪声数据z～p(z)生成的假样本的数学期望，表示x属于生成样本分布pg(x)的期望；判别器d的损失函数定义为：
[0099][0100]
其中，d(x)表示判别器d对真样本的输出，d(g(z))表示判别器d对假样本的输出，g(z)表示生成器g生成的样本，表示样本x属于真实样本分布p
data
(x)的期望，表示由噪声数据z～p(z)生成的假样本的数学期望。
[0101]
生成器g的损失函数为：
[0102][0103]
其中，表示由噪声数据z～p(z)生成的假样本的数学期望，d(g(z))表示判别器d对假样本的输出，g(z)表示生成器g生成的样本。
[0104]
通过以上定义，整个对抗网络达到纳什平衡的条件为：
[0105][0106]
当p
data
(x)＝pg(x)时，d
*
(x)＝0.5表示为判别器的最优输出，p
data
(x)表示真实样本分布，pg(x)表示生成样本分布；
[0107]
定义p
data
(x)与pg(x)的kl散度为：
[0108][0109]
其中，kl(
·
)表示kl散度，pg(x)表示生成样本分布，p
data
(x)表示真实样本分布；定义p
data
(x)与pg(x)的js散度公式：
[0110][0111]
其中，js(
·
)表示js散度，pg(x)表示生成样本分布，p
data
(x)表示真实样本分布；当p
data
(x)＝pg(x)，则原有的损失函数变换为：
[0112][0113]
其中，pg(x)表示生成样本分布，p
data
(x)表示真实样本分布，表示样本x属于真实样本分布p
data
(x)的期望，表示由噪声数据z～p(z)生成的假样本的数学期望；将kl散度与js散度带入到后得到：
[0114][0115]
因此，生成式对抗网络使用原有的损失函数训练时，当p
data
(x)＝pg(x)，此时损失函数输出的是一个恒值-2log2，即梯度为0，最终导致判别器d对生成器g没有梯度指导，导致生成式对抗网络模式坍塌。
[0116]
所述步骤22)具体包括：
[0117]
原有的损失函数中，判别器d输出的单一标量1或者0易导致损失函数输出-2log2；将判别器d输出的单一标量转变为多变量输出来抑制此问题；
[0118]
利用逼真分布pr作为判别器d的输出，对于任意给定的样本x，判别器d满足d(x)＝{pr(x,u)；ω是pr的集合，u是逼真度评价标准函数；定义真为r1，假为r0，以替代原有的1和0；则生成式对抗网络变为：
[0119][0120]
其中，d
kl
(
·
)表示两个分布之间的kl散度，d(x)表示判别器d对真样本的输出，表示样本x属于真实样本分布p
data
(x)的期望，表示x属于生成样本分布pg(x)的期望，r0表示逼真分布输出的假样本分布，r1表示逼真分布输出的真样本分布；
[0121]
基于逼真度的对抗网络达到纳什均衡满足的条件为：
[0122][0123]
其中，d
*
(x,u)表示基于逼真分布pr的判别器最优输出；当r1(u)＝1，r0(u)＝0，即判别器对生成的样本分布pg(x)输出0，此时，d
*
(x,u)＝d
*
(x)＝0.5，即基于分布度的损失函数不会改变原始的纳什均衡。
[0124]
3)基于自然进化方式，将生成器的生成过程转化为变异过程，并将原有的单个生成器修改为3个待进化的异类生成器；设立适应度函数自我优化空间目标样本，并将优化后的目标样本输入到判别器；
[0125]
具体地，所述步骤3)具体包括：
[0126]
31)将生成器的生成过程转化为变异过程，并将原有的单个生成器修改为3个待进化的异类生成器；
[0127]
32)定义适应度函数；
[0128]
33)通过适应度函数的得分情况，滤除不符合要求的子代目标(模式单一、样本不丰富的子代目标)；将合格的样本输入到判别器d中，并作为下一次网络迭代的初始化样本。
[0129]
示例中，所述步骤31)具体包括：
[0130]
基于自然进化方式，将生成器g的生成过程转化为变异过程，并将原有的单个生成器g修改为3个待进化的异类生成器以此提高生成样本的多样性和质量；异类生成器最小化d(x)与r0之间的kl散度：
[0131][0132]
其中，d
kl
(
·
)表示两个分布之间的kl散度，g(z)表示生成的样本，表示由噪声数据z～p(z)生成的假样本的数学期望，d(g(z))表示假样本的判别器得分，r0表示逼真分布输出的假样本分布；异类生成器定义为：
[0133][0134]
其中，d
kl
(
·
)表示两个分布之间的kl散度，表示x属于真实样本分布p
data
(x)与噪声数据z～p(z)生成的假样本的联合数学期望，d(g(z))表示假样本的判别器得分，d(x)表示真实样本的判别器得分，r0表示逼真分布输出的假样本分布；异类生成器分别定义为：
[0135][0136]
其中，d
kl
(
·
)表示两个分布之间的kl散度，表示由噪声数据z～p(z)生成的假样本的数学期望，d(g(z))表示假样本的判别器得分，r0表示逼真分布输出的假样本分布，r1表示逼真分布输出的真样本分布；因此，为3个待进化的异类生成器。
[0137]
所述步骤32)具体包括：
[0138]
适应度函数的目的是将步骤31)中的3个异类生成器的变异样本进行自然选择，下标i,j,k分别表示变异后生成器所生成的对应样本；利用最小二乘适应度函数来衡量生成的假样本的质量和多样性；适应度函数fq定义为：
[0139]
[0140]
其中，表示由噪声数据z～p(z)生成的假样本的数学期望，g(z)表示生成器输出的样本，d(g(z))表示假样本的判别器得分；多样性适应度函数fd定义为：
[0141][0142]
其中，与分别表示判别器d与生成器g的梯度；
[0143]
整体适应度函数f定义为：
[0144]
f＝fq+λfd[0145]
其中，λ≥0为自适应参数，fq为适应度函数，fd为多样性适应度函数。进一步地，所述步骤33)具体包括：
[0146]
根据适应度函数的得分情况，按降序排序；找出序列的中间值σ，将适应度函数得分大于σ的定义为合格样本；将合格样本输入到判别器d中；
[0147]
所有生成的样本根据其的性能分数进行再次选择，将阈值σ筛选后的样本序列依据降序排序，选择序列的第一个样本充当下一个迭代训练的初始化样本；在进化选择的每一个进化步骤后，异类生成器完全变异；判别器开始更新，进一步将真实样本x和假样本y标注为1或0，判别过程如下：
[0148][0149]
其中，表示x属于生成样本分布pg(x)的期望，d(y)表示判别器对假样本y的输出，p
data
(x)表示真实样本的数据分布，表示y属于生成样本分布py(y)的期望，py(y)表示生成样本的数据分布。
[0150]
与传统的空间目标样本集扩展方法相比，本发明可使空间目标样本增广2个量级，样本多样性提高30倍。
[0151]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0152]
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。