增强舰船目标检测SAR图像数据的方法与流程

增强舰船目标检测sar图像数据的方法
技术领域
1.本发明涉及人工智能领域的数据增强，具体涉及基于生成对抗网络的图像数据智能增强技术，尤其是面向舰船目标检测的sar图像数据增强方法。


背景技术：

2.在海洋监测、地质勘探等领域中，合成孔径雷达(sar)具有全天时、全天候、高分辨、宽测绘带等特点。强穿透的主动式微波遥感技术，是海洋信息获取与监测中不可或缺的重要手段合。由于sar图像反映的是目标的电磁散射特性，其中包含的匀质杂波和人造杂波降低了传统目标检测方法的准确率。除了常见的杂波虚警之外，由舰船目标自身所导致的方位向模糊也是舰船目标检测中的一个难点问题。船只的方位向模糊主要是由船只的单次或者二次散射导致的。传统的舰船目标检测所利用的数据是单通道sar数据，这类数据只包含舰船的强度信息，因此不能全面地反映船只目标与海面杂波间的散射信息差异。目前在sar图像船舶检测领域应用最为广泛的是cfar及其各种改进算法。它通过对背景杂波进行统计分布建模来检测舰船目标。由于sar系统的相干成像特点以及海面状况的复杂性，导致sar图像中杂波分布具有较强的时变性、非平稳性、非高斯性等特征，使得cfar检测算法具有较高的虚警率。并且，cfar检测算法在很大程度上依赖于对杂波模型、虚警率、目标窗口、保护窗口和背景窗口的准确估计，使得检测性能在实际应用中存在较大的不确定性。识别的数据集需要收集各类舰船目标的大量的样本，难度较大。数据集ssdd是通过在网上下载公开的sar图像，并将目标区域裁剪成大小为500
×
500左右像素，并通过人工标注舰船目标位置而得的。ssdd是国内外公开的第一个专门用于sar图像舰船目标检测的数据集，它可以用于训练和测试检测算法，使研究人员在同一个条件下对比算法性能。对于每个舰船，检测算法预测舰船目标的边框，并给出是舰船目标的置信度。ssdd是借鉴pascal voc数据集的制作过程来制作的，这是因为pascal voc在目标检测领域应用较多，数据格式较规范，可以直接使用现有的算法在ssdd数据集上处理，对代码改动较小。传统的以cfar为主的检测算法能适应这类场景。复杂背景(靠岸区域)下的舰船目标尺寸小，这些目标背景复杂，传统方法要进行海陆分割才能进行检测，相比于基于深度学习的方法，会存在漏警和虚警的问题。靠近码头密集排列的大尺寸的舰船目标，此时传统检测方法难以检测到这些目标，而深度学习方法可以检测到它们。舰船目标长或者宽度所占图像尺寸的比例在0.04到0.24范围内，比pascal voc的0.2到0.9要小很多。这为改进现有的深度学习目标检测算法提供了参考。通常，垂直边框中的很多像素不属于船的像素，这对于区分背景和舰船区域十分不利，尤其是密集排列的交叠非常大的舰船目标。舰船大多数是在45度左右的倾斜方向，其它几个方向基本上呈现的是均匀的分布，即各种旋转角度都会存在。通过对数据集中目标尺寸的统计分析可以看到相比于计算机视觉领域的数据集，ssdd中的目标尺寸很小，小尺寸检测一直是比较困难的(ms coco中大尺寸的准确率比小尺寸高两倍左右)，因为它包含的信息少，不易提取的特征。随着深度学习技术的发展，其在sar舰船检测领域的成功应用证明了深度神经网络模型挖掘目标特征的能力。然而，不可避免的问题是，深度神经网络模型需
要大量数据支撑训练，而sar数据的标注过于昂贵且耗时。
3.早在2014年，ian goodfellowes等人首次提出了生成对抗网络(generative adversarial networks，gan)用于生成新的数据样本。通过编码网络尽可能生成和真实样本相同的数据，对抗达到纳什均衡。但现有生成对抗网络方法中的目标函数难以有效指导梯度下降而造成训练不稳定甚至模式崩溃，为了解决梯度消失的问题，xudong mao等人在2017年提出了最小二乘生成对抗网络，采用最小二乘损失函数作为判别器，优化目标函数达到更好地生成高质量图像，且表现更为稳定。通常在处理两个及以上具有有限的可伸缩性和鲁棒性的图像域时，需要为每对图像域建立不同的模型。
4.随着硬件资源的更新换代，andrew brock以及deepmind团队提出了biggan，其主要创新点在于将正交正则化的思想引入gan，通过对输入先验分布z的适时截断使得训练更平稳；增加2～4倍的参数量和8倍的块大小，大大提升了gan的生成性能。但是该模型计算量相当庞大，因此需要配合较高的硬件配置才能满足模型需求。而且传统gan生成的sar图像无标签，需人工打标后才能作为训练数据使用。
5.在sar图像目标检测领域，现有数据集通用性低，且受轨道、空域等因素限制导致sar图像数据在观察角度、分辨率等方面是离散且缺失的。现实环境中的多种因素影响了sar图像目标检测的准确率。针对sar图像质量不高、样本数量不充足等问题，部分学者引进gan技术以生成新的sar数据，增加样本多样性。张明蕊等人采用梯度惩罚wgan(wgan-gp)快速稳定的生成不同方位角的sar图像。针对sar图像极不匀质区域分割中的样本不平衡问题，有学者提出了结构约束的生成对抗网络，有效解决了gan生成的图像结构模糊、严重变形的问题。然而，现有的一系列gan增强sar图像技术多为生成不带标签的数据，然后使用半监督模型进行分类或检测。虽然半监督模型的引入能简化生成模型的设计，但效果和有监督网络仍存在一定差距。如何构建自动生成带标签的sar图像网络模型是极具实际应用价值的研究方向。常规的图像增强方法大多基于像素点的灰度值进行处理，这些方法对噪声较为敏感，而sar图像中具有较强的相干斑噪声，往往不能有效地对“有用”区域进行增强。
6.随着海洋开发利用强度的与日俱增,以及海洋权属争端形势的日益严峻,海上舰船检测与动态监测应用对相关监视监控系统的“实时性”、“机动性”提出了更高的要求。卫星遥感技术是海上舰船监视监测的重要手段,在舰船检测、分类、识别与运动特征提取中发挥了重要的作用,然而低轨道卫星在观测范围、实时性、连续性动态观测方面已难以满足相关应用的需求。


技术实现要素：

7.本发明的目的是针对现有sar图像数据增强方法存在的生成数据质量低、无标签、实用性不强等问题，提供一种训练稳定、模式稳健，具有多样性及实用性，能够提升生成sar图像数据的质量，面向舰船目标检测的sar图像数据增强方法。
8.本发明的上述目的可以通过以下措施来实现，一种增强舰船目标检测sar图像数据的方法。其特征在于，包括如下步骤：首先，以舰船位置为中心，将图像形式的舰船位置作为sar图像增强的约束条件c，约束条件c和隐变量z作为基于舰船位置信息的条件生成对抗网络生成器的输入，隐变量z通过两个全连接层后得到高维特征向量，并将其重构为隐变量特征图，约束条件c通过卷积
层得到条件特征图，隐变量特征图和条件特征图级联后输入到至少4层转置卷积层，得到综合特征图，逐层上采样提高特征分辨率，生成新的sar舰船图像，将作为约束条件c的目标框对应转换成所生成sar数据的标签；其次，对于输入的真实sar图像和生成的sar图像，判别器结合作为约束条件的舰船位置信息，形成作为判别器网络输入的数据-标签对，判别器通过卷积层提取数据-标签对的特征，判断生成sar图像的真假，同时判断生成图像/真实图像分别与对应约束条件的匹配程度，通过生成器和判别器的对抗学习，生成sar图像更接近真实的sar图像；最后，将所构建的条件生成对抗网络模型与目标检测网络进行级联，通过舰船目标检测结果评估生成sar图像数据质量，并将检测结果反馈给条件生成对抗网络，不断优化生成器，激励其生成更高质量的sar图像新数据，通过对抗网络与目标检测网络的协同学习，增强sar图像数据。
9.本发明相比于现有技术的有效增益在于：(1)本发明面向舰船目标检测，以舰船位置为中心，将图像形式的舰船位置作为sar图像增强的约束条件c，约束条件c和隐变量z作为基于舰船位置信息的条件生成对抗网络生成器的输入，隐变量z通过两个全连接层后得到高维特征向量，并将其重构为隐变量特征图，约束条件c通过卷积层得到条件特征图，隐变量特征图和条件特征图级联后输入到至少4层转置卷积层，得到综合特征图，逐层上采样提高特征分辨率，生成新的sar舰船图像，将作为约束条件c的目标框对应转换成所生成sar数据的标签；对于输入的真实sar图像和生成的sar图像，判别器结合作为约束条件的舰船位置信息，形成作为判别器网络输入的数据-标签对，判别器通过卷积层提取数据-标签对的特征，判断生成sar图像的真假，同时判断生成图像/真实图像分别与对应约束条件的匹配程度。这种基于舰船位置信息辅助的条件生成对抗网络通过使用最优传输距离作为度量函数，可更好地衡量真实数据与生成数据间的距离，正确指导模型梯度下降方向，从而使模型的训练稳定、模式稳健。可以避免现有生成对抗网络方法中的目标函数难以有效指导梯度下降而造成训练不稳定甚至模式崩溃。
10.(2)本发明将隐变量特征图和条件特征图级联后输入到至少4层转置卷积层，得到综合特征图，逐层上采样提高特征分辨率，生成新的sar舰船图像，将作为约束条件c的目标框对应转换成所生成sar数据的标签，具备生成带标签sar图像数据的能力。本发明的基于舰船位置信息辅助的条件生成对抗网络将舰船位置信息作为生成器的约束条件和生成图像的标签，在网络训练完成后，可直接生成新的带标签的sar图像数据，克服了传统gan生成的sar图像无标签，需人工打标后才能作为训练数据使用的缺陷。
11.(3)本发明将所构建的基于舰船位置信息辅助的条件生成对抗网络模型与目标检测网络进行级联，通过舰船目标检测结果评估生成sar图像数据质量，并将检测结果反馈给条件生成对抗网络，不断优化生成器，激励其生成更高质量的sar图像新数据，通过对抗网络与目标检测网络的协同学习，增强sar图像数据。具有多样性及实用性，能够提升生成sar图像数据的质量。
附图说明
12.图1是本发明基于舰船位置信息的条件生成对抗网络结构示意图；图2是本发明构建的条件生成对抗网络与目标检测协同学习框架示意图；为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照
附图，对本发明进一步详细说明。
具体实施方式
13.参阅图1。首先，以舰船位置为中心，将图像形式的舰船位置作为sar图像增强的约束条件c，约束条件c和隐变量z作为基于舰船位置信息的条件生成对抗网络生成器的输入，隐变量z通过两个全连接层后得到高维特征向量，并将其重构为隐变量特征图，约束条件c通过卷积层得到条件特征图，隐变量特征图和条件特征图级联后输入到至少4层转置卷积层，得到综合特征图，逐层上采样提高特征分辨率，生成新的sar舰船图像，将作为约束条件c的目标框对应转换成所生成sar数据的标签；其次，对于输入的真实sar图像和生成的sar图像，判别器结合作为约束条件的舰船位置信息，形成作为判别器网络输入的数据-标签对，判别器通过卷积层提取数据-标签对的特征，判断生成sar图像的真假，同时判断生成图像/真实图像分别与对应约束条件的匹配程度，通过生成器和判别器的对抗学习，生成sar图像更接近真实的sar图像；最后，将所构建的条件生成对抗网络模型与目标检测网络进行级联，通过舰船目标检测结果评估生成sar图像数据质量，并将检测结果反馈给条件生成对抗网络，不断优化生成器，激励其生成更高质量的sar图像新数据，通过对抗网络与目标检测网络的协同学习，增强sar图像数据。
14.基于舰船位置信息的条件生成对抗网络，包括：生成器和判别器两部分，生成器以隐变量z和约束条件c作为输入，隐变量z通过两个全连接层后得到高维特征向量，并将其重构为4
×4×
256的隐变量特征图；约束条件c通过4层步长为2的卷积层得到4
×6×
256的条件特征图；将两个特征图级联后输入到4层转置卷积层，逐层上采样提高特征分辨率，生成大小为64
×
64像素的新的sar舰船图像，并且为了有效利用特征信息，在每两层转置卷积层间增加一个残差连接。判别器通过图像-标签对的方式引入舰船位置信息，将生成图像/真实图像分别与对应的约束条件级联，形成64
×
64
×
26的网络输入；判别器网络结构由4个堆叠卷积层、两层全连接层和softmax层组成，卷积层提取数据-标签对的特征，全连接层将特征转化为标量，softmax层为线性分类器，可以鉴别生成sar图像的真假，同时判断生成图像/真实图像分别与对应约束条件的匹配程度，进而实现对生成器生成结果的反馈调节，提高模型的生成质量。基于舰船位置信息的条件生成对抗网络引入最优传输距离构建生成器目标函数：和判别器的目标函数：其中，e[
·
]表示分布函数期望值，x～pr表示x服从概率分布pr，表示服从概率分布pg，c、分别为真实图像和生成图像对应约束，是真实图像的非匹配约束，d(x|c)和分别表示在约束c和约束c～下x是真实图像的概率，表示在约束下是生成图像的概率。表示判别器关于其输入的梯度，||
·
||表示矩阵的绝对值之和，r为真实数据与合成数据以一定比例混合(多为1:1)后的数据子集，是从r中选取的数据样本，k和p是超参数。
[0015]
基于舰船位置信息的条件生成对抗网络的总损失函数为l
all
＝lg+ld，通过梯度下降法分别求解生成器和判别器总损失函数l
all
的最优解g*和d*，得
到最优解，其中，表示对l
all
中的g和d求最大最小值。
[0016]
参阅图2。基于舰船位置信息的条件生成对抗网络与目标检测网络连接，构建反馈自优化的sar图像增强模型，主要由约束条件构建、基于舰船位置信息的条件生成对抗网络、增强sar图像数据质量评估三部分组成。以真实sar图像作为输入，通过约束条件构建模块生成舰船目标的位置约束，输入基于舰船位置信息的条件生成对抗网络生成sar图像，通过yolo v3目标检测网络模型评估生成sar图像的质量，将舰船检测结果反馈给条件生成对抗网络，激励生成器生成质量更高的sar图像，最终对抗生成网络与目标检测网络达到协同学习，形成一个有序的自主迭代循环优化机制。
[0017]
以上所述的仅是本发明的优选实施例子。应当指出，对于本领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干变形和改进，如调整定位指的形状以适应特殊外形的连接器；或者修改定位件将定位装置安装在设备上，使其作为连接器阵列的固定工具；或者采用柔韧性材料制造定位指，使本装置兼具夹紧作用等，这些变更和改变均应视为属于本发明的保护范围。