一种用于目标检测的无人机载高保真SAR图像重建方法

一种用于目标检测的无人机载高保真sar图像重建方法
技术领域
1.本发明属于雷达图像增强领域，具体涉及一种用于目标检测的无人机载高保真sar图像重建方法。


背景技术：

2.在图像处理领域，为了实现对目标的精准定位，需要事先对目标进行识别，常使用无人机载合成孔径雷达(synthetic aperture radar,sar)拍摄照片，同时在特殊场合下，其拍摄的图像较少。而sar图像中存在着大量的相干斑噪声，可读性差，几乎无法靠人眼识别，一般通过机器中的网络模型来识别。模型在训练时需要大量的数据，故sar图像常常需要进行数据扩充。
3.研究表明，旋转、反转、放缩和位移变换等几何方法可以在一定程度上扩充sar图像数据集，用于网络模型训练时可以达到减少网络过拟合的目的，提高模型的训练效果。然而从宏观上来说，这些操作只能改变图像表征的位置、角度等信息，不能增加sar图像的多样性，尤其在网络不理解图像意义的情况下，对目标识别准确率的提升有限。
4.近年来，随着深度学习的发展，研究人员提出了利用基于深度学习的方法对sar图像进行扩充，主要分为两类：变分自编码器和生成对抗网络。变分自编码器是由自编码器改进而来，包含编码器和解码器两部分，编码器将数据压缩到隐藏层z中，解码器根据隐藏层z重建数据。变分自编码器可以生成变化多样的sar图像，但生成的sar图像通常比较模糊。生成对抗网络是由goodfellow等人提出，其主要是基于博弈的思想。生成对抗网络主要分为生成器和判别器两部分，生成器生成数据，判别器判别真实数据和生成数据，二者对抗训练，使得生成器和判别器能力不断提高，最终达到生成数据和真实数据十分相似，判别器难以分辨。但是由于生成对抗网络参数难以设置，训练难度较大，常发生梯度爆炸或梯度消失等问题，生成的图片质量较差。


技术实现要素：

5.为解决以上现有技术存在的问题，本发明提出了一种用于目标检测的无人机载高保真sar图像重建方法，该方法包括：获取待重构的sar图像，对sar图像进行预处理；将预处理后的图像输入到训练好的神经网络中，得到重构后的sar图；所述神经网络包括编码器、解码器、判别器和分类器；在本发明中对于判别器使用了wasserstein距离，对于生成器中间层使用了kl散度，多种损失函数同时使用，可以有效解决网络在训练时不稳定的问题，提高生成图像的质量；
6.对神经网络进行训练的过程包括：
7.s1：获取原始图像数据集，对原始图像数据进行预处理，将预处理后的数据集作为训练集；
8.s2：初始化模型的参数，初始化的模型参数包括中间层参数、学习率和训练批次；
9.s3：将预处理后的图像输入到神经网络的两个编码器中，得到两个卷积结果，将两
个结果分别作为输入图像的均值和方差；根据中间层参数、输入图像的均值和方差得到输入图像的中间层分布；
10.s4：在中间层分布上进行随机取值，并采用解码器对选取的值进行解码，得到重构图像；
11.s5：将重构图像输入到分类器中，得到重构图像中目标的类别；
12.s6：将重构图像和输入到神经网络的图像输入到判别器中判断重构图像的真假，若图像为真，则该图像为重建的高保真sar图像，若重建图像不为真，则将分类的图像返回步骤s3；
13.s7：根据重建的高保真sar图像计算模型的损失函数，不断调整模型的参数，当满足模型训练条件时，模型训练完成；所述模型训练条件包括达到模型的最大训练批次或者损失函数值最小。
14.优选的，对sar图像进行预处理的过程包括：对sar图像进行格式转换，对转换格式后的图像进行裁剪，使得裁剪后的图像中只保留一个目标。
15.优选的，采用编码器对图像进行处理的过程包括：编码器由卷积层、bn层和relu激活层组成；将输入图片转换为tensor，并向转化后的图片添加标签信息后输入到编码器中，图像每经历一个卷积层，图像大小缩小为输入图像的1/2，重复三次；将卷积后的图像输入到全连接层，得到输出结果。
16.优选的，解码器的解码过程包括：解码器由三个反卷积层构成，第一反卷积层和第二反卷积层后分别连接一个relu激活函数，第三反卷积层连接一个sigmoid激活函数；对中间层分布上进行取值，输入解码器中，经过三次反卷积操作，最终生成与原图大小相等的图像。
17.优选的，判别器判断重构图像的真假的过程包括：判别器判断重构图像的真假的过程包括：将重构图像和输入到神经网络的图像输入判别器中，经过卷积、池化和激活操作后输出其为真实样本的概率，对于真实样本，输出结果为1，对于生成样本，输出结果为0；计算真实样本概率的公式为：
[0018][0019]
其中，d表示判别器，g表示生成器，m表示批次大小，x表示真实样本，z表示从中间层采样的特征。
[0020]
优选的，模型的损失函数包括编码器的损失函数、解码器的损失函数、分类器的损失函数以及判别器的损失函数。
[0021]
进一步的，损失函数的表达式为：
[0022]
l
total
＝αl
kl
+βl
rec
+l
dis
+lc[0023]
l
kl
＝kl(q
φ
(z|x(i))||p
θ
(z|x(i)))
[0024][0025][0026][0027]
其中，α和β为所对应网络的权重，l
kl
表示编码器的损失函数，p
θ
(z|x(i))为真实后
验概率，q
φ
(z|x(i))为识别模型后验概率，z表示表示中间层分布，x(i)表示表示真实样本，l
rec
表示解码器的损失函数，表示重建图像的分布，表示生成图像，l
dis
表示判别器的损失函数，表示生成图像服从生成图像的pg分布，x～pr表示真实图像x服从真实图像的pr分布，表示将生成图像判断为真实图像的概率的期望，表示将生成图像判断为真实图像的概率，表示将真实样本判断为真实的概率的期望，d(x)表示将真实样本判断为真实的概率，lc表示分类器的损失函数，p(c|x)表示表示分类为c的概率，c表示类别。
[0028]
为实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一上述用于目标检测的无人机载高保真sar图像重建方法。
[0029]
为实现上述目的，本发明还提供一种用于目标检测的无人机载高保真sar图像重建装置，包括处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述一种用于目标检测的无人机载高保真sar图像重建装置执行任一上述用于目标检测的无人机载高保真sar图像重建方法。
[0030]
本发明的有益效果：
[0031]
本发明提出的基于变分生成对抗网络的高保真sar图像生成方法，充分利用了变分自编码器和生成对抗网络的优点，再结合图像的类别信息，可以生成指定类别的sar图像，扩充sar数据集，解决sar图像样本量过小的问题。
附图说明
[0032]
图1是本发明的网络结构图；
[0033]
图2是本发明采用的数据集的部分场景图；
[0034]
图3是本发明中模型经训练后生成的部分sar图像。
具体实施方式
[0035]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0036]
一种用于目标检测的无人机载高保真sar图像重建方法，该方法包括：获取待重构的sar图像，对sar图像进行预处理，将预处理后的图像输入到训练好的神经网络中，得到重构后的sar图；所述神经网络包括编码器、解码器、判别器和分类器；在本发明中对于判别器使用了wasserstein距离，对于生成器中间层使用了kl散度，多种损失函数同时使用，可以有效解决网络在训练时不稳定的问题，提高生成图像的质量；。
[0037]
一种用于目标检测的无人机载高保真sar图像重建方法的具体实施方式，对神经网络进行训练的过程包括：
[0038]
s1：获取原始图像数据集，对原始图像数据进行预处理；
[0039]
s2：初始化模型的参数，初始化的模型参数包括中间层参数、学习率和训练批次；
[0040]
s3：将预处理后的图像分别输入到神经网络的两个编码器中，得到两个卷积结果，将两个结果分别作为输入图像的均值和方差；根据中间层参数、输入图像的均值和方差得到输入图像的中间层分布；
[0041]
s4：在中间层分布上进行随机取值，并采用解码器对选取的值进行解码，得到重构图像；
[0042]
s5：将重构图像输入到分类器中，得到重构图像中目标的类别；
[0043]
s6：将重构图像和输入到神经网络的图像输入到判别器中判断重构图像的真假，若图像为真，则该图像为重建的高保真sar图像，若重建图像不为真，则将分类的图像返回步骤s3；
[0044]
s7：根据重建的高保真sar图像计算模型的损失函数，不断调整模型的参数，当满足模型训练条件时，模型训练完成；所述模型训练条件包括达到模型的最大训练批次或者损失函数值最小。
[0045]
如图2所示，获取的原始图像数据集为mstar数据集，mstar数据集中的数据为文件类型，先将其转换为jpeg图片格式，然后对其进行裁剪。在本发明中将图片统一裁剪为128*128大小，且每张图片中只保留一个目标物体；此外，裁剪后还需要保证目标物体位于图片的中间位置以便于训练。
[0046]
在对模型进行训练的过程中将训练集中的图片转换为tensor，然后将模型的参数设置为θ，训练批次为1000，批训练大小为128，为了保证训练的公平性，设置随机性种子为β。
[0047]
如图1所示，本发明设计的神经网络由四部分组成：编码器，解码器、判别器和分类器。编码器的主要作用是提取图片的特征，由卷积层、bn层和relu激活层组成。每经历一个卷积层，tensor大小缩小为原来的1/2，如此重复三次，然后再连接一个全连接层。取两个编码器，进行两次相同的操作，得到两个卷积结果，分别作为均值与方差，得到相应地中间层的分布。解码器与编码器相反，主要由三个反卷积层组成，前两个反卷积层后接一个relu激活函数，最后一个反卷积层后接一个sigmoid激活函数，输出一个新的tensor。判别器的主要作用是判别生成图像和真实图像，其主要由两个卷积层、relu激活函数层、最大池化层，后面再紧接着全连接层，sigmoid激活函数层。分类器结构与判别器结构类似，其作用主要是输出当前生成图片为某个类别的概率。同时训练编码器、解码器、判别器和分类器，当训练完成后，只需要用编码器和解码器即可生成图像。
[0048]
采用编码器对输入图像进行处理的过程包括：将图片转换为tensor，然后连接标签信息，送入编码器中，表示为x。经过三次卷积、bn层和relu激活层操作，再经过一个全连接层，得到均值与方差，计算后得到相应的中间层z的分布。假设中间层z服从正态分布z～n(0,i)，由于所有的数据都是独立同分布，则两个分布之间的距离使用kl散度，计算可得：
[0049][0050]
其中，p
θ
(z|x(i))为真实后验概率，q
φ
(z|x(i))为识别模型后验概率。
[0051]
采用解码器对输入的数据进行解码的过程包括：从中间层z中进行随机取样，然后连接标签信息，送入解码器中，通过反卷积、relu激活函数、sigmoid激活函数等一系列的操
作，得到一张特定类别的图片，命名为其大小为128*128。为了提高生成图片的质量，需要将生成图片与真实图片进行比较计算重构误差，其大小为：
[0052][0053]
l
rec
可以度量生成图片和真实图片的差距，如果生成图片与真实图片相似的话则l
rec
较小，相反如果二者差异较大，则l
rec
较大。此外为了更好地生成图片，选取adam优化器作为优化函数，学习率设置为0.0001。
[0054]
在生成了sar图像之后，还需要对判别器进行训练，增强其对真假图片的判断能力。输入判别器的数据为两张图片，分别是不带标签的真实图片和不带标签的生成图片。判别器分别对其打分，打分范围为[0,1]，打分越高，则说明置信度越高。其选用的是交叉熵损失函数，使用交叉熵损失函数，可以在一定程度上避免梯度消失的问题。其损失函数为：
[0055][0056]
其中表示生成图像服从生成图像的pg分布，x～pr表示真实图像x服从真实图像的pr分布，如果生成图像和真实图像比较接近，则l
dis
值较小，否则较大。对于判别器的优化，选用adam优化器，学习率设置为0.0001。
[0057]
在生成了sar图像之后，分类器需要和判别器同时训练，分类器和判别器的网络结构相同，设置输出类别为10，其主要是判断输入分类器的图片是属于哪一个类别。在训练时，将生成的图片输入选择器中，然后使用交叉熵损失函数对预测的类别和真实类别进行计算，得到其损失，然后进行反向传播，更新参数，其中选择adam作为优化器，学习率设置为0.0001。其损失函数表示为：
[0058][0059]
其中x～pr表示真实图像x服从真实图像的pr分布，如果预测的图像类别和真实类别比较接近，则lc值较小，否则较大。
[0060]
本发明中的神经网络的损失函数表达式为：
[0061]
l
total
＝αl
kl
+βl
rec
+l
dis
+lc[0062]
其中，l
kl
为kl(q
φ
(z|x(i))||p
θ
(z|x(i)))，α和β为所对应网络的权重。
[0063]
图3为使用本发明中的模型生成的部分sar图像。
[0064]
于本发明一实施例中，本发明还包括一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述用于目标检测的无人机载高保真sar图像重建方法。
[0065]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0066]
一种用于目标检测的无人机载高保真sar图像重建装置，包括处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述一种用于目标检测的无人机载高保真sar图像重建装置执行任一上述用于目标检测的无人机载高保真sar图像重建方法。
[0067]
具体地，所述存储器包括：rom、ram、磁碟、u盘、存储卡或者光盘等各种可以存储程序代码的介质。
[0068]
优选地，所述处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0069]
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。