一种利用生成对抗网络批量合成特定角度SAR图像的方法

一种利用生成对抗网络批量合成特定角度sar图像的方法
技术领域
1.本发明涉及图像处理技术领域，具体的说是一种利用生成对抗网络批量合成特定角度sar图像的方法。


背景技术：

2.生成对抗网络(gan,generative adversarial networks)，由生成网络和判别网络组成，生成网络用于拟合目标数据分布，判别网络用于衡量生成网络生成的数据分布与真实数据分布的差异。当前，学者们已经就gan完成了许多超分辨率，文字图像转换等领域的研究。gan在计算机视觉领域的核心应用是生成图像数据集，包括数字、签名、人脸、室外场景等对象。此外，gan在图像复原、图像去雾和雨滴及自然语言处理等前沿领域也有优秀的应用。
3.gan已成为计算机视觉中新的科研热点。对比传统方法，gan无需依赖标签数据，而是经由模型自身内部的对抗以优化参数。但gan的训练过程中难以达到纳什均衡，使其训练过程比较困难。丘成桐团队在低维情况下只对判别网络进行训练和优化而后导出了生成网络的显示解，且论证了wgan的训练方式并没有得到最优解。为了解决该问题，rodfird提出dcgan，通过实验枚举生成网络和判别网络框架，获得一组较好的网络结构，但并没有从根本解决问题。mart
í
narjovsky等人提出wgan，解决了gan训练不稳定的问题，基本解决了原有gan模型的模式崩溃，训练不稳定等问题。此后ishaangulrajani等人提出wgan-gp，wgan-gp解决了wgan中可能的梯度消失或梯度爆炸的隐患。
4.为了进一步提高生成图像的质量，karras提出stylegan，一种结合了风格迁移的gan模型。stylegan能稳定地生成高质量、高分辨率的图像。但对于sar图像识别软件进行测试和择优时，需要模拟和已有图像角度不一致的图像，且sar图像固有的相干斑噪声增加了该问题的难度。
5.在深度学习时代之前，大多数sar图像模拟技术都是基于光线追踪或光栅化方法。为了模拟高质量的图像，此类方法通常需要专业知识为每个目标手动构建精确的计算机辅助绘图(cad)模型，这增加了时间和经济成本。随着深度学习算法的发展，逐渐使用生成模型来模拟sar图像，通过支持向量机和主成分分析得到目标sar图像。此外，还有使用条件gan(dcgan)来模拟sar图像。然而，这些方法主要有两个缺点：1)所采用的gan的结构对于sar图像过于平凡，难以产生高质量的模拟结果；2)无法准确地根据所需角度模拟特定的sar图像。


技术实现要素：

6.本发明的目的在于提出了一种利用生成对抗网络批量合成特定角度sar图像的方法，该方法根据sar图片的特性精心设计了一种新颖的生成对抗网络(gan)结构和高效的sar目标图像模拟算法，可以根据给定方位角生成高分辨率目标。
7.为实现上述目的，本发明采用以下技术方案：
8.一种利用生成对抗网络批量合成特定角度sar图像的方法，包括以下步骤：
9.s1、设定生成网络g，从隐空间z随机采样得到的随机n维向量z映射为不同尺度的sar图片i，所有的sar图片构成空间j；
10.s2、设定针对sar图片的多尺度判别网络j
→
r，输出输入图片为真实图片的概率；
11.s3、利用生成对抗网络在图像空间训练，使生成网络能模拟真实的sar图片；
12.s4、解耦生成网络，获得和sar图片方位角这一语义相关的方向向量n及边界向量z
inf
；
13.s5、利用生成网络g、方向向量n及边界向量z
inf
，批量合成特定方位角的sar图像序列。
14.优选地，步骤s1通过以下步骤实现：
15.s11、采用多尺度生成网络结构，并去除第一层的输入噪声；
16.s12、对输入的隐向量z进行仿射变换，仿射变换的公式如下：
17.g1(z)＝vz+b
18.其中,v是一个矩阵，b是一个t维偏置向量，g1：rk→rt
作为特征解纠缠变换，将k-维潜在空间z投影到t-维特征空间其中，χ为语义空间，x∈χ为语义向量，χ的每个维度独立地控制生成图像的一个语义；
19.s13、将语义向量x发送到生成模块，不同尺度的生成模块依序组成整个生成网络，生成模块的所有输入都包含相同的语义向量，且第一个生成模块合成图像具有来自语义向量的最低分辨率m0×
m0，中间的生成模块接收由前一个生成模块生成的图像并将其与语义向量x组合在一起合成具有更高分辨率的图像，最后一个生成模块模拟具有目标分辨率的图像，其采用的公式如下：
[0020][0021][0022]
其中，i代表生成模块的序号，指最低分辨率m0的图像，s指语义向量，b0(s)指初始生成模块及其输入语义向量s，指分辨率为2im0的图片，指第i个生成模块及其输入语义向量s和图片
[0023]
s14、通过每个生成模块中关键子模块adain将语义向量xi归一化，再通过特征yi的相应标量进行缩放和偏置，通过关键子模块adain融合语义向量和特征图，控制生成图像的风格，关键子模块adain为：
[0024][0025]
其中，adain(xi,y)指adain模块，y
s,i
指第i层输入语义向量方差，y
b,i
指第i层输入语义向量均值，xi指第i层输入的特征图，μ指均值计算，α指方差计算。
[0026]
优选地，步骤s2中所述多尺度判别网络与生成网络对称，是一个多尺度分类器，其由若干判别模块构成；所述判别模块由针对sar图像的表征结构dmam和若干卷积层构成；所述表征结构dmam由下述公式描述：
[0027]
mi＝si(a(f7×7(i)))
[0028][0029]
其中，f7×7是内核大小为7
×
7的2d卷积，a是一个自注意力模块，si是内核大小为2i+1的可变形卷积；使用f,a,si得到三张具有不同空间信息m1到m3的特征图；表示张量连接算子，p是aspp模块，u是最终的特征图，即dmam的输出，使用大写字母h表示dmam，并采用上述两个函数来融合空间信息；
[0030]
基于表征结构dmam，不同尺度的判别模块表示为：
[0031]
y1＝k(h(i1)),i＝1
[0032]
yi＝k(αh(ii)+(1-α)ri(y
i-1
)),i＞1
[0033]
yi＝l(yi),i≥1
[0034]
其中，y1指最低分辨率输入图像为真实图像概率，k指大小为3的卷积层，i指各级分辨率的图像序列，yi指分辨率为2im0的图片，α指递减加权因子，ri是一个线性插值函数，用于将y
i-1
分辨率放大一倍；l是一个完全连接的层，具有sigmoid激活函数，可提供最终输出；标量yi表示输入ii是真实sar图像的概率。
[0035]
优选地，步骤s3中所述生成对抗网络采用以下公式进行训练：
[0036][0037][0038]
其中，g、d分别代表生成网络和判别网络，i为输入图片，z为输入向量。
[0039]
优选地，步骤s4通过以下步骤实现：
[0040]
s41、对于步骤s12的式g1(z)＝vz+b中线性变换矩阵v，寻找v
t
v特征向量，采用如下公式：
[0041][0042]
其最大的特征值所对应的特征向量即方向向量n；
[0043]
其中，λi指第i大特征值，ni指λi对应的特征向量，c指选定的特征个数；
[0044]
s42、随机隐向量z，设定步长α，根据如下公式生成图像序列{ii}：
[0045]ii
＝g(z-iαn)
[0046]
其中，ii指第i张图片，g指生成网络，i指序号，n指语义方向向量，序列{ii}中图像随编号i的增加，语义方位角的大小逐步减弱，方位角为0度且编号最小的图像，记录其对应的边界向量为z
inf
。
[0047]
优选地，步骤s5通过以下步骤实现：基于生成网络g及其语义方向向量n，边界向量z
inf
，通过如下公式生成方位角位于区间[a,b]且方位角线性递增的sar图像序列:
[0048]
{ii}＝g(z
inf
+(iα+α-θ)n),i＝0,1,...(b-a)/α
[0049]
其中，i指生成图像序号，α指步长，θ指需要合成的特定sar图片的方向角，n指语义方向向量。
[0050]
采用上述技术方案后，本发明与背景技术相比，具有如下优点：
[0051]
1、本发明根据sar图片的特性精心设计了一种新颖的生成对抗网络(gan)结构和
高效的sar目标图像模拟算法，可以根据给定方位角生成高分辨率目标。
[0052]
2、本发明采用的生成对抗网络(gan)可实现端到端地训练，无需专业知识的介入，使用简单方便。
[0053]
3、本发明针对sar识别任务中源数据不足造成的训练样本不足的问题，通过生成对抗网络模拟特定的sar图片，使得仿真数据样本可直接作为训练样本，该发明针对建模仿真图像的特征不一致问题和基于特征的生成对抗网络的迁移学习等关键技术，构建具有可操作性的sar特征变换，提升sar数据的智能化、自动化处理水平，为后续的军事目标检测、分类与识别提供坚实的基础理论，实现在军事侦察实战中的高效应用。
附图说明
[0054]
图1为本发明的生成对抗网络(a)和图像模拟算法(b)的网络结构图；
[0055]
图2为本发明的判别网络(a)和降噪形态学注意力模块(b)的网络结构图；
[0056]
图3为本发明的仿射模块(a)和生成网络(b)的网络结构图；
[0057]
图4分别为dcgan、progan、stylegan和本发明四种方案模拟的sar图像；
[0058]
图5为第一组真实sar图像和合成sar图像的定性比较图；
[0059]
图6为第二组真实sar图像和合成sar图像的定性比较图。
具体实施方式
[0060]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0061]
本发明主要涉及的是一种利用生成对抗网络批量合成特定角度sar图像的方法，下面结合附图对本实施例进行详细说明。
[0062]
请参阅图1至图6，本发明公开了一种利用生成对抗网络批量合成特定角度sar图像的方法，包括以下步骤：
[0063]
s1、设定生成网络g，从隐空间z随机采样得到的随机n维向量z映射为不同尺度的sar图片i，所有的sar图片构成空间j；
[0064]
步骤s1通过以下步骤实现：
[0065]
s11、采用多尺度生成网络结构，并去除第一层的输入噪声；
[0066]
s12、对输入的隐向量z进行仿射变换，仿射变换的公式如下：
[0067]
g1(z)＝vz+b
[0068]
其中,v是一个矩阵，b是一个t维偏置向量，g1：rk→rt
作为特征解纠缠变换，将k-维潜在空间z投影到t-维特征空间其中，χ为语义空间，x∈χ为语义向量，χ的每个维度独立地控制生成图像的一个语义；
[0069]
s13、将语义向量x发送到生成模块，不同尺度的生成模块依序组成整个生成网络，生成模块的所有输入都包含相同的语义向量，且第一个生成模块合成图像具有来自语义向量的最低分辨率m0×
m0，中间的生成模块接收由前一个生成模块生成的图像并将其与语义向量x组合在一起合成具有更高分辨率的图像，最后一个生成模块模拟具有目标分辨率的图像，其采用的公式如下：
[0070][0071][0072]
其中，i代表生成模块的序号，指最低分辨率m0的图像，s指语义向量，b0(s)指初始生成模块及其输入语义向量s，指分辨率为2im0的图片，指第i个生成模块及其输入语义向量s和图片
[0073]
s14、通过每个生成模块中关键子模块adain将语义向量xi归一化，再通过特征yi的相应标量进行缩放和偏置，通过关键子模块adain融合语义向量和特征图，控制生成图像的风格，关键子模块adain为：
[0074][0075]
其中，adain(xi,y)指adain模块，y
s,i
指第i层输入语义向量方差，y
b,i
指第i层输入语义向量均值，xi指第i层输入的特征图，μ指均值计算，α指方差计算；
[0076]
s2、设定针对sar图片的多尺度判别网络j
→
r，输出输入图片为真实图片的概率；
[0077]
步骤s2中所述多尺度判别网络与生成网络对称，是一个多尺度分类器，其由若干判别模块构成；所述判别模块由针对sar图像的表征结构dmam和若干卷积层构成；所述表征结构dmam由下述公式描述：
[0078]
mi＝si(a(f7×7(i)))
[0079][0080]
其中，f7×7是内核大小为7
×
7的2d卷积，a是一个自注意力模块，si是内核大小为2i+1的可变形卷积；使用f,a,si得到三张具有不同空间信息m1到m3的特征图；表示张量连接算子，p是aspp模块，u是最终的特征图，即dmam的输出，使用大写字母h表示dmam，并采用上述两个函数来融合空间信息；
[0081]
基于表征结构dmam，不同尺度的判别模块表示为：
[0082]
y1＝k(h(i1)),i＝1
[0083]
yi＝k(αh(ii)+(1-α)ri(y
i-1
)),i＞1
[0084]
yi＝l(yi),i≥1
[0085]
其中，y1指最低分辨率输入图像为真实图像概率，k指大小为3的卷积层，i指各级分辨率的图像序列，yi指分辨率为2im0的图片，α指指递减加权因子，ri是一个线性插值函数，用于将y
i-1
分辨率放大一倍；l是一个全连接层，具有sigmoid激活函数，可提供最终输出；标量yi表示输入ii是真实sar图像的概率；
[0086]
s3、利用生成对抗网络在图像空间训练，使生成网络能模拟真实的sar图片；
[0087]
步骤s3中所述生成对抗网络采用以下公式进行训练：
[0088][0089]
[0090]
其中，g、d分别代表生成网络和判别网络，i为输入图片，z为输入向量。
[0091]
s4、解耦生成网络，获得和sar图片方位角这一语义相关的方向向量n及边界向量z
inf
；
[0092]
步骤s4通过以下步骤实现：
[0093]
s41、对于步骤s12的式g1(z)＝vz+b中线性变换矩阵v，寻找v
t
v特征向量，采用如下公式：
[0094][0095]
其最大的特征值所对应的特征向量即方向向量n；
[0096]
其中，λi指第i大特征值，ni指λi对应的特征向量，c指选定的特征个数；
[0097]
s42、随机隐向量z，设定步长α，根据如下公式生成图像序列{ii}：
[0098]ii
＝g(z-iαn)
[0099]
其中，ii指第i张图片，g指生成网络，i指序号，n指语义方向向量，序列{ii}中图像随编号i的增加，语义方位角的大小逐步减弱，方位角为0度且编号最小的图像，记录其对应的边界向量为z
inf
；
[0100]
s5、利用生成网络g、方向向量n及边界向量z
inf
，批量合成特定方位角的sar图像序列；
[0101]
步骤s5通过以下步骤实现：基于生成网络g及其语义方向向量n，边界向量z
inf
，通过如下公式生成方位角位于区间[a，b]且方位角线性递增的sar图像序列：
[0102]
{ii}＝g(z
inf
+(iα+α-θ)n)，i＝0，1，...(b-a)/α
[0103]
其中，i指生成图像序号，α指步长，θ指需要合成的特定sar图片的方向角，n指语义方向向量。
[0104]
为了进一步确认本发明的效果，收集了232张sar图片，将其中角度为偶数的图片(共112张)作为模型的训练集，其余图片作为测试集用于评估算法的表现。本实施例采用fr
é
chet inception distance(fid)(heusel et al.2017)和ssim(z.wang et al.2004)分别衡量图像的总体相似度和特定角度下每对合成图片与真实图片的相似度。
[0105]
表1不同方案的fid定量评估结果
[0106]
0-9090-180180-270270-360dcgan with wgan-gp loss73.874372.374270.892174.8421progan22.361121.703722.178422.7119stylegan18.779117.186917.578018.4513ours14.848215.141314.933515.1307
[0107]
表2不同方案的ssim定量评估结果
[0108] 0-9090-180180-270270-360dcgan with wgan-gp loss0.32210.31890.36730.3685progan0.56940.54230.58140.5893stylegan0.61740.60730.59890.6003ours0.64780.63890.64350.6265
[0109]
如表1所示，本发明在图像的整体质量上大幅优于dcgan，对比同为多尺度的gan设
计，本发明同样有显著优势。表2为测试集逐对真实/合成图像的ssim值平均值，由表2可知本发明同样有显著优势。
[0110]
图4展示了各种方案随机生成的图像，(a)dcgan：模拟结果质量低且模式单一；(b)progan：模拟结果质量较高但模式略为单一；(c)stylegan：兼顾模拟质量和模式；(d)ours：模拟结果质量高且模式丰富。由图4可以看出，传统的gan模型只能产生具有有限图案的sar图像，并且质量不好。多尺度gan(b)(c)(d)显示高度合成的定性，而本发明(d)所使用的gan模拟的sar图像又具有最高的图像质量和丰富的图像模式。这证实了本发明中设计的gan模型的有效性。
[0111]
图5展示了第一组方位角范围从0到90逐对真实sar图像和采用本发明所合成的合成sar图像，第一行的是真实sar图像，第二行的是合成sar图像。图6展示了第二组方位角范围从0到90逐对真实sar图像和采用本发明所合成的合成sar图像，第一行的是真实sar图像，第二行的是合成sar图像。由图5和图6可知，本发明能有效的模拟特定角度的sar图像。
[0112]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。