一种基于文本数据的遥感图像风格转换方法与流程

文档序号:21193108发布日期:2020-06-23 18:25阅读:来源:国知局

技术特征:

1.一种基于文本数据的遥感图像风格转换方法,其特征在于:具体包括以下步骤:

s101:根据用户需求,获取文本数据集和源域图像数据集;

s102:利用所述文本数据集中的文本数据提取句子特征,并结合文本数据噪声生成低分辨率遥感图像特征和低分辨率遥感图像;

s103:利用所述文本数据提取单词特征,结合所述低分辨率遥感图像对应的图像特征生成高分辨率遥感图像;

s104:检测所述高分辨率遥感图像和所述文本数据的匹配程度,并生成对应的损失函数;利用损失函数评估所述高分辨率遥感图像和所述文本数据的匹配程度,生成匹配程度最高的高分辨率图像;

s105:根据所述匹配程度最高的高分辨率图像,利用生成对抗原理生成具有所述匹配程度最高的高分辨率图像风格的目标域图像;

s106:利用生成对抗原理将所述目标域图像重构成源域图像,获得源域图像和目标域图像之间的映射关系;

s107:根据所述源域图像和目标域图像之间的映射关系,利用对抗损失函数和循环一致性损失函数使生成损失达到最小,获得源域图像和目标域图像之间的最优映射关系;

s108:利用所述最优映射关系生成具有文本数据风格的源域图像数据。

2.如权利要求1所述的一种基于文本数据的遥感图像风格转换方法,其特征在于:步骤s102具体为:

s201:采用双向lstm网络,从所述文本数据中提取全局整句的特征表示,得到句子特征;

s202:对所述句子特征进行降维转换,作为生成器的条件向量;

s203:将所述条件向量结合所述文本数据噪声进行上采样操作,生成低分辨率图像特征,在经过卷积层生成低分辨率遥感图像。

3.如权利要求2所述的一种基于文本数据的遥感图像风格转换方法,其特征在于:步骤s103具体为:

s301:采用双向lstm网络,从所述文本数据中提取单词特征表示,得到单词特征;

s302:所述单词特征通过注意力模型,并结合步骤s102的低分辨率图像特征作为生成器的条件向量;

s303:经过生成器生成中分辨率遥感图像特征,经过卷积层处理生成中分辨率遥感图像;

s304:所述单词特征通过注意力模型,结合所述中分辨率遥感图像特征,作为生成器的条件向量;

s305:经过生成器生成高分辨率遥感图像特征,经过卷积层处理生成高分辨率遥感图像。

4.如权利要求3所述的一种基于文本数据的遥感图像风格转换方法,其特征在于:步骤s104具体为:

s401:将步骤s103生成的高分辨率遥感图像经过inception-v3网络处理,提取高分辨率遥感图像的每个区域以及全局的特征表示,然后再通过线性操作压缩特征到文本相同的维度;

s402:对于高分辨率遥感图像的每个区域和所述文本数据的每个单词特征使用点乘的方式表示相似性;

s403:对每个单词特征匹配对应的高分辨率遥感图像每一个区域的概率进行归一化,使用注意力模型计算高分辨率遥感图像所有区域在单词引导下的特征表示ci;

s404:采用监督的方式训练注意力模型,其中每个单词特征和整个高分辨率遥感图像每个区域之间的相似性用余弦距离表示;所述注意力模型的得分函数如式(1)所示:

式(1)中,γi表示注意力模型的依赖程度;q表示高分辨率遥感图像数据;ei为第i个单词d的特征表示;ci为高分辨率遥感图像每个区域在对应单词引导下的特征表示;γ1用来调节注意力模型的依赖程度,根据实际情况预设;t为文本的单词总数;表示ci的转置;

所述句子和所述高分辨率遥感图像数据对之间的后验概率如式(2)所示:

式(2)中,m为高分辨率遥感图像区域的个数,j代表高分辨率遥感图像区域的编号;γ2用来调节注意力模型的依赖程度,根据实际情况预设;di指第i个单词对应的句子;dj指第j个图像区域对应的句子;

s405:采用softmaxloss作为损失函数,如式(3):

式(3)中,分别代表单词与高分辨率遥感图像每个区域之间的局部损失函数和高分辨率遥感图像区域与单词之间的局部损失函数;

全局损失函数如式(4):

式(4)中,分别为句子与整个高分辨率遥感图像之间的全局损失函数和整个高分辨率遥感图像与句子之间的全局损失函数。

s406:利用局部损失函数和全局损失函数评估所述文本数据和所述高分辨率遥感图像数据对之间的匹配程度,生成匹配程度最高的高分辨率遥感图像;所述匹配程度最高,具体指:式(3)中,只有di匹配qi,其余的都不匹配。

5.如权利要求4所述的一种基于文本数据的遥感图像风格转换方法,其特征在于:步骤s105具体为:

s501:对所述匹配程度最高的高分辨率遥感图像采用实例归一化,得到实例归一化后的遥感图像;

s502:利用3个卷积层从所述实例归一化后的遥感图像中提取特征,得到特征向量;

s503:将所述特征向量输入6个残差模块层中,通过所述源域图像和目标域数据的不相近特征,将数据在源域中的特征向量转换为目标域中的特征向量,从而得到所述匹配程度最高的高分辨率图像风格的目标域图像。

6.如权利要求5所述的一种基于文本数据的遥感图像风格转换方法,其特征在于:步骤s106具体为:

s601:采用1个全卷积网络作为判别模型;所述全卷积网络由5个卷积层构成,前4层提取特征,最后1层产生1个一维的输出;除第1层和最后1层外,也均采用instancenormalization函数来实现归一化;

s602:训练所述判别模型;建立了一个历史生成图像缓冲池,把缓存的历史生成图像作为判别器的训练数据;

s603:利用所述判别模型,在生成和重构时,将步骤s502中的特征向量输入到2个反卷积网络层中,还原出低级的特征,得到重构的源域图像,从而得到源域图像和目标域图像之间的映射关系。

7.如权利要求6所述的一种基于文本数据的遥感图像风格转换方法,其特征在于:步骤s107具体为:

所述对抗损失函数如式(5):

式(5)中,γgan(g,dy,x,y)、γgan(f,dx,y,x)表示对抗损失函数;

x表示源域图像集合;y表示目标域图像集合;x表示源域图像集合x中的一个样本,即y表示目标域图像集合y中的一个样本,即g表示所述源域图像和目标域图像之间的映射函数g:x→y;dy表示映射函数g的判定器,用于区分由映射函数g将源域图像集合x中的样本x映射转换后的g(x)和目标域图像集合y中的样本y之间的区别;f表示目标域图像和源域图像之间的映射函数f:y→x;dx表示映射函数f的判定器,用于区分由映射函数f将目标域图像集合y中的样本y映射转换后的f(y)和源域图像集合x中的样本x之间的区别;

所述对抗函数损失最小,满足以下条件,如式(6):

式(6)中,表示,映射函数g不断求解γgan(g,dy,x,y)的最小值,而判别器dy通过不断的迭代求解γgan(g,dy,x,y)的最大值;

所述循环一致损失函数如式(7)所示:

γ(g,f,dx,dy)=γgan(g,dy,x,y)+γgan(f,dx,y,x)+λγcyc(g,f)(7)

式(7)中,γ(g,f,dx,dy)表示循环一致损失函数;λ表示对抗损失函数γgan(g,dy,x,y)和γgan(f,dx,y,x)重要性的比值,为预设值,取值范围为0到1;γcyc(g,f)表示目标域图像数据与源域图像数据之间的损失;当minγcyc(g,f),即目标域图像数据与源域图像数据之间的损失最小时,即得到源域图像和目标域图像之间的最优映射关系。


技术总结
本发明提供一种基于文本数据的遥感图像风格转换方法,包括:构建数据集,获取文本数据集和待转换图像数据集;生成低分辨率的图像,根据文本数据提取句子特征,然后结合噪声生成低分辨率的遥感图像和对应的图像特征;生成高分辨率的图像,根据文本数据提取单词特征,然后结合上一层低分辨率的特征生成下一层的高分辨率的遥感图像和图像特征;计算损失函数,检测生成的图像和文本的匹配程度,生成相应的损失函数;图像风格转换,以生成的高分辨率图像作为参考风格图像,依据循环一致性原理和对抗损失函数进行风格转换。本发明的有益效果是:从文本数据逐层生成高分辨率图像,极大地提高了文本到图像的生成精度,弥补了文本数据进行风格转换的空缺。

技术研发人员:王力哲;朱朕;陈伟涛;李显巨
受保护的技术使用者:中国地质大学(武汉)
技术研发日:2020.02.20
技术公布日:2020.06.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1