基于频域空间域双重感知的海洋遥感图文检索方法及系统

本发明属于图像处理，特别涉及基于频域空间域双重感知的海洋遥感图文检索方法及系统。

背景技术：

1、遥感数据跨模态检索旨在建立不同模态间数据的对应关系，通过融合不同模态的数据，提升遥感数据的对象表示，为遥感数据的应用提供重要的技术支撑。由于文本和图像在表达信息时的直观性和便捷性，遥感图文检索成为了遥感数据跨模态检索的重要手段之一。

2、遥感图文检索利用跨模态检索算法，依据卫星遥感图像自动检索出准确描述该图像的文本数据或是依据给定的文本数据自动检索出数据库中的与之相匹配的遥感图像。目前，遥感图文跨模态检索工作大多是采用基于深度学习的方法来实现，包括两个关键过程，其一，分别对文本数据和图像数据开展特征工程，提取相应的文本特征和图像特征；其二，进行两特征间的相似度计算，将相似度最高的图像特征和文本特征作为最佳检索匹配对。

3、目前，前沿图文检索方法是一种非对称多模态特征匹配网络，致力于利用注意力机制、图卷积网络等显著性挖掘方法过滤图像和文本中的背景冗余信息，提升图文检索的匹配精度。但是，以上方法应用于海洋中仍存在以下问题：为了过滤噪声信息，现有方法大多计算遥感图像中各个目标的相关性，将相关程度低的目标过滤，以形成鲁棒的特征表示。计算相似性是在原始特征的基础上，原始特征是利用卷积神经网络等操作实现特征的空间变化，因此所涉及的计算被称为空间域的计算。然而，遥感图像复杂且分辨率低，导致大多目标的可靠性差，仍在空间域中利用这种目标计算相关性，不仅无法获取满意的结果，甚至会将不可靠的信息方法放大，最终影响跨模态检索的性能。

技术实现思路

1、针对现有技术存在的不足，本发明提供基于频域空间域双重感知的海洋遥感图文检索方法及系统，（1）从频域视角实现显著性信息建模以及噪声过滤，在包含大量噪声和冗余信息的海洋遥感数据上准确抽取有效的特征表示；（2）利用边界指导的方式在空间域实现显著性信息建模以及噪声过滤，在包含大量噪声和冗余信息的海洋遥感数据上准确抽取有效的特征表示；（3）实现频域和空间域的图像特征有效融合，实现了特征利用最大化，提高图文检索的可靠性。

2、为了解决上述技术问题，本发明采用的技术方案是：

3、首先，本发明提供一种基于频域空间域双重感知的海洋遥感图文检索方法，包括以下步骤：

4、步骤1、提取图像文本特征：对于输入的图像数据i和文本数据t，提取图像特征v和文本特征u；

5、步骤2、基于频域空间域双重感知建模特征，具体如下：

6、步骤21、在频域中抽取图像显著性特征：

7、对图像特征v分两通道分别提取显著性特征并融合生成图像频域显著性特征；将生成的频域特征与图像特征v进行差异计算，获得频域标识掩码；

8、步骤22、在空间域中抽取图像和文本显著性特征：

9、首先获取图像和文本的边界和，通过评估机制判断数据的有效区域，并生成图像和文本的可信度掩码和，再经过二值筛选获得最终的图像和文本的空间标识掩码和，若掩码中的数值大于0，则判断对应的区域表示为有效特征，否则为噪声；

10、然后将空间标识掩码和分别与图像特征v和文本特征u结合，最终生成图像空间域显著性特征和文本空间域显著性特征；

11、步骤23、频域和空间域显著性融合：

12、利用标识掩码和将频域和空间域图像特征融合，若，则直接将图像频域显著性特征和图像空间域显著性特征相加，生成最终的有效图像特征；若，则进行可信度评估，选择频域和空间域中可信度高的特征作为最终的有效图像特征。

13、进一步的，步骤21中，图像频域显著性特征通过以下方法获得：对获取的图像特征v分两通道分别提取显著性特征，其中一通道首先利用傅里叶变换将空间域表示转化为频域表示，在此基础上，对频域表示进行低通滤波，滤除掉图像的高频信息，最后通过傅里叶逆变换从频域转换到空间域；另一通道借助卷积神经网络保证信息的有效传递和保留，最后两通道融合生成图像频域显著性特征。

14、进一步的，步骤21中，频域标识掩码通过以下方法获得：生成的图像频域显著性特征vf与图像特征v进行差异计算，生成差异值，公式如下：

15、 (4)；

16、其中，d为特征vf和v的通道数，d为通道总数；若值小于指定值，则认为特征变化小，即未被过滤掉，也就是有效特征，此时将中的值置为1，否则为0；

17、  (5)。

18、进一步的，步骤22中，首先利用采样策略以及分布最大化机制获取图像和文本的边界和；然后在此基础上，通过图像和文本的评估机制和判断数据的有效区域，并生成可信度掩码和，以图像评估机制进行说明：

19、 (6)；

20、 (7)；

21、     (8)；

22、   (9)；

23、其中，i和j分别是矩阵的行和列的序号，m为矩阵的总列数，是图像特征v和文本特征u之间的相似度，×表示矩阵相乘，t为转置操作；表示取的所有列的最大值；

24、在经过二值筛选获得最终的空间标识掩码，若掩码中的数值大于0，则判断对应的区域表示为有效特征，否则为噪声；

25、 (10)；

26、同样地，文本的空间标识掩码获取方式与图像的同理。

27、进一步的，步骤23中，在标识掩码中，若，则将和直接相加，生成有效图像特征：

28、（13）；

29、若，采用图像评估机制进行可信度评估，生成频域和空间域的可信度掩码和：

30、（14）；

31、（15）；

32、然后，比较两个置信度，生成差ω：

33、（16）；

34、ω为正值表示空间域特征可靠，反之频域特征可靠：

35、（17）。

36、其次，本发明还提供一种基于频域空间域双重感知的海洋遥感图文检索系统，用于实现如前所述的基于频域空间域双重感知的海洋遥感图文检索方法，所述系统包括图像文本特征提取模块、频域模态内低通滤波器模块、空间域模态间边界感知显著性模块、频域空间域显著性融合模块，

37、所述图像文本特征提取模块用于提取输入图像和文本的特征，得到图像特征v和文本特征u；

38、所述频域模态内低通滤波器模块包括低通滤波器显著性提取单元和基于差异的频率标识掩码单元，低通滤波器显著性提取单元对获取的图像特征v分两通道分别提取显著性特征并融合生成图像频域显著性特征；基于差异的频率标识掩码单元将生成的图像频域显著性特征与原始特征v进行差异计算，获得频域标识掩码；

39、所述空间域模态间边界感知显著性模块包括基于边界的相似性感知空间域标识掩码单元和空间显著性提取单元，所述基于边界的相似性感知空间域标识掩码单元获取图像和文本的边界和，通过评估机制判断数据的有效区域，并生成图像和文本的可信度掩码和，再经过二值筛选获得最终的图像和文本的空间标识掩码和，若掩码中的数值大于0，则判断对应的区域表示为有效特征，否则为噪声；所述空间显著性提取单元中空间标识掩码和分别与图像特征v和文本特征u结合，最终生成图像空间域的显著性特征和文本空间域的显著性特征；

40、所述频域空间域显著性融合模块利用标识掩码和将频域和空间域图像特征融合，若，则直接将图像频域显著性特征和图像空间域显著性特征相加，生成最终的有效图像特征；若频域和空间域的判断结果不一致，则进行可信度评估，选择频域和空间域中可信度高的特征作为最终的有效图像特征。

41、与现有技术相比，本发明优点在于：

42、（1）设计了频域模态内低通滤波器模块，包括低通滤波器显著性提取单元和基于差异的频率标识掩码单元，从频域视角实现显著性信息建模以及噪声过滤，在包含大量噪声和冗余信息的海洋遥感数据上准确抽取有效的特征表示。其中，针对图像特征，低通滤波器显著性提取单元设计了几个频域去噪层，采用傅里叶变换的方式，将图像特征由空间域转换到频域，通过频域低通滤波的方式获取遥感图像中的有效信息和并过滤无效噪声，不会涉及到噪声传递，且巧妙地过滤掉了无用的信息。基于差异的频率标识掩码单元将生成的特征与原始的图像特征进行差异计算，获得频域标识掩码，用以标识特征是有效信息或是噪声，为后续融合过程做铺垫。

43、（2）设计了空间域模态间边界感知显著性模块，构建了基于边界的相似性感知空间域标识掩码单元和空间显著性提取单元，利用边界指导的方式在空间域实现显著性信息建模以及噪声过滤，在包含大量噪声和冗余信息的海洋遥感数据上准确抽取有效的特征表示。其中基于边界的相似性感知空间域标识掩码单元是为了在空间域中实现显著性特征抽取，该模块考虑了跨模态信息的相互指导。在空间域中，不再是利用传统的注意力机制的信息交换来抽取显著性，本发明充分利用了边界，在该边界的基础上，本发明还设计了评估机制，来推断特征为有效还是无效特征。该方法不再受空间域中不可靠信息的干扰，从而提高了图像和文本特征抽取的鲁棒性。

44、（3）设计了频域空间域显著性融合模块，实现频域和空间域的图像特征有效融合，实现了特征利用最大化。当空间域和频域表示一致时，本发明进行加和操作，实现空间域和频域信息结合；当空间域和频域表示不一致时，提出了可信度评估方法。在该方法中仍借用评估机制，自动生成每个域的可信度掩码，通过对比可信度掩码选择频域和空间域中可信度高的特征作为最终的有效图像特征。相比较于仅仅融合一致的特征表示，本发明的融合机制也将不一致的特征表示进行分析，进一步判断其表征的区域是否有效，从而最大化地利用了特征，使得抽取的显著性区域更可靠。