海洋跨模态图文检索方法、系统、设备及存储介质

本发明涉及多模态，尤其涉及一种海洋跨模态图文检索方法、系统、设备及存储介质。

背景技术：

1、智慧海洋是在海洋数字化的基础上，应用智能化技术和先进装备技术发展而成的海洋高级系统形态。遥感图文检索任务是智慧海洋建设中的一个重要应用领域。遥感技术通过使用传感器获取远距离的海洋图像数据，这些数据可以传输和处理以获取有关海洋环境的信息。结合智能化技术，如图像识别、机器学习和大数据分析，可以对海洋图像数据进行自动化分析和检索，快速获取所需信息。这对于海洋科研人员和相关行业来说具有重要意义，可以支持海洋资源开发、环境保护和海洋安全等方面的决策和行动。

2、目前，现有的检索方法大多是基于字幕的遥感海洋跨模态图文检索方法，这类方法首先生成遥感图像的文本描述，然后再将生成的文本与查询文本进行匹配比较，最后检索出相关的遥感图像。这种思路的本质仍然是单模态的检索匹配工作，无法进行不同模态之间的直接匹配。并且未能充分进行模态之间的信息交互，导致最终的检索精度不高。

3、因此，现有技术中在进行图文检索的过程中，存在模态间信息对齐不充分导致检索精度低的问题。

技术实现思路

1、有鉴于此，有必要提供一种海洋跨模态图文检索方法、系统、设备及存储介质，用以解决现有技术在进行图文检索的过程中，存在的模态间信息对齐不充分导致检索精度低的问题。

2、为了解决上述问题，本发明提供一种海洋跨模态图文检索方法，包括：

3、获取图像文本数据集，图像文本数据集包括图像数据集和文本数据集；

4、构建初始图文检索多级指导网络模型，初始图文检索多级指导网络模型包括图像特征提取模块、文本特征提取模块、全局相似度量模块、多层指导模块和多子空间联合学习模块；

5、将图像文本数据集输入至初始图文检索多级指导网络模型，根据图像特征提取模块提取图像数据集的图像全局特征和图像局部特征；根据文本特征提取模块获取文本数据集的文本全局特征和文本局部特征；根据全局相似度量模块分别对图像全局特征和文本全局特征进行相似聚类，分别得到重构图像全局特征和重构文本全局特征；根据多层指导模块分别对图像局部特征、文本局部特征、重构图像全局特征和重构文本全局特征进行融合重构，分别得到对齐图像特征和对齐文本特征；根据多子空间联合学习模块对对齐图像特征和对齐文本特征进行模态交叉匹配和模态对抗融合，得到训练完备的目标图文检索多级指导网络模型；

6、根据目标图文检索多级指导网络模型进行图文检索。

7、进一步地，根据全局相似度量模块分别对图像全局特征和文本全局特征进行相似聚类，分别得到重构图像全局特征和重构文本全局特征，包括：

8、根据图像全局特征和文本全局特征分别构建图像子空间和文本子空间；

9、根据模态内损失函数计算图像子空间的图像损失函数和文本子空间的文本损失函数；

10、根据图像损失函数和文本损失函数分别对图像子空间和文本子空间进行相似聚类，得到重构图像全局特征和重构文本全局特征。

11、进一步地，多层指导模块包括隐式局部互指导单元和局部增强的全局重构单元；根据多层指导模块分别对图像局部特征、文本局部特征、重构图像全局特征和重构文本全局特征进行融合重构，分别得到对齐图像特征和对齐文本特征，包括：

12、根据隐式局部互指导单元对图像局部特征和文本局部特征进行相似融合，得到重构图像局部特征和重构文本局部特征；

13、根据局部增强的全局重构单元对重构图像局部特征、重构文本局部特征、重构图像全局特征和重构文本全局特征进行融合重构，分别得到对齐图像特征和对齐文本特征。

14、进一步地，根据隐式局部互指导单元对图像局部特征和文本局部特征进行相似融合，得到重构图像局部特征和重构文本局部特征，包括：

15、根据余弦相似度函数计算图像局部特征和文本局部特征的相似度，得到文本图像之间的相似度矩阵；

16、基于相似度矩阵对图像局部特征和文本局部特征进行相似融合，得到重构图像局部特征和重构文本局部特征。

17、进一步地，根据局部增强的全局重构单元对重构图像局部特征、重构文本局部特征、重构图像全局特征和重构文本全局特征进行融合重构，分别得到对齐图像特征和对齐文本特征，包括：

18、根据余弦相似度函数计算重构图像局部特征和重构图像全局特征之间的相似度，得到包含局部图像信息的图像权重矩阵；

19、根据图像权重矩阵对重构图像全局特征进行增强重构，得到对齐图像特征；

20、根据余弦相似度函数计算重构文本局部特征和重构文本全局特征之间的相似度，得到包含局部文本信息的文本权重矩阵；

21、根据文本权重矩阵对重构文本全局特征进行增强重构，得到对齐文本特征。

22、进一步地，多子空间联合学习模块包括模态交叉匹配学习模块和模态对抗融合学习模块；根据多子空间联合学习模块对对齐图像特征和对齐文本特征进行模态交叉匹配和模态对抗融合，得到训练完备的目标图文检索多级指导网络模型，包括：

23、根据模态交叉匹配学习模块计算对齐图像特征和对齐文本特征之间的模态交叉匹配学习损失；

24、根据模态对抗融合学习模块计算对齐图像特征和对齐文本特征之间的公共表示生成器损失和模态判别损失，并基于模态交叉匹配学习损失、公共表示生成器损失和模态判别损失构建优化目标函数，根据优化目标函数确定训练完备的目标图文检索多级指导网络模型。

25、进一步地，模态交叉匹配学习损失的计算公式为：

26、

27、公共表示生成器损失的计算公式为：

28、

29、

30、

31、模态判别损失的计算公式为：

32、

33、

34、

35、优化目标函数的计算公式为：

36、q

37、其中，为模态交叉匹配学习损失，为边际阈值参数，为最终的遥感图像特征向量，为最终的遥感文本特征向量，为遥感图像和文本之间的相似度得分，为所有与不匹配的文本特征向量，为遥感图像与所有与其不匹配的文本的相似度得分，为所有与不匹配的遥感图像特征，为文本与所有与其不匹配的遥感图像的相似度得分，为公共表示生成器损失，为图像公共表示生成器损失，为文本公共表示生成器损失，表示模态鉴别器网络，为第i个最终的遥感图像特征向量，为模态判别损失，为图像模态判别损失，为文本模态判别损失，，0时表示为图像模态，1时表示为文本模态，n为样本对总数，q为优化目标函数。

38、为了解决上述问题，本发明还提供一种海洋跨模态图文检索系统，包括：

39、数据集获取模块，用于获取图像文本数据集，图像文本数据集包括图像数据集和文本数据集；

40、初始图文检索多级指导网络模型构建模块，用于构建初始图文检索多级指导网络模型，初始图文检索多级指导网络模型包括图像特征提取模块、文本特征提取模块、全局相似度量模块、多层指导模块和多子空间联合学习模块；

41、目标图文检索多级指导网络模型获取模块，用于将图像文本数据集输入至初始图文检索多级指导网络模型，根据图像特征提取模块提取图像数据集的图像全局特征和图像局部特征；根据文本特征提取模块获取文本数据集的文本全局特征和文本局部特征；根据全局相似度量模块分别对图像全局特征和文本全局特征进行相似聚类，分别得到重构图像全局特征和重构文本全局特征；根据多层指导模块分别对图像局部特征、文本局部特征、重构图像全局特征和重构文本全局特征进行融合重构，分别得到对齐图像特征和对齐文本特征；根据多子空间联合学习模块对对齐图像特征和对齐文本特征进行模态交叉匹配和模态对抗融合，得到训练完备的目标图文检索多级指导网络模型；

42、图文检索模块，用于根据目标图文检索多级指导网络模型进行图文检索。

43、为了解决上述问题，本发明还提供一种图文检索设备，包括处理器以及存储器，存储器上存储有计算机程序，计算机程序被处理器执行时，实现如上文所述的海洋跨模态图文检索方法。

44、为了解决上述问题，本发明还提供一种存储介质，存储介质存储有计算机程序指令，当计算机程序指令被计算机执行时，使计算机执行如上文所述的海洋跨模态图文检索方法。

45、采用上述实施例的有益效果是：本发明提供一种海洋跨模态图文检索方法、系统、设备及存储介质，该方法通过全局相似度量模块分别对图像全局特征和文本全局特征进行相似聚类，提取到图像的重构图像全局特征和文本的重构文本全局特征；通过多层指导模块对图像局部特征、文本局部特征、重构图像全局特征和重构文本全局特征进行融合重构，不仅能针对性地处理图像的图像局部特征和文本的文本局部特征，还能将图像局部特征和文本局部特征进行有机融合，进而再与重构图像全局特征和重构文本全局特征进行融合重构，得到有多模态信息的对齐图像特征和对齐文本特征，实现了对齐图像和文本两个模态之间的信息，从而提高了检索精度。