模型训练方法、高质量卫星图像检索方法和装置

本技术涉及深度学习，特别是一种模型训练方法、高质量卫星图像检索方法和装置。

背景技术：

1、近年来，卫星技术的快速发展带动了各种卫星应用的增长。卫星遥感作为卫星应用的主要领域之一，能够全天候、全天时、高轨道、大尺度地获取地球信息，在信息获取方面发挥无可比拟的作用，为例如灾害防止等重大问题上提供了决策支持。得益于卫星软硬件技术的发展，卫星具备一定的计算和存储能力，能够存储大量的观测数据。然而，由于太空环境的独特性以及卫星本身的通信能力限制，如何在卫星过站时间内将目标数据成功传回到地面站，成为了迫切需要解决的问题。

2、相关技术中，可以根据卫星遥感图像数据的标注信息，通过sift或者深度学习方法提取查询图像和待检索图像的内容特征，计算相似度来判断是否属于匹配样本。然后，再将查询得到的目标图像数据通过通信系统发送到地面站，完成图像数据传输。

3、但是上述方法中，查询图像和待检索图像的内容特征的准确度不高，查询得到的目标图像数据往往与查询图像不符，图像检索查询的准确率不高。

技术实现思路

1、鉴于上述问题，本技术实施例提供了一种模型训练方法、高质量卫星图像检索方法、装置、电子设备和可读存储介质，以便克服上述问题或者至少部分地解决上述问题。

2、第一方面，本技术实施例提供一种模型训练方法，所述方法包括：

3、将样本卫星图像输入第一神经网络模型中，得到第一神经网络模型输出的第一对象类别向量以及所述第一对象类别向量对应的第一分类预测值；其中，所述样本卫星图像包括至少一种对象；

4、基于所述样本卫星图像的样本对象类别向量、所述第一对象类别向量和所述第一分类预测值，确定所述第一神经网络模型的第一模型损失值；

5、基于所述第一模型损失值，调整所述第一神经网络模型的模型参数，得到目标神经网络模型；其中，所述目标神经网络模型用于生成查询图像的目标对象类别和各个所述目标对象类别分别对应的目标分类预测值。

6、可选地，所述第一神经网络模型由卷积神经网络模型、基于transformer的双向编码器表示模型和基于transformer的编码器模型构成，所述将样本卫星图像输入第一神经网络模型中，得到第一神经网络模型输出的第一对象类别向量以及所述第一对象类别向量对应的第一分类预测值，包括：

7、将样本卫星图像输入所述卷积神经网络中，得到所述卷积神经网络模型输出的样本卫星图像特征向量；

8、将各个对象类别名称输入所述基于transformer的双向编码器表示模型，得到所述基于transformer的双向编码器表示模型输出的样本对象类别向量；

9、将所述样本卫星图像特征向量和所述样本对象类别向量进行拼接，得到第一样本拼接向量；

10、将所述第一样本拼接向量输入所述基于transformer的编码器，得到所述基于transformer的编码器输出的第二样本拼接向量；

11、从所述第二样本拼接向量中确定第一对象类别向量，并基于所述第一对象类别向量，确定所述样本卫星图像对应的第一对象类别以及各个所述第一对象类别分别对应的第一分类预测值。

12、可选地，所述基于所述样本卫星图像的样本对象类别向量、所述第一对象类别向量和所述第一分类预测值，确定所述第一神经网络模型的第一模型损失值，包括：

13、基于所述样本卫星图像的样本对象类别向量、所述第一对象类别向量和所述第一分类预测值，确定所述第一神经网络模型的二分类交叉熵损失值；

14、基于所述第一分类预测值、所述样本对象类别向量和所述第一对象类别向量，确定所述第一神经网络模型的第二模型损失值；

15、基于所述第一分类预测值，确定所述第一神经网络模型的极大似然估计损失值；

16、基于所述二分类交叉熵损失值、所述第二模型损失值和所述极大似然估计损失值，确定所述第一神经网络模型的第一模型损失值。

17、可选地，所述基于所述第一分类预测值、所述样本对象类别向量和所述第一对象类别向量，确定所述第一神经网络模型的第二模型损失值，包括：

18、对所述第一对象类别向量进行语义转化，得到第二对象类别向量；其中，所述第二对象类别向量的语义空间与所述样本对象类别向量的语义空间相同；

19、计算所述第二对象类别向量与所述样本对象类别向量之间的第一余弦相似度；

20、基于所述第一余弦相似度和所述第一分类预测值，确定所述第一神经网络模型的第二模型损失值。

21、可选地，所述基于所述第一余弦相似度和所述第一分类预测值，确定所述第一神经网络模型的第二模型损失值，包括：

22、从所述第一余弦相似度中确定纯净样本卫星图像对应的第二余弦相似度和噪声样本卫星图像对应的第三余弦相似度；其中，所述纯净样本卫星图像和所述噪声样本卫星图像均包含于所述样本卫星图像中，且所述噪声样本卫星图像基于所述纯净样本卫星图像和噪声向量生成；

23、基于所述第二余弦相似度、所述第三余弦相似度和所述噪声向量，计算所述第一神经网络模型的第三模型损失值；

24、基于所述第三模型损失值和所述第一分类预测值，确定所述第一神经网络模型的第二模型损失值。

25、可选地，所述基于所述第一分类预测值，确定所述第一神经网络模型的极大似然估计损失值，包括：

26、确定所述第一分类预测值分别对应的第一gumbel softmax值；

27、在所述第一gumbel softmax值大于或等于第一阈值的情况下，将所述第一gumbelsoftmax值对应的第一对象类别向量输入多层感知机中，得到所述多层感知机输出的第二分类概率值；

28、基于所述第二分类概率值，确定所述第一对象类别向量对应的第一类别标识；

29、将所述样本卫星图像输入所述多层感知机，得到所述多层感知机输出的第三分类概率值；

30、基于所述第三分类概率值，确定所述第一神经网络模型的极大似然估计损失值。

31、第二方面，本技术实施例提供一种高质量卫星图像检索方法，所述方法包括：

32、将查询图像输入目标神经网络模型中，得到所述目标神经网络模型输出的第一目标对象类别向量和所述第一目标对象类别向量对应的第一目标分类预测值；其中，所述目标神经网络模型基于如上任一所述的模型训练方法得到；

33、将大于或等于第一阈值的第一目标分类预测值对应的第一目标对象类别确定为所述查询图像的查询类别标识；

34、基于所述第一目标对象类别向量与标准对象类别名称对应的标准类别向量之间的余弦相似度，确定所述查询图像的查询相似度标识；

35、基于所述查询类别标识和所述查询相似度标识，在目标卫星的图像数据库中进行检索，得到目标卫星图像。

36、可选地，所述基于所述查询类别标识和所述查询相似度标识，在目标卫星的图像数据库中进行检索，得到目标卫星图像，包括：

37、确定目标卫星的图像数据库中包含的各个第一卫星图像的图像类别标识与所述查询类别标识的第一相似度，以及所述各个第一卫星图像的图像相似度标识与所述查询相似度标识之间的第二相似度；

38、将所述第一相似度大于或等于第二阈值，且所述第二相似度大于或等于第三阈值的第一卫星图像确定为目标卫星图像。

39、第三方面，本技术实施例提供一种模型训练装置，所述装置包括：

40、输入输出模块，用于将样本卫星图像输入第一神经网络模型中，得到第一神经网络模型输出的第一对象类别向量以及所述第一对象类别向量对应的第一分类预测值；其中，所述样本卫星图像包括至少一种对象；

41、确定模块，用于基于所述样本卫星图像的样本对象类别向量、所述第一对象类别向量和所述第一分类预测值，确定所述第一神经网络模型的第一模型损失值；

42、调整模块，用于基于所述第一模型损失值，调整所述第一神经网络模型的模型参数，得到目标神经网络模型；其中，所述目标神经网络模型用于生成查询图像的目标对象类别和各个所述目标对象类别分别对应的目标分类预测值。

43、可选地，所述第一神经网络模型由卷积神经网络模型、基于transformer的双向编码器表示模型和基于transformer的编码器模型构成，所述输入输出模块，包括：

44、第一输入输出子模块，用于将样本卫星图像输入所述卷积神经网络中，得到所述卷积神经网络模型输出的样本卫星图像特征向量；

45、第二输入输出子模块，用于将各个对象类别名称输入所述基于transformer的双向编码器表示模型，得到所述基于transformer的双向编码器表示模型输出的样本对象类别向量；

46、拼接子模块，用于将所述样本卫星图像特征向量和所述样本对象类别向量进行拼接，得到第一样本拼接向量；

47、第三输入输出子模块，用于将所述第一样本拼接向量输入所述基于transformer的编码器，得到所述基于transformer的编码器输出的第二样本拼接向量；

48、第一确定子模块，用于从所述第二样本拼接向量中确定第一对象类别向量，并基于所述第一对象类别向量，确定所述样本卫星图像对应的第一对象类别以及各个所述第一对象类别分别对应的第一分类预测值。

49、可选地，所述确定模块，包括：

50、第二确定子模块，用于基于所述样本卫星图像的样本对象类别向量、所述第一对象类别向量和所述第一分类预测值，确定所述第一神经网络模型的二分类交叉熵损失值；

51、第三确定子模块，用于基于所述第一分类预测值、所述样本对象类别向量和所述第一对象类别向量，确定所述第一神经网络模型的第二模型损失值；

52、第四确定子模块，用于基于所述第一分类预测值，确定所述第一神经网络模型的极大似然估计损失值；

53、第五确定子模块，用于基于所述二分类交叉熵损失值、所述第二模型损失值和所述极大似然估计损失值，确定所述第一神经网络模型的第一模型损失值。

54、可选地，所述第三确定子模块，包括：

55、语义转化单元，用于对所述第一对象类别向量进行语义转化，得到第二对象类别向量；其中，所述第二对象类别向量的语义空间与所述样本对象类别向量的语义空间相同；

56、计算单元，用于计算所述第二对象类别向量与所述样本对象类别向量之间的第一余弦相似度；

57、第一确定单元，用于基于所述第一余弦相似度和所述第一分类预测值，确定所述第一神经网络模型的第二模型损失值。

58、可选地，所述第一确定单元，包括：

59、第一确定子单元，用于从所述第一余弦相似度中确定纯净样本卫星图像对应的第二余弦相似度和噪声样本卫星图像对应的第三余弦相似度；其中，所述纯净样本卫星图像和所述噪声样本卫星图像均包含于所述样本卫星图像中，且所述噪声样本卫星图像基于所述纯净样本卫星图像和噪声向量生成；

60、计算子单元，用于基于所述第二余弦相似度、所述第三余弦相似度和所述噪声向量，计算所述第一神经网络模型的第三模型损失值；

61、第二确定子单元，用于基于所述第三模型损失值和所述第一分类预测值，确定所述第一神经网络模型的第二模型损失值。

62、可选地，所述第四确定子模块，包括：

63、第二确定单元，用于确定所述第一分类预测值分别对应的第一gumbel softmax值；

64、第一输入输出单元，用于在所述第一gumbel softmax值大于或等于第一阈值的情况下，将所述第一gumbel softmax值对应的第一对象类别向量输入多层感知机中，得到所述多层感知机输出的第二分类概率值；

65、第三确定单元，用于基于所述第二分类概率值，确定所述第一对象类别向量对应的第一类别标识；

66、第二输入输出单元，用于将所述样本卫星图像输入所述多层感知机，得到所述多层感知机输出的第三分类概率值；

67、第四确定单元，用于基于所述第三分类概率值，确定所述第一神经网络模型的极大似然估计损失值。

68、第四方面，本技术实施例提供一种高质量卫星图像检索装置，所述装置包括：

69、输入输出模块，用于将查询图像输入目标神经网络模型中，得到所述目标神经网络模型输出的第一目标对象类别向量和所述第一目标对象类别向量对应的第一目标分类预测值；其中，所述目标神经网络模型基于如权利要求1至6任一所述的模型训练方法得到；

70、第一确定模块，用于将大于或等于第一阈值的第一目标分类预测值对应的第二目标对象类别确定为所述查询图像的查询类别标识；

71、第二确定模块，用于基于所述第一目标对象类别向量与标准对象类别名称对应的标准类别向量之间的余弦相似度，确定所述查询图像的查询相似度标识；

72、检索模块，用于基于所述查询类别标识和所述查询相似度标识，在目标卫星的图像数据库中进行检索，得到目标卫星图像。

73、可选地，所述检索模块，包括：

74、第一确定子模块，用于确定目标卫星的图像数据库中包含的各个第一卫星图像的图像类别标识与所述查询类别标识的第一相似度，以及所述各个第一卫星图像的图像相似度标识与所述查询相似度标识之间的第二相似度；

75、第二确定子模块，用于将所述第一相似度大于或等于第二阈值，且所述第二相似度大于或等于第三阈值的第一卫星图像确定为目标卫星图像。

76、第五方面，本技术实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序以实现如上任意一项所述的模型训练方法，或，高质量卫星图像检索方法。

77、第六方面，本技术实施例提供一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如上任意一项所述的模型训练方法，或，高质量卫星图像检索方法。

78、具体的有益效果在于：

79、本技术实施例通过将样本卫星图像输入第一神经网络模型中，得到第一神经网络模型输出的第一对象类别以及各个第一对象类别分别对应的第一分类预测值，基于样本卫星图像的样本对象类别、第一对象类别和第一分类预测值，确定第一神经网络模型的第一模型损失值，基于第一模型损失值，调整第一神经网络模型的模型参数，得到目标神经网络模型；其中，目标神经网络模型用于基于目标查询图像，生成目标查询图像的目标对象类别和各个目标对象类别分别对应的目标分类预测值，可以通过第一神经网络模型得到样本卫星图像中每个对象的第一对象类别，以及各个第一对象类别分别对应的第一分类预测值，并可以进一步根据第一对象类别和第一分类预测值结合样本卫星图像自身的样本对象类别计算第一神经网络模型的第一模型损失值，从而可以通过第一模型损失值调整第一神经网络模型的模型参数，得到目标神经网络模型，由于对样本卫星图像的处理精确到了图像中的每个对象，因此，可以提升最终得到的目标神经网络模型的预测准确率，在使用目标神经网络模型对查询图像进行处理以检索卫星图像时，可以提升最终得到的目标卫星图像与查询图像的匹配程度，提升图像检索查询的准确率。