一种图像检索方法、装置、存储介质和电子设备与流程

本技术涉及图像处理技术，特别涉及一种图像检索方法、装置、存储介质和电子设备。

背景技术：

1、随着计算机技术的飞速发展，图像信息检索已大规模应用于各种场景。

2、在目前的图像检索技术中，经典的图像检索需要输入系统待查询的图片后，再在数据库中检索查询最相似的图片。如果没有待查询图片，仅有用户对人体外貌的文字描述，这类经典的图形检索方式就无法使用。

3、基于此，近来一系列的文字检索图像的检索系统和方案被提出，这类方案需要构建一个提取文字、图像的特征并将其两者耦合对应的模块，但是这类方案无法兼容已有的图像检索图像的系统。

技术实现思路

1、本技术提供一种图像检索方法、装置、存储介质和电子设备，能够基于文字描述进行图像检索，并能够兼容经典的图像检索方法。

2、为实现上述目的，本技术采用如下技术方案：

3、一种图像检索方法，包括：

4、a、获取用户输入的文本描述，利用预先训练好的文生图模型，生成与所述文本描述对应的预测图像；

5、b、对所述预测图像进行质量评估，得到质量评估结果；

6、在所述质量评估结果满足设定要求时，继续执行所述步骤c；

7、在所述质量评估结果不满足设定要求时，基于所述质量评估结果提示用户修改所述文本描述，返回执行所述步骤a、b，直到所述质量评估结果满足设定要求，继续执行所述步骤c；

8、c、基于所述预测图像，在图像库中进行图像检索，得到图像检索结果；

9、其中，所述对所述预测图像进行质量评估，包括：

10、获取所述预测图像的全局图像特征和在每个局部属性上的局部图像特征，并获取所述文本描述的全局文本特征和在每个局部属性上的局部文本特征；

11、将所述全局图像特征和所述全局文本特征进行相似度比较，将相同局部属性上的所述局部图像特征和所述局部文本特征进行相似度比较，基于该两个相似度比较的结果，确定所述预测图像的整体质量评分。

12、较佳地，利用预先训练好的图像特征提取器对所述预测图像进行全局图像特征提取，得到所述全局图像特征；

13、利用预先训练好的文本特征提取器对所述文本描述进行全局文本特征提取，得到所述全局文本特征；

14、利用预先训练好的第一全局特征映射器，对所述全局图像特征进行处理，预测得到所述局部图像特征；

15、利用预先训练好的第二全局特征映射器，对所述全局文本特征进行处理，预测得到所述局部文本特征。

16、较佳地，所述对所述预测图像进行质量评估，进一步包括：

17、基于对所述预测图像进行特征提取所确定的特征提取结果，确定所述预测图像的质量分类。

18、较佳地，所述基于对所述预测图像进行特征提取所确定的特征提取结果确定所述预测图像的质量分类，包括：

19、利用训练好的多属性图像质量档位评估器，对所有设定局部属性上的局部图像特征预测结果进行分类处理，得到所述预测图像在每个所述设定局部属性上的质量分类结果；其中，所述设定局部属性包括部分或全部局部属性。

20、较佳地，所述图像特征提取器、所述文本特征提取器、所述第一全局特征映射器、所述第二全局特征映射器和所述多属性图像质量档位评估器是联合训练的。

21、较佳地，所述图像特征提取器、所述文本特征提取器、所述全局特征映射器和所述多属性图像质量档位评估器进行联合训练时，参数更新方式包括：

22、将基于所述图像特征提取器对训练图像的处理结果和基于所述文本特征提取器对训练文本的处理结果进行相似度比较，确定第一损失函数的取值；

23、基于所述全局特征映射器的处理结果，确定第二损失函数的取值；

24、基于所述多属性图像质量档位评估器的处理结果，确定第三损失函数的取值；

25、将所述第一损失函数的取值、所述第二损失函数的取值和所述第三损失函数的取值进行融合，得到综合损失函数的取值；

26、基于所述综合损失函数的取值，更新所述图像特征提取器、所述文本特征提取器、所述第一全局特征映射器、所述第二全局特征映射器和所述多属性图像质量档位评估器的参数。

27、较佳地，所述确定第一损失函数的取值，包括：

28、将训练图像和所述训练图像中对应每个局部属性的局部图像，输入所述图像特征提取器进行处理，得到所述训练图像的全局图像特征和所述训练图像在各个局部属性上的局部图像特征；

29、将训练文本和所述训练文本中对应局部属性的局部文本，输入所述文本特征提取器进行处理，得到所述训练文本的全局文本特征和所述训练文本在各个局部属性上的局部文本特征；

30、将所述全局图像特征和所述全局文本特征进行相似度比较，得到全局比较结果；

31、将相同局部属性对应的所述局部图像特征和所述局部文本特征进行相似度比较，得到相应局部属性的比较结果；

32、基于所述全局比较结果和各个局部属性的比较结果，确定第一损失函数的取值。

33、较佳地，所述确定第二损失函数的取值，包括：

34、将所述训练图像的全局图像特征输入所述全局特征映射器进行处理，预测得到所述训练图像在每个局部属性上的局部图像特征预测结果；

35、将所述训练图像在每个局部属性上的图像特征预测结果分别与所述图像特征提取器输出的所述训练图像在相应局部属性上的局部图像特征进行相似性比较，得到每个局部属性对应的训练图像特征比较结果；

36、将所述训练文本的全局文本特征输入所述全局特征映射器进行处理，预测得到所述训练文本在每个局部属性上的局部文本特征预测结果；

37、将所述训练文本在每个局部属性上的图像特征预测结果分别与所述文本特征提取器输出的所述训练文本在相应局部属性上的局部文本特征进行相似性比较，得到每个局部属性对应的训练文本特征比较结果；

38、基于所有局部属性的训练图像特征比较结果和训练文本特征比较结果，确定所述第二损失函数的取值。

39、较佳地，所述确定第三损失函数的取值，包括：

40、将所述第一全局特征映射器输出的所述训练图像在所有所述设定局部属性上的局部图像特征预测结果输入所述多属性图像质量档位评估器进行分类处理，得到所述训练图像在每个所述设定局部属性上的质量分类预测结果；

41、基于所述训练图像在每个所述设定局部属性上的分类预测结果和所述训练图像在相应设定局部属性上的质量分类实际结果，确定每个所述设定局部属性对应的分类损失；

42、基于所有所述设定局部属性对应的分类损失，确定所述第三损失函数的取值。

43、较佳地，所述确定所述预测图像的整体质量评分，包括：

44、将所述全局图像特征和所述全局文本特征进行相似度比较的结果，作为全局质量评分；

45、将相同局部属性的所述局部图像特征和所述局部文本特征进行相似度比较的结果，作为相应局部属性的质量评分；

46、基于所述全局质量评分和各个局部属性的质量评分，确定所述整体质量评分。

47、较佳地，所述质量评估结果不满足设定要求，包括：所述全局质量评分小于设定的全局阈值，和/或，所述各个局部属性的质量评分小于为相应局部属性设定的局部属性阈值，和/或，所述整体质量评分小于设定的整体阈值；

48、所述基于所述质量评估结果提示用户修改所述文本描述，包括：当任一局部属性的质量评分小于为所述任一局部属性设定的局部属性阈值时，提示用户修改所述任一局部属性对应的文本描述。

49、较佳地，所述质量评估结果不满足设定要求，包括：所述预测图像在第一设定局部属性上的质量分类预测结果为预设的第一质量分类结果；

50、所述基于所述质量评估结果提示用户修改所述文本描述，包括：

51、当所述预测图像在第一设定局部属性上的质量分类预测结果为预设的第一质量分类结果时，提示用户修改所述第一设定局部属性对应的文本描述。

52、较佳地，所述预测图像包括正面预测图像、侧面预测图像和背面预测图像；

53、所述在图像库中进行图像检索，包括：分别基于正面预测图像、侧面预测图像和背面预测图像，进行所述图像检索，得到正面图像检索结果、侧面图像检索结果和背面图像检索结果；或者，

54、对所述正面预测图像、侧面预测图像和背面预测图像分别进行特征提取，并将提取的特征进行融合得到融合特征，基于所述融合特征进行图像检索，得到检索结果。

55、一种基于文本描述的图像检索装置，包括：文本描述获取单元、文生图单元和图像检索单元；

56、所述文本描述获取单元，用于获取用户输入的文本描述；

57、所述文生图单元，用于利用预先训练好的文生图模型，生成与所述文本描述对应的预测图像；

58、所述图像检索单元，用于基于所述预测图像，在图像库中进行图像检索，得到图像检索结果。

59、较佳地，在所述文生图单元和图像检索单元之间进一步包括质量评估单元，用于对所述预测图像进行质量评估，得到质量评估结果；在所述质量评估结果满足设定要求时，通知所述图像检索单元进行图像检索；在所述质量评估结果不满足设定要求时，基于所述质量评估结果提示用户修改所述文本描述，并通知所述文本描述获取单元重新获取用户输入的文本描述。

60、较佳地，在所述质量评估单元中，所述对所述预测图像进行质量评估，包括：

61、对所述预测图像和所述文本描述分别进行特征提取，将特征提取结果进行相似性比较，并基于比较结果确定所述预测图像的质量评分。

62、较佳地，所述质量评估单元包括图像特征提取器、文本特征提取器、第一全局特征映射器、第二全局特征映射器和质量评分器；

63、所述图像特征提取器，用于对所述预测图像进行全局图像特征提取，得到所述预测图像的全局图像特征；

64、所述文本特征提取器，用于对所述文本描述进行全局文本特征提取，得到所述文本描述的全局文本特征；

65、所述第一全局特征映射器，用于对所述全局图像特征进行处理，预测得到所述预测图像在每个局部属性上的局部图像特征；

66、所述第二全局特征映射器，用于对所述全局文本特征进行处理，预测得到所述文本描述在所述每个局部属性上的局部文本特征；

67、所述质量评分器，用于将所述全局图像特征和所述全局文本特征进行相似度比较，将相同局部属性上的所述局部图像特征和所述局部文本特征进行相似度比较，基于该两个相似度比较的结果，确定所述预测图像的整体质量评分。

68、较佳地，所述质量评估单元，进一步用于基于对所述预测图像进行特征提取所确定的特征提取结果，确定所述预测图像的质量分类。

69、较佳地，所述质量评估单元进一步包括多属性图像质量档位评估器，用于对所有设定局部属性上的局部图像特征预测结果进行分类处理，得到所述预测图像在每个所述设定局部属性上的质量分类结果；其中，所述设定局部属性包括部分或全部局部属性。

70、较佳地，所述图像特征提取器、所述文本特征提取器、所述第一全局特征映射器、所述第二全局特征映射器和所述多属性图像质量档位评估器是联合训练的。

71、较佳地，在所述质量评估单元中，所述图像特征提取器、所述文本特征提取器、所述全局特征映射器和所述多属性图像质量档位评估器进行联合训练时，参数更新方式包括：

72、将基于所述图像特征提取器对训练图像的处理结果和基于所述文本特征提取器对训练文本的处理结果进行相似度比较，确定第一损失函数的取值；

73、基于所述全局特征映射器的处理结果，确定第二损失函数的取值；

74、基于所述多属性图像质量档位评估器的处理结果，确定第三损失函数的取值；

75、将所述第一损失函数的取值、所述第二损失函数的取值和所述第三损失函数的取值进行融合，得到综合损失函数的取值；

76、基于所述综合损失函数的取值，更新所述图像特征提取器、所述文本特征提取器、所述第一全局特征映射器、所述第二全局特征映射器和所述多属性图像质量档位评估器的参数。

77、较佳地，所述确定第一损失函数的取值，包括：

78、将训练图像和所述训练图像中对应每个局部属性的局部图像，输入所述图像特征提取器进行处理，得到所述训练图像的全局图像特征和所述训练图像在各个局部属性上的局部图像特征；

79、将训练文本和所述训练文本中对应局部属性的局部文本，输入所述文本特征提取器进行处理，得到所述训练文本的全局文本特征和所述训练文本在各个局部属性上的局部文本特征；

80、将所述全局图像特征和所述全局文本特征进行相似度比较，得到全局比较结果；

81、将相同局部属性对应的所述局部图像特征和所述局部文本特征进行相似度比较，得到相应局部属性的比较结果；

82、基于所述全局比较结果和各个局部属性的比较结果，确定第一损失函数的取值。

83、较佳地，所述确定第二损失函数的取值，包括：

84、将所述训练图像的全局图像特征输入所述全局特征映射器进行处理，预测得到所述训练图像在每个局部属性上的局部图像特征预测结果；

85、将所述训练图像在每个局部属性上的图像特征预测结果分别与所述图像特征提取器输出的所述训练图像在相应局部属性上的局部图像特征进行相似性比较，得到每个局部属性对应的训练图像特征比较结果；

86、将所述训练文本的全局文本特征输入所述全局特征映射器进行处理，预测得到所述训练文本在每个局部属性上的局部文本特征预测结果；

87、将所述训练文本在每个局部属性上的图像特征预测结果分别与所述文本特征提取器输出的所述训练文本在相应局部属性上的局部文本特征进行相似性比较，得到每个局部属性对应的训练文本特征比较结果；

88、基于所有局部属性的训练图像特征比较结果和训练文本特征比较结果，确定所述第二损失函数的取值。

89、较佳地，所述确定第三损失函数的取值，包括：

90、将所述第一全局特征映射器输出的所述训练图像在所有所述设定局部属性上的局部图像特征预测结果输入所述多属性图像质量档位评估器进行分类处理，得到所述训练图像在每个所述设定局部属性上的质量分类预测结果；

91、基于所述训练图像在每个所述设定局部属性上的分类预测结果和所述训练图像在相应设定局部属性上的质量分类实际结果，确定每个所述设定局部属性对应的分类损失；

92、基于所有所述设定局部属性对应的分类损失，确定所述第三损失函数的取值。

93、较佳地，在所述质量评分器中，所述确定所述预测图像的整体质量评分，包括：

94、将所述全局图像特征和所述全局文本特征进行相似度比较的结果，作为全局质量评分；

95、将相同局部属性的所述局部图像特征和所述局部文本特征进行相似度比较的结果，作为相应局部属性的质量评分；

96、基于所述全局质量评分和各个局部属性的质量评分，确定所述整体质量评分。

97、较佳地，所述质量评估结果不满足设定要求，包括：所述全局质量评分小于设定的全局阈值，和/或，所述各个局部属性的质量评分小于为相应局部属性设定的局部属性阈值，和/或，所述整体质量评分小于设定的整体阈值；

98、所述基于所述质量评估结果提示用户修改所述文本描述，包括：当任一局部属性的质量评分小于为所述任一局部属性设定的局部属性阈值时，提示用户修改所述任一局部属性对应的文本描述。

99、较佳地，所述质量评估结果不满足设定要求，包括：所述预测图像在第一设定局部属性上的质量分类预测结果为预设的第一质量分类结果；

100、所述基于所述质量评估结果提示用户修改所述文本描述，包括：

101、当所述预测图像在第一设定局部属性上的质量分类预测结果为预设的第一质量分类结果时，提示用户修改所述第一设定局部属性对应的文本描述。

102、较佳地，所述预测图像包括正面预测图像、侧面预测图像和背面预测图像；

103、在所述图像检索单元中，所述在图像库中进行图像检索，包括：分别基于正面预测图像、侧面预测图像和背面预测图像，进行所述图像检索，得到正面图像检索结果、侧面图像检索结果和背面图像检索结果；或者，

104、对所述正面预测图像、侧面预测图像和背面预测图像分别进行特征提取，并将提取的特征进行融合得到融合特征，基于所述融合特征进行图像检索，得到检索结果。

105、一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时可实现上述任一项所述的图像检索方法。

106、一种电子设备，该电子设备至少包括计算机可读存储介质，还包括处理器；

107、所述处理器，用于从所述计算机可读存储介质中读取可执行指令，并执行所述指令以实现上述任一项所述的图像检索方法。

108、由上述技术方案可见，本技术中，首先，获取用户输入的文本描述，该文本描述给出了图像检索的关键需求，利用预先训练好的文生图模型，生成与该文本描述对应的预测图像；对预测图像进行质量评估，并在质量评估结果不满足设定要求时，提示用户修改文本描述，重新进行预测图像的生成，直到预测图像的质量评估结果满足设定要求；且进行图像质量评估时，依据预测图像的全局图像特征与文本描述的全局图像特征进行相似性比较的结果和预测图像在局部属性上的局部图像特征与文本描述在相同局部属性上的局部文本特征进行相似性比较的结果进行，从而可以及时发现预测图像与用户输入文本描述之间的不一致性，通过提示用户修改更合适的文本描述，以生成与文本描述一致的用于检索的预测图像；最后，再基于预测图像，在图像库中进行图像检索，得到图像检索结果。通过上述方式，利用文生图模型将检索的文本描述转换为预测图像，并通过质量评估保证生成的预测图像与文本描述的一致性，从而由预测图像来正确表征检索需求，也就相当于为图像检索提供了待查询图像，这样就可以使用现有的图像到图像的检索处理方式；这样，一方面不需要直接提供查询图像，仅提供文字描述来进行图像检索；另一方面，可以兼容和使用现有的图像检索图像的系统。