一种图像检索方法和相关装置与流程

本技术涉及，特别是涉及一种图像检索方法和相关装置。

背景技术：

1、随着网络技术的不断发展，人们在线上进行信息交流的方式也越来越多样化，其中利用各种图像来进行表达交流已经成为了线上交流的重要方式之一。例如，人们在聊天时会使用丰富多样的表情包图像来增添聊天的趣味性等。

2、为了向需要进行信息表达交流的对象提供合适的图像，在相关技术中可以基于对象提供的信息来检索相应的图像。相关技术中的图像检索方式只能够基于待检索信息的语义与图像本身具有的语义之间的匹配度进行检索，例如基于待检索图像与数据库图像之间的图像匹配度，或待检索文本与图像所包含文本之间的匹配度进行检索。

3、然而，相关技术中的图像检索方式较为简单，难以为需要进行图像检索的对象提供丰富、准确的图像检索结果，图像检索的效果较差。

技术实现思路

1、为了解决上述技术问题，本技术提供了一种图像检索方法，可以基于待检索信息所表达事情对应的情感维度进行图像检索，提高了检索图像的匹配度和丰富度。

2、本技术实施例公开了如下技术方案：

3、第一方面，本技术实施例公开了一种图像检索方法，所述方法包括：

4、获取图像检索的发起方提供的待检索信息，所述待检索信息用于表达游戏事件，所述游戏事件为玩家对象在游戏中触发的事件；

5、对所述待检索信息进行事件识别，确定所述待检索信息对应的目标游戏事件；

6、确定所述目标游戏事件对应的目标情感类型；

7、将对应所述目标情感类型的图像确定为第一检索图像；

8、根据所述第一检索图像，确定所述待检索信息对应的检索图像；

9、向所述发起方展示所述检索图像。

10、第二方面，本技术实施例公开了一种图像检索装置，所述装置包括第一获取单元、第一识别单元、第一确定单元、第二确定单元、第三确定单元和第一展示单元：

11、所述第一获取单元，用于获取图像检索的发起方提供的待检索信息，所述待检索信息用于表达游戏事件，所述游戏事件为玩家对象在游戏中触发的事件；

12、所述第一识别单元，用于对所述待检索信息进行事件识别，确定所述待检索信息对应的目标游戏事件；

13、所述第一确定单元，用于确定所述目标游戏事件对应的目标情感类型；

14、所述第二确定单元，用于将对应所述目标情感类型的图像确定为第一检索图像；

15、所述第三确定单元，用于根据所述第一检索图像，确定所述待检索信息对应的检索图像；

16、所述第一展示单元，用于向所述发起方展示所述检索图像。

17、在一种可能的实现方式中，所述待检索信息为游戏画面图像，所述第一获取单元具体用于：

18、获取所述发起方提供的待检索视频；

19、对所述待检索视频进行视频帧提取，得到所述待检索视频对应的视频帧图像；

20、将所述视频帧图像作为所述游戏画面图像；

21、所述第一识别单元具体用于：

22、对所述游戏画面图像中的预设图像位置进行信息提取，确定所述游戏画面图像对应的待识别信息，所述待识别信息包括待识别文本和待识别图像中的任意一种或多种的组合；

23、将所对应游戏事件信息与所述待识别信息相匹配的游戏事件确定为所述待检索信息对应的目标游戏事件，所述游戏事件信息由于标识游戏事件。

24、所述装置还包括第一添加单元、替换单元和第二展示单元：

25、所述第一添加单元，用于在所述视频帧图像中添加所述检索图像，得到所述视频帧图像对应的处理后视频帧图像；

26、所述替换单元，用于将所述待检索视频中的所述视频帧图像替换为所述处理后视频帧图像，生成所述待检索视频对应的处理后视频；

27、所述第二展示单元，用于向所述发起方展示所述处理后视频。

28、在一种可能的实现方式中，所述第二确定单元具体用于：

29、将所对应文本关键词中包括所述目标游戏事件对应的目标事件文本，且对应所述目标情感类型的图像确定为所述第一检索图像，图像对应的文本关键词是从图像所包括文本内容中提取得到的，所述目标事件文本用于标识所述目标游戏事件。

30、在一种可能的实现方式中，所述装置还包括第四确定单元和第五确定单元：

31、所述第四确定单元，用于确定所述第一检索图像是否满足预设图像数量；

32、所述第五确定单元，用于响应于所述第一检索图像不满足所述预设图像数量，将除所述第一检索图像外，所对应文本关键词中包括所述目标游戏事件对应的目标事件文本的图像，或对应所述目标情感类型的图像确定为第二检索图像；

33、所述第三确定单元具体用于：

34、根据所述第一检索图像和所述第二检索图像，确定所述待检索信息对应的检索图像。

35、在一种可能的实现方式中，所述装置还包括第六确定单元和第七确定单元：

36、所述第六确定单元，用于基于语义相似度，确定所述目标情感类型对应的同义拓展情感类型，以及所述目标事件文本对应的同义拓展事件文本，所述同义拓展情感类型与所述目标情感类型之间的语义相似度大于第一预设阈值，所述同义拓展事件文本与所述目标事件文本之间的语义相似度大于第二预设阈值；

37、所述第七确定单元，用于将除所述第一检索图像和所述第二检索图像外，所对应文本关键词中包括所述同义拓展事件文本的图像，或对应所述同义拓展情感类型的图像确定为第三检索图像；

38、所述第三确定单元具体用于：

39、根据所述第一检索图像、所述第二检索图像和所述第三检索图像，确定所述待检索信息对应的检索图像。

40、在一种可能的实现方式中，所述装置还包括第八确定单元：

41、所述第八确定单元，用于将除所述第一检索图像、所述第二检索图像和所述第三检索图像外，图像中所包括文本内容与目标文本集合中的任意文本之间文本相似度大于第三预设阈值的图像确定为第四检索图像，所述目标文本集合包括所述目标事件文本、所述同义拓展事件文本、所述目标情感类型和所述同义拓展情感类型，所述任意文本为所述目标事件文本、所述同义拓展事件文本、所述目标情感类型和所述同义拓展情感类型中的任意一个；

42、所述第三确定单元具体用于：

43、根据所述第一检索图像、所述第二检索图像、所述第三检索图像和所述第四检索图像，确定所述待检索信息对应的检索图像。

44、在一种可能的实现方式中，所述装置还包括第九确定单元：

45、所述第九确定单元，用于将除所述第一检索图像、所述第二检索图像、所述第三检索图像和所述第四检索图像外，图像中所包括文本内容与所述目标文本集合中的任意文本之间语义相似度大于第四预设阈值的图像确定为第五检索图像；

46、所述第三确定单元具体用于：

47、根据所述第一检索图像、所述第二检索图像、所述第三检索图像、所述第四检索图像和所述第五检索图像，确定所述待检索信息对应的检索图像。

48、在一种可能的实现方式中，所述第三确定单元具体用于：

49、基于预设检索图像数量、所述第一检索图像对应第一预设占比和所述第二检索图像对应的第二预设占比，确定所述第一检索图像对应的第一图像数量和所述第二检索图像对应的第二图像数量，所述第一预设占比用于标识所述第一检索图像在所述检索图像中的占比，所述第二预设占比用于标识所述第二检索图像在所述检索图像中的占比，所述第一预设占比大于所述第二预设占比，所述预设检索图像数量为所述检索图像对应的最大数量；

50、从所述第一检索图像中随机选择对应所述第一图像数量的第一图像，以及从所述第二检索图像中随机选择对应所述第二图像数量的第二图像；

51、将所述第一图像和所述第二图像确定为所述待检索信息对应的检索图像。

52、在一种可能的实现方式中，所述装置还包括排序单元：

53、所述排序单元，用于基于预设占比由大到小的顺序对所述待检索信息对应的检索图像进行排序；

54、所述第一展示单元具体用于：

55、基于所述检索图像对应的图像排序，向所述发起方展示所述检索图像中排序位于前n位的图像，n小于所述预设检索图像数量，所述图像排序中所述第一检索图像的排序位于所述第二检索图像的排序之前。

56、在一种可能的实现方式中，所述装置还包括第二识别单元、提取单元、第三识别单元、第十确定单元和第十一确定单元：

57、所述第二识别单元，用于通过图像情感识别模型对待分析图像进行情感识别，确定所述待分析图像对应的第一情感类型；

58、所述提取单元，用于提取所述待分析图像中包括的图像文本；

59、所述第三识别单元，用于通过文本情感识别模型对所述图像文本进行情感识别，确定所述图像文本对应的第二情感类型；

60、所述第十确定单元，用于若所述第一情感类型和所述第二情感类型对应同一上级情感类型，将所述第一情感类型和所述第二情感类型均作为所述待分析图像对应的情感类型，所述上级情感类型包括积极情感、消极情感和无情感；

61、所述第十一确定单元，用于若所述第一情感类型和所述第二情感类型对应不同的上级情感类型，将所述第一情感类型确定为所述待分析图像对应的情感类型。

62、在一种可能的实现方式中，所述装置还包括第十二确定单元：

63、所述第十二确定单元，用于确定所述发起方对应的目标图像检索精度，所述目标图像检索精度用于标识所述发起方对应的图像检索精度需求；

64、所述第一检索图像、所述第二检索图像、所述第三检索图像、所述第四检索图像和所述第五检索图像分别具有对应的图像检索精度，所述第三确定单元具体用于：

65、将所述第一检索图像、所述第二检索图像、所述第三检索图像、所述第四检索图像和所述第五检索图像中对应所述目标图像检索精确度的图像确定为所述检索信息对应的检索图像。

66、在一种可能的实现方式中，所述第十二确定单元具体用于：

67、获取所述发起方对应的精度选择操作，所述精度选择操作用于从多个待定图像检索精度中确定所述目标图像检索精度；

68、或，

69、获取所述发起方对应的图像应用场景信息，所述图像应用场景信息用于标识所述发起方对应的图像应用场景，所述图像应用场景为所述待检索信息对应的检索图像的应用场景；

70、根据所述图像应用场景信息，确定所述发起方对应的目标图像检索精度。

71、在一种可能的实现方式中，所述装置还包括第十三确定单元：

72、所述第十三确定单元，用于确定所述目标游戏事件对应的游戏类型；

73、所述第二确定单元具体用于；

74、将对应所述目标情感类型和所述游戏类型的图像确定为所述第一检索图像。

75、在一种可能的实现方式中，所述第一获取单元具体用于：

76、获取所述图像检索的发起方在聊天界面中输入的待检索信息；

77、所述装置还包括第二获取单元和发送单元：

78、所述第二获取单元，用于获取所述发起方针对所述检索图像中的目标检索图像的图像选择操作；

79、所述发送单元，用于在所述聊天界面中发送所述目标检索图像。

80、在一种可能的实现方式中，所述装置还包括第三获取单元、生成单元、第二添加单元和返回单元：

81、所述第三获取单元，用于获取所述图像检索的发起方对应的游戏账号信息；

82、所述生成单元，用于根据所述游戏账号信息和所述目标游戏事件，生成所述目标游戏事件对应的初始游戏事件展示信息，所述初始游戏事件展示信息用于展示所述发起方在所述游戏账号信息对应的游戏中触发的所述目标游戏事件；

83、所述第二添加单元，用于在所述初始游戏事件展示信息中添加所述检索图像，生成所述待检索信息对应的游戏事件展示信息；

84、所述返回单元，用于向所述发起方返回所述游戏事件展示信息。

85、在一种可能的实现方式中，所述第一确定单元具体用于：

86、根据游戏事件与情感类型之间的映射关系，根据确定所述目标游戏事件对应的目标情感类型；

87、或，

88、将所述目标游戏事件输入游戏事件情感识别模型，确定所述目标游戏事件对应的目标情感类型；

89、所述游戏事件情感识别模型是通过如下方式训练得到的：

90、获取样本游戏事件集合，所述样本游戏事件集合包括多个样本游戏事件，所述样本游戏事件具有对应的样本情感类型；

91、将所述样本游戏事件作为训练样本，所述样本游戏事件对应的样本情感类型作为训练标签，训练得到所述游戏事件情感识别模型。

92、第三方面，本技术实施例公开了一种计算机设备，所述计算机设备包括处理器以及存储器：

93、所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

94、所述处理器用于根据所述程序代码中的指令执行第一方面中任意一项所述的图像检索方法。

95、第四方面，本技术实施例公开了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行第一方面中任意一项所述的图像检索方法。

96、第四方面，本技术实施例公开了一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行第一方面中任意一项所述的图像检索方法。

97、由上述技术方案可以看出，本技术在进行图像检索时，可以先获取图像检索的发起方提供的待检索信息，该待检索信息用于表达游戏事件，游戏事件为玩家对象在游戏中触发的事件。为了使返回给发起方的检索图像能够更好的贴合游戏事件所带来的情感表达，可以先对待检索信息进行事件识别，确定该待检索信息对应的目标游戏事件，然后确定该目标游戏事件对应的目标情感类型，该目标情感类型即为通常情况下该目标游戏事件为玩家对象所带来的情感。通过根据该目标情感类型来确定待检索信息对应的检索图像，可以使该检索图像能够充分贴合通过该待检索信息所能够引发的情感体验，进而在保障检索图像贴合度的情况下，扩充了图像检索维度，提高了检索图像的丰富度。在向发起方展示该检索图像后，发起方可以灵活运用该检索图像来丰富与该目标游戏事件相关的内容在该目标游戏事件上的情感表达，从而使浏览到这些内容的接受者能够更加生动的体验到触发该目标游戏事件时的情感。