文案配图方法、装置、电子设备和存储介质与流程

本技术涉及数据处理，尤其涉及一种文案配图方法、装置、电子设备和存储介质。

背景技术：

1、随着互联网技术的发展，各种社交软件的应用越来越广泛，越来越多的用户习惯于通过社交软件分享自己的生活、想法和心情等动态信息。一些用户在发布动态信息时倾向于采用图文结合的方式，但是对于用户来说，在编辑好文案之后如何为该文案配上合适的图像是一个难题。因此，用户对于为文案自动匹配图像的需求日益增长。

2、目前的文案配图方法中，通常是准备一个图库，训练一个文本编码器和图像编码器，通过图像编码器获得图库中每个图像的图像向量，通过文本编码器获得文案的文本向量，然后将该文本向量与各图像向量进行比较，获得与文案相匹配的图像。

3、当文案中包含实体词时，我们希望该文案匹配到的图像可以更多的表现该文案中包含的实体词，从而实现更优的配图效果。然而，目前的文案配图方法中并没有考虑实体词对于配图的影响，配图效果有待优化。

技术实现思路

1、本技术提供一种文案配图方法、装置、电子设备和存储介质，可以提高文案匹配到包含实体物的图像的概率，有助于优化配图效果。

2、第一方面，本技术实施例提供了一种文案配图方法，所述方法包括：

3、获取待配图的文案；

4、对所述文案进行实体词识别，获得所述文案中每个词为实体词的概率；

5、根据所述文案中每个词为实体词的概率对每个词的第一文本向量进行加权，获得所述文案的目标文本向量；

6、从各候选图像的图像向量中确定与所述目标文本向量相匹配的目标图像向量，根据所述目标图像向量对应的候选图像确定与所述文案相匹配的图像。

7、通过上述实施例，引入了实体词识别，可以获得文案中每个词为实体词的概率，利用该文案中每个词为实体词的概率对每个词的文本向量进行加权，可以提高实体词的权重，增强实体词的文本向量对于该文案的目标文本向量的影响，使得该文案的目标文本向量能够更多地体现实体词，从而该目标文本向量更有可能匹配到体现相应实体物的图像向量，据此有助于提高该文案匹配到包含实体物的图像的概率，从而优化配图效果。

8、在一些可能的实施方式中，所述根据所述文案中每个词为实体词的概率对每个词的第一文本向量进行加权，获得所述文案的目标文本向量，包括：

9、对所述文案进行文本编码，获得所述文案中每个词的第一文本向量；

10、根据所述文案中每个词为实体词的概率获得每个词的权重，基于每个词的权重对相应的第一文本向量进行加权，获得每个词的第二文本向量；其中，每个词的权重与每个词为实体词的概率正相关；

11、根据所述文案中所有词的第二文本向量，获得所述文案的目标文本向量。

12、通过上述实施方式，文案中每个词的权重与每个词为实体词的概率正相关，可以使得该文案中实体词的权重相比于非实体词的权重更大，利用该文案中每个词加权后的文本向量获得该文案的目标文本向量，可以更多地体现实体词，从而可以提高该文案匹配到包含实体物的图像的概率。

13、在一些可能的实施方式中，所述根据所述文案中每个词为实体词的概率获得每个词的权重，基于每个词的权重对相应的第一文本向量进行加权，获得每个词的第二文本向量，包括：

14、将所述文案中每个词为实体词的概率进行指数变换，获得每个词的权重；

15、将每个词的权重乘以相应的第一文本向量，获得每个词的第二文本向量。

16、通过上述实施方式，将文案中每个词为实体词的概率进行指数变换，获得每个词的权重，据此可以加大该文案中实体词与非实体词的权重差异，突出增强实体词的文本向量，从而可以提高该文案匹配到包含实体物的图像的概率。

17、在一些可能的实施方式中，所述根据所述文案中所有词的第二文本向量，获得所述文案的目标文本向量，包括：

18、对所述文案中所有词的第二文本向量取平均，获得所述文案的目标文本向量。

19、通过上述实施方式，对文案中所有词的第二文本向量取平均，可以融合所有词的信息，获得文案的目标文本向量，此外由于每个词的第二文本向量是加权后的文本向量，实体词的权重更大，因此该文案的目标文本向量可以更多地体现实体词，从而可以提高该文案匹配到包含实体物的图像的概率。

20、在一些可能的实施方式中，所述从各候选图像的图像向量中确定与所述目标文本向量相匹配的目标图像向量，包括：

21、计算各候选图像的图像向量与所述目标文本向量的相似度；

22、按照从高到低的顺序对各相似度进行排序，将排序靠前的第一预设数量的相似度所对应的图像向量，确定为与所述目标文本向量相匹配的目标图像向量。

23、通过上述实施方式，利用各候选图像的图像向量与目标文本向量的相似度，可以较为准确地判断各候选图像的图像向量与目标文本向量是否相匹配，根据较高相似度所对应的图像向量确定的目标图像向量，与目标文本向量相匹配的准确性较高。

24、在一些可能的实施方式中，在所述对所述文案进行实体词识别，获得所述文案中每个词为实体词的概率之前，还包括：

25、对所述文案进行情绪识别，获得所述文案表达的目标情绪；

26、从所述目标情绪对应的实体词库中选取第二预设数量的实体词，添加到所述文案。

27、通过上述实施方式，增加了情绪识别，可以获得文案表达的目标情绪，将目标情绪对应的实体词添加到该文案，有助于提高该文案匹配到包含可表达情绪的实体物的图像的概率，进一步优化配图效果。

28、在一些可能的实施方式中，所述目标情绪对应的实体词库的构建方法包括：

29、获取表达所述目标情绪的样本文案、以及与每个样本文案相匹配的样本图像；

30、对每个样本图像进行实体物检测，获得每个样本图像中包含的实体物；

31、根据全部样本图像中包含的实体物，构建所述目标情绪对应的实体词库。

32、通过上述实施方式，样本图像是与表达目标情绪的样本文案相匹配的图像，通过检测样本图像中包含的实体物，可以获得能够表达目标情绪的实体词，从而可以构建目标情绪对应的实体词库。

33、在一些可能的实施方式中，所述根据全部样本图像中包含的实体物，构建所述目标情绪对应的实体词库，包括：

34、统计各实体物在全部样本图像中的出现次数；

35、按照从大到小的顺序对各出现次数进行排序，将排序靠前的第三预设数量的出现次数所对应的实体物，确定为表达所述目标情绪的目标实体物；

36、根据所述目标实体物，构建所述目标情绪对应的实体词库。

37、通过上述实施方式，利用各实体物在全部样本图像中的出现次数，来衡量各实体物能够准确表达目标情绪的程度，根据较大出现次数所对应的实体物确定的目标实体物，可以更准确地表达目标情绪，从而可以构建更准确的目标情绪对应的实体词库。

38、第二方面，本技术实施例提供了一种文案配图装置，所述装置包括：

39、获取单元，用于获取待配图的文案；

40、识别单元，用于对所述文案进行实体词识别，获得所述文案中每个词为实体词的概率；

41、加权单元，用于根据所述文案中每个词为实体词的概率对每个词的第一文本向量进行加权，获得所述文案的目标文本向量；

42、匹配单元，用于从各候选图像的图像向量中确定与所述目标文本向量相匹配的目标图像向量，根据所述目标图像向量对应的候选图像确定与所述文案相匹配的图像。

43、在一些可能的实施方式中，所述加权单元具体用于：

44、对所述文案进行文本编码，获得所述文案中每个词的第一文本向量；

45、根据所述文案中每个词为实体词的概率获得每个词的权重，基于每个词的权重对相应的第一文本向量进行加权，获得每个词的第二文本向量；其中，每个词的权重与每个词为实体词的概率正相关；

46、根据所述文案中所有词的第二文本向量，获得所述文案的目标文本向量。

47、在一些可能的实施方式中，所述加权单元在根据所述文案中每个词为实体词的概率获得每个词的权重，基于每个词的权重对相应的第一文本向量进行加权，获得每个词的第二文本向量时，具体用于：

48、将所述文案中每个词为实体词的概率进行指数变换，获得每个词的权重；

49、将每个词的权重乘以相应的第一文本向量，获得每个词的第二文本向量。

50、在一些可能的实施方式中，所述加权单元在根据所述文案中所有词的第二文本向量，获得所述文案的目标文本向量时，具体用于：

51、对所述文案中所有词的第二文本向量取平均，获得所述文案的目标文本向量。

52、在一些可能的实施方式中，所述匹配单元在从各候选图像的图像向量中确定与所述目标文本向量相匹配的目标图像向量时，具体用于：

53、计算各候选图像的图像向量与所述目标文本向量的相似度；

54、按照从高到低的顺序对各相似度进行排序，将排序靠前的第一预设数量的相似度所对应的图像向量，确定为与所述目标文本向量相匹配的目标图像向量。

55、在一些可能的实施方式中，所述装置还包括处理单元，所述处理单元用于：

56、在所述识别单元对所述文案进行实体词识别，获得所述文案中每个词为实体词的概率之前，对所述文案进行情绪识别，获得所述文案表达的目标情绪，从所述目标情绪对应的实体词库中选取第二预设数量的实体词，添加到所述文案。

57、在一些可能的实施方式中，所述装置还包括构建单元，所述构建单元用于：

58、获取表达所述目标情绪的样本文案、以及与每个样本文案相匹配的样本图像；

59、对每个样本图像进行实体物检测，获得每个样本图像中包含的实体物；

60、根据全部样本图像中包含的实体物，构建所述目标情绪对应的实体词库。

61、在一些可能的实施方式中，所述构建单元在根据全部样本图像中包含的实体物，构建所述目标情绪对应的实体词库时，具体用于：

62、统计各实体物在全部样本图像中的出现次数；

63、按照从大到小的顺序对各出现次数进行排序，将排序靠前的第三预设数量的出现次数所对应的实体物，确定为表达所述目标情绪的目标实体物；

64、根据所述目标实体物，构建所述目标情绪对应的实体词库。

65、第三方面，本技术实施例提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面及其任意一种可能的实施方式中的方法。

66、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面及其任意一种可能的实施方式中的方法。

67、第五方面，本技术实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述第一方面及其任意一种可能的实施方式中的方法。

68、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术的技术方案。