一种内容发现方法、系统、终端及存储介质

本发明涉及数据处理领域，尤其涉及的是一种内容发现方法、系统、终端及存储介质。

背景技术：

1、目前，在互联网迅速发展的情况下，包含着文字、图片或视频等内容的用户生成内容中存在着大量的与品牌广告相关联的部分，因此通过这些部分可以从大量的用户生成内容中找到与品牌相关的部分，这些部分可以用于吸引潜在用户、增强品牌形象。

2、将从个性化的内容中找到与品牌关联的内容，成为品牌内容发现。目前，对于品牌内容发现中通常采用单模态的内容发现方法，而其存在着由于仅利用了图像资料而忽略了文本、话题标签等多模态信息或只利用神经网络提取图像特征而无法利用视频中语义信息的问题，从而导致生成无法区分相似品牌的细微特征，只能粗糙的辨别不同领域的品牌。

3、因此，现有技术还有待改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种内容发现方法、系统、终端及存储介质，旨在解决现有技术中采用单模态的内容发现方法时存在着由于仅利用了图像资料而忽略了文本、话题标签等多模态信息或只利用神经网络提取图像特征而无法利用视频中语义信息的问题，从而导致无法生成区分相似品牌的细微特征，只能粗糙的辨别不同领域的品牌的问题。

2、为了实现所述目的，本发明第一方面提供一种内容发现方法，其中，所述一种内容发现方法包括：

3、获取目标品牌信息和目标用户内容生成信息，其中，所述目标用户内容生成信息包括视频内容信息和文本内容信息；

4、将所述视频内容信息输入到视频编码模型中得到视频特征向量，将所述文本内容信息输入到文本编码模型中得到文本特征向量，将所述目标品牌信息输入到品牌编码模型中得到品牌语义；

5、根据所述视频特征向量、所述文本特征向量和所述品牌语义，采用预先训练完成的得分函数生成所述目标用户内容生成信息与目标品牌信息的相似度；

6、获取预设数量的目标用户内容生成信息与所述目标品牌信息的相似度，根据预设的选取阈值从所有的目标用户内容生成信息中选取目标内容信息。

7、可选地，所述视频编码模型包括深度残差网络、第一全局特征编码模型、第一上下文特征编码模型、第一局部特征编码模型和第一联合嵌入模型；

8、所述文本编码模型包括第一词嵌入模型、第二全局特征编码模型、第二上下文特征编码模型、第二局部特征编码模型和第二联合嵌入模型；

9、其中，所述第一全局特征编码模型和所述第二全局特征编码模型均包括平均池化和多头目注意力机制，所述第一上下文特征编码模型和所述第二上下文特征编码模型均包括双向gru，所述第一局部特征编码模型包括第一一维卷积神经网络，所述第二局部特征编码模型包括第二一维卷积神经网。

10、可选地，所述将所述视频内容信息输入到视频编码模型中得到视频编码的步骤包括：

11、将所述视频内容信息输入到所述深度残差网络中，得到视频模态数据特征；

12、将所述视频模态数据特征输入到所述第一全局特征编码模型，得到视频全局特征编码，并将所述视频模态数据特征输入到所述第一上下文特征编码模型中，得到视频特征队列和视频上下文特征编码；

13、将所述视频特征队列输入到所述第一局部特征编码模型中，得到视频局部特征编码；

14、将所述视频全局特征编码、所述视频上下文特征编码和所述视频局部特征编码串联后，输入到所述第一联合嵌入模型中，得到所述视频特征向量。

15、可选地，所述将所述文本内容信息输入到文本编码模型中得到文本编码的步骤包括：

16、根据独热编码表示所述文本内容信息，得到独热编码向量序列；

17、将所述独热编码向量序列输入到所述第二全局特征编码模型，得到文本全局特征编码，并将所述独热编码向量序列输入到所述第一词嵌入模型中，得到词向量特征；

18、将所述词向量特征输入到所述第二上下文特征编码模型中，得到文本特征队列和文本上下文特征编码；

19、将所述文本特征队列输入到所述第二局部特征编码模型中，得到文本局部特征编码；

20、将所述文本全局特征编码、所述文本上下文特征编码和所述文本局部特征编码串联后，输入到所述第二联合嵌入模型中，得到所述文本特征向量。

21、可选地，所述将所述目标品牌信息输入到品牌编码模型中得到品牌语义的步骤包括：

22、根据所述独热编码表示所述目标品牌信息，得到目标独热编码；

23、将所述目标独热编码输入到第二词嵌入模型中，得到嵌入特征；

24、根据所述目标独热编码和所述嵌入特征进行逐元素相乘，得到所述品牌语义。

25、可选地，所述获取预设数量的目标用户内容生成信息与所述目标品牌信息的相似度，根据预设的选取阈值从所有的目标用户内容生成信息中选取目标内容信息的步骤包括：

26、获取预设数量的目标用户内容生成信息与所述目标品牌信息的相似度；

27、根据每一个目标用户内容生成信息与所述目标品牌信息的相似度对所有的目标用户内容生成信息排名；

28、根据预设的选取阈值从所有的目标用户内容生成信息中选取排在选取阈值内的目标用户内容生成信息作为目标内容信息。

29、可选地，所述得分函数的训练过程包括：

30、获取包含有训练品牌信息和训练用户内容生成信息的训练数据，其中所述训练用户内容生成信息包括训练视频内容信息和训练文本内容信息；

31、将所述训练视频内容信息输入到所述视频编码模型中得到训练视频特征向量，将所述训练文本内容信息输入到所述文本编码模型中得到训练文本特征向量，将所述训练品牌信息输入到所述品牌编码模型中得到训练品牌语义；

32、根据所述训练视频特征向量、所述训练文本特征向量和所述训练品牌语义，采用待训练的得分函数生成所述训练用户内容生成信息与训练品牌信息的训练相似度；

33、根据所述训练相似度和三元损失函数计算总体损失，根据所述总体损失更新得分函数参数；

34、根据所述得分函数参数更新所述待训练的得分函数；

35、根据训练数据训练所述待训练的得分函数，当所述总体损失达到预设阈值时，结束训练过程，得到所述预先训练完成的得分函数。

36、本发明第二方面提供一种内容发现系统，其中，所述一种内容发现系统包括：

37、信息获取模块，用于获取目标品牌信息和目标用户内容生成信息，其中，所述目标用户内容生成信息包括视频内容信息和文本内容信息；

38、编码及语义生成模块，用于将所述视频内容信息输入到视频编码模型中得到视频特征向量，将所述文本内容信息输入到文本编码模型中得到文本特征向量，将所述目标品牌信息输入到品牌编码模型中得到品牌语义；

39、相似度获取模块，用于根据所述视频特征向量、所述文本特征向量和所述品牌语义，采用预先训练完成的得分函数生成所述目标用户内容生成信息与目标品牌信息的相似度；

40、目标内容信息生成模块，用于获取预设数量的目标用户内容生成信息与所述目标品牌信息的相似度，根据预设的选取阈值从所有的目标用户内容生成信息中选取目标内容信息。

41、本发明第三方面提供一种终端，所述终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的一种内容发现程序，所述一种内容发现程序被所述处理器执行时实现任意一项所述一种内容发现方法的步骤。

42、本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有一种内容发现程序，所述一种内容发现程序被处理器执行时实现任意一项所述一种内容发现方法的步骤。

43、由上可见，本发明方案中，获取目标品牌信息和目标用户内容生成信息，其中，所述目标用户内容生成信息包括视频内容信息和文本内容信息；将所述视频内容信息输入到视频编码模型中得到视频特征向量，将所述文本内容信息输入到文本编码模型中得到文本特征向量，将所述目标品牌信息输入到品牌编码模型中得到品牌语义；根据所述视频特征向量、所述文本特征向量和所述品牌语义，采用预先训练完成的得分函数生成所述目标用户内容生成信息与目标品牌信息的相似度；获取预设数量的目标用户内容生成信息与所述目标品牌信息的相似度，根据预设的选取阈值从所有的目标用户内容生成信息中选取目标内容信息。

44、与现有技术相比，针对目前采用单模态的内容发现方法时存在着由于仅利用了图像资料而忽略了文本、话题标签等多模态信息或只利用神经网络提取图像特征而无法利用视频中语义信息的问题，本发明通过多个模型分别提取视频和文本中的特征从而使得达到了多模态内容发现的效果，通过采用视频以及文本中的特征得到对应的编码，使得获取到的用户内容信息的细粒度特征，能够更加准确的判断区分相同领域中的相似品牌与目标品牌的相似度，从而得到品牌关联度更高的内容信息。