基于多层次对比学习与多模态知识图谱的推荐方法及系统

本发明涉及个性化推荐，具体而言，涉及一种基于多层次对比学习与多模态知识图谱的推荐方法及系统。

背景技术：

1、面向盛行的大数据平台，推荐系统已成为各大电商平台中必不可少的服务功能，其中基于序列模式的序列化推荐算法以挖掘用户交互行为所隐藏的潜在兴趣多年来受到广泛关注。传统的序列化推荐算法根据用户的历史交互行为构建用户的偏好表示，然而该特征信息的单一性及稀疏性给推荐结果带来了较大的局限性。

2、为了缓解以上问题，现有推荐算法借助于引入辅助信息的方式用于增强用户与物品的表示能力。近年来，知识图谱因采用图结构的方式构建实体间的关系，让原本本身没有直接关联关系的物品通过多跳中间实体构建了新的联系，因此具有蕴含推荐物品间深层关系的能力。目前结合知识图谱的推荐方法成为了该领域的研究热点，与传统的推荐算法相比，基于知识图谱的推荐算法在整体性能上更优。然而，传统知识图谱忽略了网络中物品的多元化信息，即物品特征的多模态性，导致所生成的物品表示仍然不足以对物品特征进行完整性的表达。得益于知识图谱在推荐系统中的发展，将结合多模态数据与知识图谱的特征引入到推荐系统领域得到了研究者们的关注，但目前该方向的研究工作在复用传统知识图谱学习的基础上，仅通过简单的聚合策略对多模态特征进行聚合以构建知识图谱中实体的嵌入表示，一方面未对多模态特征的复杂性(冗余性和贡献性)进行深入探究，不利于将多模态信息很好的利用起来；另一方面所面对有限长的用户-物品交互序列，受限于数据的稀疏性，现有方法仍然无法很好的生成准确的用户偏好表示，进行影响个性化推荐结果的准确性。

技术实现思路

1、为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种基于多层次对比学习与多模态知识图谱的推荐方法及系统，在学习用户偏好表示的过程中，通过引入多层次的对比学习方法以构建更全面的物品表示、更细粒度化和更健壮的用户偏好表示，从而对数据稀疏下的用户-物品交互序列进行更好的偏好建模，进而提高电商平台的个性化推荐效果。

2、本发明的实施例是这样实现的：

3、第一方面，本发明实施例提供一种基于多层次对比学习与多模态知识图谱的推荐方法，包括以下步骤：

4、根据预先给定的用户-物品交互数据和多模态知识图谱构建用户-物品交互序列和协同多模态知识图谱；

5、针对多模态知识图谱，利用模态对比学习技术根据知识图谱中的多模态特征进行学习，得到实体向量表示，建立模态对比学习损失函数；

6、针对协同多模态知识图谱，利用关系对比学习技术根据多模态知识图谱中的实体进行学习，得到节点向量表示，建立关系对比学习损失函数；

7、针对用户-物品交互序列和协同多模态知识图谱，利用偏好对比学习技术根据用户-物品交互序列进行学习，得到用户偏好表示，建立偏好对比学习损失函数；

8、根据模态对比学习损失函数、关系对比学习损失函数、偏好对比学习损失函数和预设的推荐损失函数进行模型训练和优化，进而得到适用于用户偏好的推荐结果。

9、为了解决现有技术中序列化推荐中的稀疏性问题和多模态特征复杂性问题的问题，本发明一方面引入多模态知识图谱为用户-物品交互数据进行特征补充，另一方面设计了一种多层对比学习方法进行多角度的特征学习。使用多层对比学习和多模态知识图谱进行用户偏好建模的方式使得物品表示具有更强的完整性、用户兴趣表示具有更强的细粒度性，从而对用户进行物品推荐的能力更强。在实体表示层面上的模态对比学习，让相同实体的模态表示间更相似，而与其他实体的模态表示相似性变小。在节点表示层面上的关系对比学习，让相同节点在不同子图中的节点表示间更相似，而与其他子图的节点表示相似性变小。在用户偏好表示层面上的偏好对比学习，让同一用户的偏好表示间更相似，而与其他用户的偏好表示相似性变小。相比于现有的序列化推荐算法，本发明能够更有效地、准确地建模用户偏好特征，进而高质量的完成序列化推荐任务。

10、基于第一方面，在本发明的一些实施例中，上述根据预先给定的用户-物品交互数据和多模态知识图谱构建用户-物品交互序列和协同多模态知识图谱的方法包括以下步骤：

11、根据预先给定的用户-物品交互数据和多模态知识图谱构建构建知识图谱中的三元组和协同多模态知识图谱；

12、按照由多模态特征学习到实体表示学习，实体表示学习到节点表示学习，节点表示学习到用户偏好学习的层次化特征进行建模。

13、基于第一方面，在本发明的一些实施例中，上述针对多模态知识图谱，利用模态对比学习技术根据知识图谱中的多模态特征进行学习，得到实体向量表示，建立模态对比学习损失函数的方法包括以下步骤：

14、针对给定的多模态知识图谱，采用对应的模态编码器挖掘各个模态特征的语义信息，以生成各个模态特征的实体向量表示；

15、根据各个模态特征的实体向量表示建立模态对比学习损失函数。

16、基于第一方面，在本发明的一些实施例中，上述针对协同多模态知识图谱，利用关系对比学习技术根据多模态知识图谱中的实体进行学习，得到节点向量表示，建立关系对比学习损失函数的方法包括以下步骤：

17、基于协同多模态知识图谱及实体向量表示，根据三元组中的实体间关系将协同多模态知识图谱中的节点结构图划分为两个子图；

18、分别利用邻居节点聚合器和属性特征聚合器对两个子图中的节点的表征学习，得到节点一类向量表示和节点二类向量表示；

19、根据节点一类向量表示和节点二类向量表示建立关系对比学习损失函数。

20、基于第一方面，在本发明的一些实施例中，上述针对用户-物品交互序列和协同多模态知识图谱，利用偏好对比学习技术根据用户-物品交互序列进行学习，得到用户偏好表示，建立偏好对比学习损失函数的方法包括以下步骤：

21、根据用户-物品交互序列和节点向量表示，利用随机掩盖和随机游走的方法对网络中与用户相关的图数据进行增强，生成对应的用户实体结构；

22、将各个用户实体结构分别输入至汇聚编码器，以生成两种类型的用户偏好表示；

23、根据两种类型的用户偏好表示建立偏好对比学习损失函数。

24、基于第一方面，在本发明的一些实施例中，上述根据模态对比学习损失函数、关系对比学习损失函数、偏好对比学习损失函数和预设的推荐损失函数进行模型训练和优化，最终得到适用于用户偏好的推荐结果的方法包括以下步骤：

25、根据模态对比学习损失函数、关系对比学习损失函数、偏好对比学习损失函数和预设的推荐损失函数构建目标损失函数，并进行参数优化，以得到最优损失函数；

26、基于最优损失函数计算并根据用户偏好与各个候选物品之间的相似性关系确定推荐物品，生成为当前用户的推荐物品列表。

27、第二方面，本发明实施例提供一种基于多层次对比学习与多模态知识图谱的推荐系统，包括：图谱构建模块、模态损失建立模块、关系损失建立模块、偏好损失建立模块以及联合训练模块，其中：

28、图谱构建模块，用于根据预先给定的用户-物品交互数据和多模态知识图谱构建用户-物品交互序列和协同多模态知识图谱；

29、模态损失建立模块，用于针对多模态知识图谱，利用模态对比学习技术根据知识图谱中的多模态特征进行学习，得到实体向量表示，建立模态对比学习损失函数；

30、关系损失建立模块，用于针对协同多模态知识图谱，利用关系对比学习技术根据多模态知识图谱中的实体进行学习，得到节点向量表示，建立关系对比学习损失函数；

31、偏好损失建立模块，用于针对用户-物品交互序列和协同多模态知识图谱，利用偏好对比学习技术根据用户-物品交互序列进行学习，得到用户偏好表示，建立偏好对比学习损失函数；

32、联合训练模块，用于根据模态对比学习损失函数、关系对比学习损失函数、偏好对比学习损失函数和预设的推荐损失函数进行模型训练和优化，最终得到适用于用户偏好的推荐结果。

33、为了解决现有技术中序列化推荐中的稀疏性问题和多模态特征复杂性问题的问题，本系统通过图谱构建模块、模态损失建立模块、关系损失建立模块、偏好损失建立模块以及联合训练模块等多个模块的配合，一方面引入多模态知识图谱为用户-物品交互数据进行特征补充，另一方面设计了一种多层对比学习方法进行多角度的特征学习。使用多层对比学习和多模态知识图谱进行用户偏好建模的方式使得物品表示具有更强的完整性、用户兴趣表示具有更强的细粒度性，从而对用户进行物品推荐的能力更强。在实体表示层面上的模态对比学习，让相同实体的模态表示间更相似，而与其他实体的模态表示相似性变小。在节点表示层面上的关系对比学习，让相同节点在不同子图中的节点表示间更相似，而与其他子图的节点表示相似性变小。在用户偏好表示层面上的偏好对比学习，让同一用户的偏好表示间更相似，而与其他用户的偏好表示相似性变小。相比于现有的序列化推荐算法，本发明能够更有效地、准确地建模用户偏好特征，进而高质量的完成序列化推荐任务。

34、第三方面，本技术实施例提供一种电子设备，其包括存储器，用于存储一个或多个程序；处理器。当一个或多个程序被处理器执行时，实现如上述第一方面中任一项的方法。

35、第四方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。

36、本发明实施例至少具有如下优点或有益效果：

37、本发明实施例提供一种基于多层次对比学习与多模态知识图谱的推荐方法及系统，一方面引入多模态知识图谱为用户-物品交互数据进行特征补充，另一方面设计了一种多层对比学习方法进行多角度的特征学习。使用多层对比学习和多模态知识图谱进行用户偏好建模的方式使得物品表示具有更强的完整性、用户兴趣表示具有更强的细粒度性，从而对用户进行物品推荐的能力更强。相比于现有的序列化推荐算法，本发明能够更有效地、准确地建模用户偏好特征，进而高质量的完成序列化推荐任务。