基于预训练语言模型和知识图谱的社交用户位置预测方法与流程

本技术涉及社交用户位置预测，尤其涉及一种基于预训练语言模型和知识图谱的社交用户位置预测方法和装置。

背景技术：

1、目前已经存在一些社交用户位置信息预测方法。现有方法包括采用机器学习的方法来预测用户的位置，通过将地理区域划分为若干个网格，使用朴素贝叶斯估计推文中的每个词汇落入不同网格的概率，使用kl散度(kullback-leibler divergence，kld)寻找和网格的词汇分布最相近的推文，最终使用和密度估计代替基于计数的估计。由于此技术涉及到了地理网格的划分，这一方法只适合小范围粗粒度估计，而且需要大量的训练数据。现有方法还包括使用神经网络来预测位置，通过引入长短期记忆网络(long short-termmemory,，lstm)来编码推文，通过引入基于变换器的双向编码器表示技术(bidirectionalencoder representations from transformers，bert)来编码推文。尽管这些方法取得了一些成效，但是这些方法普遍依赖用户提供的自我位置描述，对于缺乏自我位置描述信息的用户位置预测并不好。现有方法还包括使用图卷积网络(graph convolutionalnetworks,gcn)融合推文的实体间的关联图，并使用高斯混合模型学习实体位置的高斯分布的推理方法。这种方法面临着关联图连接稠密以及需要大量训练数据的缺点。

技术实现思路

1、本技术旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本技术的第一个目的在于提出一种基于预训练语言模型和知识图谱的社交用户位置预测方法，解决了现有社交用户位置信息预测方法需要大量训练数据且依赖用户提供的自我位置描述的技术问题，通过抽取社交用户发布的文本中的实体，结合外部的地理知识图谱构建一个以用户为中心的用户、文本、知识图谱联合图，并使用预训练语言模型和渐进式关系图神经网络预测用户的位置，能够对缺少自我位置描述的用户进行位置推理，挖掘用户和位置之间的潜在关联，具有很强的泛化性，并且能够进行可解释的推理。

3、本技术的第二个目的在于提出一种基于预训练语言模型和知识图谱的社交用户位置预测装置。

4、本技术的第三个目的在于提出一种计算机设备。

5、本技术的第四个目的在于提出一种非临时性计算机可读存储介质。

6、为达上述目的，本技术第一方面实施例提出了一种基于预训练语言模型和知识图谱的社交用户位置预测方法，包括：获取第一社交用户发表的有效文本集合和有效实体集合，其中，有效文本集合包括多个有效文本，有效文本包括至少一个有效实体；分别使用预训练语言模型对有效文本和有效实体进行编码，得到有效文本的语义表示和有效实体的语义表示，并根据有效文本的语义表示和有效实体的语义表示，计算得到有效实体和对应的有效文本间的匿名关系的表示；根据有效实体从地理百科知识图谱中抽取k跳子图，并根据第一社交用户的实体、有效文本、有效实体、匿名关系的表示和k跳子图，构建第一社交用户的联合图；根据联合图，使用渐进式关系图神经网络预测得到第一社交用户位置。

7、可选地，在本技术的一个实施例中，获取第一社交用户发表的有效文本集合和有效实体集合，包括：

8、获取第一社交用户发表的文本集合，从文本集合中抽取命名实体，进行实体链接得到有效实体集合，并从文本集合中获取有效实体对应的文本，得到有效文本集合；

9、其中，通过使用端到端的实体链接方法将命名实体连接到地理知识库中的实体，过滤没有链接关系的命名实体，得到有效实体集合。

10、可选地，在本技术的一个实施例中，根据有效文本的语义表示和有效实体的语义表示，计算得到有效实体和对应的有效文本间的匿名关系的表示，包括：

11、设置预设数量的匿名关系因子，并使用第一损失函数对匿名关系因子进行分离约束；

12、拼接训练好的匿名关系因子的语义表示、有效实体的语义表示和有效实体对应的有效文本的语义表示，并根据拼接得到的结果计算有效实体对匿名关系因子的注意力值，其中，通过初始化并训练匿名关系因子的语义表示，得到训练好的匿名关系因子的语义表示；

13、根据有效实体对匿名关系因子的注意力值和训练好的匿名关系因子的语义表示，计算得到有效实体和对应的有效文本间的匿名关系的表示。

14、可选地，在本技术的一个实施例中，根据有效实体从地理百科知识图谱中抽取k跳子图，包括：

15、步骤s1：根据有效实体初始化第一候选实体集合，并初始化候选事实集合为空集；

16、步骤s2：从地理知识库中查询以第一候选实体集合中的实体为头实体或尾实体的三元组，将三元组添加到候选事实集合中，并将三元组中的实体添加到第一候选实体集合中，

17、步骤s3：重复k次步骤s2，得到k跳子图。

18、可选地，在本技术的一个实施例中，根据第一社交用户的实体、有效文本、有效实体、匿名关系的表示和k跳子图，构建第一社交用户的联合图，包括：

19、根据第一社交用户的实体和有效文本间的关系连接第一社交用户的实体和有效文本，其中，第一社交用户的实体和有效文本的关系包括发布关系和转发关系；

20、根据有效实体和对应的有效文本间的匿名关系的表示连接有效文本和有效文本中的有效实体；

21、将有效文本对应的所有有效实体用关联关系进行连接，并根据k跳子图，将有效实体和k跳子图中的实体进行连接，得到第一社交用户的联合图。

22、可选地，在本技术的一个实施例中，根据联合图，使用渐进式关系图神经网络预测得到第一社交用户位置，包括：

23、根据第一社交用户的实体和关系构建查询，其中，将“用户位于”作为关系；

24、将联合图和查询输入渐进式关系图神经网络，获取候选事实集合中的三元组的反向三元组，并将反向三元组添加至联合图；

25、将第二候选实体集合初始化为包含第一社交用户的实体的集合，初始化边集合为空集；

26、根据联合图，选择从第二候选实体集合中的实体出发的三元组加入边集合，再将边集合中的三元组涉及的实体加入第二候选实体集合，计算第二候选实体集合中的实体的消息表示，多次迭代，直至将联合图中的所有实体加入第二候选实体集合，并得到第二候选实体集合中所有实体的消息表示；

27、过滤第二候选实体集合中不属于地理实体的候选实体，并根据消息表示，计算过滤后的候选实体的得分，并选择得分最高的候选实体作为第一社交用户位置。

28、可选地，在本技术的一个实施例中，在根据联合图，使用渐进式关系图神经网络预测得到第一社交用户位置之前，包括：

29、获取多个社交用户发表的文本集合，以及多个社交用户的实际位置；

30、根据文本集合，构建每个社交用户的联合图；

31、根据联合图和实际位置，使用联合损失函数对渐进式关系图神经网络进行训练；

32、其中，联合损失函数表示为：

33、loss＝lossprd+λlossdis

34、其中，loss表示为联合损失函数，lossdis表示第一损失函数，lossprd表示第二损失函数，λ表示预设的组合系数；

35、第一损失函数表示为：

36、

37、其中，lossdis表示第一损失函数，m为匿名关系因子的数量，si，j为匿名关系因子i和匿名关系因子j的余弦相似度；

38、第二损失函数表示为：

39、

40、其中，lossprd为第二损失函数，sq为社交用户，q为关系“用户位于”，oq为社交用户sq的实际位置，g1为社交用户sq以及对应的实际位置oq、关系“用户位于”q构成的三元组(sq，q，oq)的集合，f(sq，q，oq)为社交用户的实际位置的得分，esq为社交用户sq的所有的过滤后的候选实体的集合，f(sq，q，o)为渐进式关系图神经网络输出的三元组(sq，q，o)的得分。

41、为达上述目的，本技术第二方面实施例提出了一种基于预训练语言模型和知识图谱的社交用户位置预测装置，包括：

42、获取模块，用于获取第一社交用户发表的有效文本集合和有效实体集合，其中，有效文本集合包括多个有效文本，有效文本包括至少一个有效实体；

43、匿名关系表示模块，用于分别使用预训练语言模型对有效文本和有效实体进行编码，得到有效文本的语义表示和有效实体的语义表示，并根据有效文本的语义表示和有效实体的语义表示，计算得到有效实体和对应的有效文本间的匿名关系的表示；

44、构建模块，用于根据有效实体从地理百科知识图谱中抽取k跳子图，并根据第一社交用户的实体、有效文本、有效实体、匿名关系的表示和k跳子图，构建第一社交用户的联合图；

45、预测模块，用于根据联合图，使用渐进式关系图神经网络预测得到第一社交用户位置。

46、为达上述目的，本技术第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现上述施例所述的基于预训练语言模型和知识图谱的社交用户位置预测方法。

47、为了实现上述目的，本技术第四方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器被执行时，能够执行一种基于预训练语言模型和知识图谱的社交用户位置预测方法。

48、本技术实施例的基于预训练语言模型和知识图谱的社交用户位置预测方法、装置、计算机设备和非临时性计算机可读存储介质，解决了现有社交用户位置信息预测方法需要大量训练数据且依赖用户提供的自我位置描述的技术问题，通过抽取社交用户发布的文本中的实体，结合外部的地理知识图谱构建一个以用户为中心的用户、文本、知识图谱联合图，并使用预训练语言模型和渐进式关系图神经网络预测用户的位置，能够对缺少自我位置描述的用户进行位置推理，挖掘用户和位置之间的潜在关联，具有很强的泛化性，并且能够进行可解释的推理。

49、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。