融合图神经网络和双Bert模型的社交平台谣言转发预测方法

本发明涉及社交网络的谣言转发预测领域。尤其是涉及一种融合图神经网络和双bert模型的社交平台谣言转发预测方法。

背景技术：

1、可能引发谣言的传播，导致人们产生恐慌、焦虑和愤怒等负面情绪，进而诱发人们出现一些不理性的行为，影响了社会的和谐稳定。谣言被定义为被证实与事实相反的陈述，但仍容易被公众广泛传播。谣言的迅速传播可能影响社会群体的舆论，从而对人们的生活产生负面影响。

2、近年来，随着web 2.0和移动互联网技术的快速发展，微博、微信、twitter等主流社交媒体逐渐成为关键的信息共享渠道。然而，社交媒体就像一把双刃剑，它帮助用户更容易地获取信息，与此同时，也降低了虚假信息的传播成本。特别是在自然灾害、公共卫生和社会安全事件等公共紧急情况下，社交媒体上谣言的快速传播很容易引发群体性的焦虑和恐慌，极大地考验了政府部门的社会治理能力和应急响应能力。因此，揭示社交媒体在公共紧急情况下的谣言传播机制，并提供科学有效的谣言控制策略，是一个具有挑战性的问题。

3、近年来，研究人员在宏观的谣言传播问题方面做出了巨大努力，例如扩散模式构建、谣言内容分析和传播过程分析等。然而，当社交媒体用户接收到谣言消息时，受到谣言内容属性和个体行为偏好的影响，他们将决定是否传播谣言。因此，个体行为是影响谣言传播级联的广度和深度的重要内在动因。当前的研究表明，在社交媒体构建的社会系统中，个体具有网民和真实社会存在的双重身份。因此，个体行为具有心理和社会学特征，容易受到沉默螺旋效应的影响。于是，一些研究者通过分析影响社交媒体中个体转发行为的因素，建立多种模型预测社交媒体中的个体转发行为。

4、个体的转发行为是影响谣言传播机制的重要内在动因。在信息内容、社交关系和网络环境的影响下，个体的谣言传播行为显然与非谣言传播行为有所不同。然而，现有的预测模型较少涉及社交媒体用户的谣言转发行为，主要面向普通推文的转发行为分析。鉴于此，本案发明人的关注点在于如何利用图神经网络和bert模型，融合信息内容、用户属性、拓扑结构和历史行为等多个关键因素实现用户个体对谣言的转发行为预测。通过预测谣言转发行为，可以及时发现潜在的谣言传播趋势，从而使政府平台和相关机构能够更快速地采取行动，限制谣言的扩散。

技术实现思路

1、本发明的目的是克服现有技术的不足，提供一种融合图神经网络和双bert模型的社交平台谣言转发预测方法。

2、本发明解决其技术问题所采用的技术方案包括以下步骤：

3、步骤1、给定社交网络g＝(v,e)，v代表用户节点的集合，e代表用户之间边的集合。搜集用户的每条历史转发推文，构成集合t＝{t1,t2,...,tn}，n代表用户数，ti代表用户vi的历史转发推文集合。代表待转发谣言推文，vj代表发布该谣言推文的用户，vi,vj∈v。

4、步骤2、针对待转发谣言推文通过bert+meanpooling模型提取待转发谣言推文的文本嵌入特征xq。针对用户vi的历史转发推文集合ti＝{ti1,ti2,...,tim}，同样通过bert+weightedpooling模型提取出文本嵌入特征xi。将xq，xi以及|xq-xi|进行拼接并线性映射得到映射向量x[i]。

5、步骤3、提取用户vi的属性特征hc[i]、历史行为特征hr[i←j]、hr[i→j]和拓扑结构特征hs[i]。

6、步骤4、设计gat层分别对用户vi与邻居节点的属性特征、历史行为特征和拓扑结构特征进行聚合，对聚合后的各信息进行拼接得到拼接向量ψ[i]。

7、步骤5、将拼接向量ψ[i]与映射向量x[i]再次进行拼接，并输入带softmax激活函数的全连接层，输出用户vi转发谣言推文的概率

8、步骤6、设定交叉熵损失函数利用adam优化方法对模型进行训练。学习结束后利用模型的参数对需要预测的用户进行预测，并判断该用户是否会转发待预测微博。

9、所述步骤2的具体实现过程如下：

10、2-1.利用中文bert预训练模型提取待转发谣言推文中每个词汇的嵌入向量，然后利用meanpooling方法输出每个词汇的均值，最后将待转发谣言推文的嵌入向量表示为

11、2-2.针对用户vi的历史转发推文集合ti＝{ti1,ti2,...,tim}，按照步骤2-1提取每个推文对应的嵌入向量{xi1,xi2,...,xim}。

12、2-3.利用weightedpooling方法提取用户vi的历史转发推文集合ti对应的嵌入向量xi，具体表示为：

13、xi＝weiavgpool([μi1xi1,...,μimxim])      (1)

14、其中，μim代表每个历史转发推文的权重:

15、

16、上式(2)中，cm代表用户vi和用户vj的共同邻居数。其中，用户vj发布的转发推文tim并被用户vi转发。

17、2-4.将xq、xi和|xq-xi|进行拼接得到推文文本嵌入向量x'[i]。|xq-xi|代表元素对应差(element wise difference)。

18、2-5.将x'[i]加线性映射得到映射向量x[i]：

19、x[i]＝wxx'[i]       (3)

20、其中，wx表示训练参数。

21、所述步骤3的具体实现过程如下：

22、3-1.提取用户vi的属性特征，包含性别、年龄、地理位置和个人描述等信息。使用独热(one-hot)编码表示性别、年龄和地理位置信息，通过word2vec模型将个人描述转换为向量表示。对上述属性特征进行拼接得到用户属性向量c[i]，并通过下式将c[i]线性映射得到属性特征hc[i]:

23、hc[i]＝wcc[i]          (4)

24、其中，wc表示训练参数。

25、3-2.提取用户vi和用户vj之间的历史转发行为向量hr[i→j]和hr[i←j]。定义l个时间间隔，记录每个时间间隔内用户vi转发用户vj的次数，将其归一化后记录为向量hr[i→j]。同样记录每个时间间隔内用户vj转发用户vi的次数，将其归一化后记录为向量hr[i←j]。

26、3-3.利用sdne(structural deep network embedding)获得用户vi的拓扑结构特征hs[i]。将sdne的损失函数定义如下：

27、lossmix＝αloss1+loss2+γlossreg        (5)

28、其中，loss1代表一阶相似度，loss2为二阶相似度，lossreg代表正则项，α和γ分别表示一阶相似度和正则项的系数。

29、所述步骤4的具体实现过程如下：

30、4-1.在图注意力神经网络中，针对相邻用户对(vi,vj)计算在属性特征上的聚合系数

31、

32、

33、上式中，n(vi)代表用户vi的邻居节点，||表示拼接操作，代表权重参数的转置，wc代表训练参数。hc[j]表示用户vj的属性特征。

34、4-2.针对相邻用户对(vi,vj)计算在历史行为特征上的聚合系数

35、

36、

37、上式中，n(vi)代表用户vi的邻居节点，||表示拼接操作，代表权重参数的转置，wr代表训练参数。

38、4-3.针对相邻用户对(vi,vj)计算在拓扑结构特征上的聚合系数

39、

40、

41、上式中，n(vi)代表用户vi的邻居节点，||表示拼接操作，代表权重参数的转置，ws代表训练参数。

42、4-4.根据聚合系数和计算用户vi的属性特征、历史行为特征和拓扑结构特征的聚合值：

43、

44、

45、

46、4-5.将用户vi各个特征的聚合值以及用户vi的原始特征值进行拼接，得到用户vi的最终聚合特征ψ[i]：

47、ψ[i]＝tc[i]||ts[i]||tr[i]||hc[i]||hs[i]||hr[i]   (15)

48、所述步骤5的具体实现过程如下：

49、5-1.根据步骤2计算出来的x[i]和步骤4计算出来的ψ[i]，将其二者拼接得到φ[i]：

50、φ[i]＝x[i]||ψ[i]      (16)

51、5-2.将φ[i]输入带softmax激活函数的全连接层，输出用户vi转发谣言推文的概率

52、

53、其中，wfc表示训练向量。

54、所述步骤6的具体实现过程如下：

55、6-1.我们将本发明中的所有参数定义为θ，γ代表训练集表示用户vi转发谣言推文的数据对。k表示训练集的数量，表示实际转发标签，利用交叉熵损失函数对模型进行训练。本发明的谣言转发问题属于二分类问题，则交叉熵损失函数计算公式如下：

56、

57、本发明利用adam优化器对上述目标函数进行最小化学习。

58、6-2.学习结束后利用模型的参数对需要预测的用户进行预测，并判断输出该用户是否会转发待预测谣言推文。具体实现上，给定新的待预测谣言推文为以及待预测用户vi，首先提取谣言推文和用户推文的内容特征x[i]，然后根据训练好的模型得到属性特征、历史转发行为特征以及拓扑结构特征聚合后的用户嵌入向量ψ[i]。根据公式(16)和公式(17)计算的值，再根据的值判断用户vi是否会转发谣言推文

59、本发明有益效果如下：

60、本发明通过融合谣言推文、用户历史转发推文的文本信息、用户拓扑结构、属性信息以及历史转发行为等多种关键因素，对用户的转发行为进行预测。本发明既能考虑到内容信息给转发行为带来的影响，同时结合了用户的拓扑、属性和历史转发行为对谣言推文的转发意图的影响。本发明设计双bert模型提取谣言推文和用户历史推文的信息。考虑到谣言转发过程中，用户的行为容易受到周围用户的影响，本发明设计gat模型分别对多种特征进行聚合并拼接，可以更细粒度地提取邻居用户对转发行为的影响。在给定特定谣言推文的条件下，本发明可以实现对社交网络的特定用户判定是否会转发该谣言推文。换句话说，本发明的任务是给定一条待预测谣言和一个用户vi，预测相应的转发标签

61、谣言在网络上的传播经常伴随着恶意攻击、网络欺诈和隐私泄露等问题。本发明不但有助于早期识别可能对网络安全和隐私产生威胁的恶意传播，并采取相应的防范措施，而且有助于理解谣言在微博社交网络中的扩散机制，这在舆情监控、企业辅助决策等领域有着广泛的应用。