一种基于用户认知一致性推理的多模态虚假新闻检测方法

本发明属于电子信息，涉及一种基于用户认知一致性推理的多模态虚假新闻检测方法。

背景技术：

1、社交媒体凭借其信息发布的快速性和消费的平等性，极大地促进了信息共享的民主化。因此，如何高效准确地识别社交媒体中传播的虚假新闻，目前已经成为社交媒体分析和信息内容安全领域的重大关键问题之一。

2、最近，在社交媒体上传播的新闻已经逐渐从基于文本的单模态形式转变为以图像、视频等内容为主的多模态形式。多模态新闻更吸引读者的浏览、吸收、分享与传播，能够为读者提供身临其境的阅读体验。然而，虚假新闻也充分利用了这一优势来吸引和误导读者，导致多模态虚假新闻的不断涌现。为了减轻虚假新闻带来的负面影响，自动检测社交媒体上的多模态假新闻已经成为了当前学术界、工业界乃至政府机构亟需解决的重要问题。

3、与单模态虚假新闻检测任务相比，多模态假新闻检测的挑战在于如何从模态不平衡、维度差异大以及语义空间不统一的多模型信息中学习有价值的特征提高检测性能。现有的研究主要集中在提取和学习不同多模态信息之间的关联特征进行检测，主要分为两类：第一种是多模态交互方法，其旨在通过不同的交叉交互机制来衡量它们之间的相似关系，从而匹配出相似语义特征。例如，zhou等人首先从新闻中提取文本和视觉特征，然后进一步构建对齐的注意交互机制提取跨模态特征之间的匹配关系。第二种方法是引入与多模态信息相关的辅助任务，学习多任务之间的关联共享特征。其中，jaiswal等人将深度多模态表示学习与离群值检测方法相结合，捕获多模态特征之间的一致性关系。与此同时，基于预训练模型的研究也越来越普遍，其借助诸如bert、vgg-19等预训练模型学习新闻中文本和图像的深度关联语义，从而显著提高检测性能。然而，这些方法虽然取得了一定的性能，但仍存在比较严重的缺陷缺陷，即难以捕获不同模态之间的不一致信息。传统的检测方法通常构建一系列对齐交互模型来捕获不同模态之间的共同相似语义以提高检测性能，但难以捕获多模态之间的不一致信息并将这种高可信度指示特征应用于检测。为解决这些问题，本发明观察到用户质疑谣言时的一系列认知行为能够容易地发现多模态假新闻中的不一致信息。基于此，如何建模用户认知谣言的过程进行多模态信息中差异性特征的提取是多模态虚假新闻检测研究的关键。

技术实现思路

1、要解决的技术问题

2、针对当前多模态虚假信息检测方法中存在的缺陷，受用户识别谣言的认知过程的启发，本发明提出了基于用户认知一致性推理的多模态虚假新闻检测方法(uccin)，其分别从以下三个视角：从新闻视觉信息与文本内容之间、评论与评论之间、新闻与评论之间等多层次全面挖掘假新闻的不一致信息，提高多模态虚假新闻检测能力。具体来说，在uccin中，本发明首先设计了跨模态对齐层，对新闻中的文本信息和视觉信息进行语义对齐，以检查新闻语义的一致性。为了从评论中获取读者广泛讨论的有价值信息，本发明开发了上下文交互层使每个评论信息与全局评论语义进行交互，并通过设计的双通道门控块过滤与新闻无关的评论语义，从而强化最受关注的评论语义。最后，本发明设计了协同推理层驱动最关注的评论语义与新闻的一致语义进行交互推断，并对推断的不一致特征进行聚合和融合，以增强新闻与评论之间的检测能力。

3、技术方案

4、一种基于用户认知一致性推理的多模态虚假新闻检测方法，其特征在于步骤如下：

5、s1：嵌入编码模块

6、分别采用bert编码器与resnet-152对多模态新闻中包含的文本信息与图像信息进行嵌入编码表示；

7、s2：跨模态对齐模块

8、利用自注意力网络对嵌入编码的文本信息和图像信息进行特征提取，将特征输入到设计的交叉注意块中进行语义交互，将从新闻文本特征与新闻图像特征两个角度捕捉到的一致特征进行整合；

9、s3：上下文交互模块

10、设计上下文交互层，使所有的评论信息与全局评论语义进行全面地交互，从而挖掘并强化评论中的用户最关注的语义特征；

11、s4：协同推断模块

12、设计由协同引导块、交叉注意力块和聚合融合块组成的协同推理层，使多模态新闻语义与最受关注的评论特征进行协同推断，从而发掘新闻和评论之间的不一致信息提升模型的检测性能。

13、本发明进一步的技术方案：s2包括以下步骤：

14、s21：自注意力网络：采用多头自注意机制分别学习文本序列和图像中所有位置的全局相关性，给定查询q，键k和值v，缩放后的点积注意力表示为：

15、

16、其中，在文本内容中，设置在图像信息中，设置d是单词的嵌入维度，n是文本序列的长度；

17、s22：通过不同的线性投影将查询、键和值投影h次，然后这些结果并行地执行缩放的点积注意力；形式上，多头注意力网络可表示为：

18、headi＝attention(qwiq,kwik,vwiv)                          (4)

19、

20、其中，wiq，wik，wiv以及均为可训练的参数，并且h是d/h；o＝o3与 o＝og为嵌入编码的文本特征和嵌入编码的图像特征；

21、s23：交叉注意力块：将编码后的文本特征设为ot作为查询，和图像特征og作为键和值；将编码后的图像特征为og表示查询，和文本功能ot作为键和值；这个过程描述为：

22、

23、

24、

25、

26、其中，所有w皆为可训练的参数；

27、s24：将从新闻文本特征与新闻图像特征两个角度捕捉到的一致特征进行整合：

28、

29、其中，‘；’是拼接的操作且为整体一致性特征。

30、本发明进一步的技术方案：s3包括以下步骤：

31、s31：通过平均池化策略处理所有评论得到全局特征cavgp；通过最大池化策略处理所有评论得到全局特征cmaxp；

32、s32：采用s23的交叉注意力块接收cmaxp作为查询，ci作为键，cavgp作为值，从而获得第i条评论的潜在有用特征，即为

33、s33：双通道门控块：使用一条通道直接向下游传输所有信息，利用另一条通道通过门控机制筛选潜在有用特征，即首先在空间维度上转换潜在有用特征，然后利用线性门控过滤这些特征，表示为：

34、

35、

36、其中，w和b均为可训练的参数，⊙为元素间的乘积操作；

37、s34：从k条评论中挖掘的显著有用信息进行整合，从而获得所有评论的整体有价值声音occ：

38、

39、本发明进一步的技术方案：s4包括以下步骤：

40、s41：协同引导块：开发两个协同引导块，分别从文本内容和图像内容两个角度引导原始有价值评论特征的学习，从而分别获得与新闻文本和新闻图像密切相关的有价值的评论特征；其中文本内容指导的过程表述为：

41、

42、

43、

44、

45、

46、

47、其中，所有的w和b均为可训练的参数；

48、s42：采用s41同样的方式，学习到新闻图片指导的有价值评论特征为

49、s43：交叉注意力块：使用两个交叉注意力块分别将新闻文本和新闻图像的语义与评论的语义进行交互，针对新闻文本与评论的交互中，本模块使用作为查询，作为键，作为值；在针对新闻图像与评论的交互中，本模块使用作为查询作为键，作为值，针对文本和图像学习到的不一致语义分别标记为otc与ogc；

50、s44：汇聚融合块：首先通过元素间乘积操作分别关注两个角度信息的不一致语义的显著特征部分，即与其次，利用残差网络将显著特征与文本和图像特征进行融合，即t和g；最后，通过绝对值差分的方式将这些特征进行充分融合：

51、

52、

53、

54、

55、tg＝[t；|t-g|；t⊙g；g]                       (24)

56、s45：使用softmax函数对学习概率分布进行预测，并通过全局的损失函数进行交叉熵训练：

57、p＝softmax(wptg+bp)                              (25)

58、loss＝-∑ylogp                                    (26)

59、其中，wp、bp为可训练参数，y为真实标签。

60、一种计算机系统，其特征在于包括：一个或多个处理器，计算机可读存储介质，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的方法。

61、一种计算机可读存储介质，其特征在于存储有计算机可执行指令，所述指令在被执行时用于实现上述的方法。

62、一种计算机程序，其特征在于包括计算机可执行指令，所述指令在被执行时用于实现上述的方法。

63、有益效果

64、本发明提出的一种基于用户认知一致性推理的多模态虚假新闻检测方法(uccin)，其分别从以下三个视角：从新闻视觉信息与文本内容之间、评论与评论之间、新闻与评论之间等多层次全面挖掘假新闻的不一致信息，提高多模态虚假新闻检测能力。本发明为多模态信息融合提供了新思路，提高了多模态虚假新闻的检测性能。与现有技术相比，本发明具有以下创新：

65、1：本发明提出了基于用户认知谣言过程的一致性推理网络用于多模态假新闻检测，能够发现新闻与评论之间的不一致信息，提高多模态虚假新闻的检测能力。据我们所知，这是首次将用户认知机制应用于多模态假新闻检测任务；

66、2：本发明受用户观察多模态新闻的认知过程所启发，设计了跨模态对齐层，能够分别从文本和图像两个角度关注多模态新闻的一致性信息。

67、3：本发明所开发的上下文交互层能够通过交叉交互和双通道门控机制的结合来发现评论之间有价值的语义。

68、本发明在三个具有竞争力的虚假新闻检测数据集上进行广泛的实验证实了本发明的优越性以及各个模块的协同有效性。