一种多模态特征融合的社交媒体内容传播预测方法

本发明涉及深度学习领域，特别涉及一种多模态特征融合的社交媒体内容传播预测方法。

背景技术：

1、随着近年来互联网通信技术的进步和通信基础设施的完善和发展，社交媒体逐渐兴起并广泛融入了人们的生活生产，社交媒体所具备的传播特点引起了人们的广泛关注。不同于报刊、广播、电视等传统媒体自上而下的纵向传播，社交媒体通过社交网络进行自媒体与用户之间的横向传播，具有内容发布便捷、互动性强、传播速度快且影响广等特点。然而，面对社交媒体信息的特殊性质和大量的数据噪声，目前大部分已有的社交媒体传播预测方案都给出了缺乏可信度的预测结果，不能够准确的预测社交媒体内容的传播程度。

2、社交媒体内容中包含的信息类型多种多样，其中多模态数据信息包括图像、文本和发布者信息等，由于多模态数据的异构性，难以合理高效地结合不同模态间的数据并对社交媒体内容的传播结果(点击量、浏览量、播放量等相关指标)进行准确的预测。利用深度学习方法进行预测任务需要大量的数据支撑，而目前社交媒体平台多种多样，不同的社交媒体平台拥有不同的平台结构和内容呈现方式，获取新发布内容的传播结果又需要大量时间等待。这带来了目标社交媒体平台内容数据的获取时间长、难度高，以及得到的数据噪声大等问题，对深度学习的预测任务造成了较大负面影响。

技术实现思路

1、针对现有技术存在的缺陷，本发明提供一种多模态特征融合的社交媒体内容传播预测方法。本发明旨在解决如何通过神经网络从社交媒体内容的多模态数据中提取高维特征并融合，从而提高社交媒体传播预测的准确性和鲁棒性。

2、为了达到上述目的，我们首先需要利用数据爬虫从目标社交媒体平台爬取已发布内容的数据。从社交媒体内容数据中将不同模态的数据分离，并对数据进行归一化等处理。然后输入不同模态对应的特征提取网络分别提取模态特征，对提取的特征进行降维对齐，合并后输入全连接层进行回归预测，最终提高社交媒体内容传播预测的准确性。

3、一种多模态特征融合的社交媒体内容传播预测方法，步骤如下：

4、步骤1、利用数据爬虫获取目标社交媒体平台内容和发布者社交属性的原始数据。

5、步骤2、依据不同模态分别对获取到的数据进行预处理。

6、步骤3、通过特征提取模块，对图像模态和文本模态进行特征提取。

7、步骤4、调整不同模态的数据至同一维度大小。

8、步骤5、神经网络监督训练。

9、采用均方误差对神经网络回归任务进行监督。

10、进一步的，步骤1具体方法如下：

11、利用数据爬虫获取目标社交媒体平台内容和发布者社交属性的原始数据，包括以下几类数据：图像、文本、传播前数值、传播后数值。所述的图像包括稿件附带的图片和视频封面帧；所述的文本包括稿件的标题、文本内容、分区信息、自定义标签，以及发布者的认证信息和个人简介；所述的传播前数值为发布者的数值信息，包括粉丝数、关注数、稿件总数和总点赞量；所述的传播后数值包括稿件发布后一定时间内的的点击量、浏览量、评论数、转发数、收藏数以及发布时间。

12、进一步的，步骤2具体方法如下：

13、数据中包含有图像、文本和数值三类模态，对于图像模态，统一将图像尺寸缩放至224×224像素，缺失或无效的图像将用224×224的空白图像代替；对于文本模态，将缺失或无效的文本项用字符串“0”代替，然后利用文本分词器将文本转换为文本向量；对于数值模态，将缺失或无效的数值项用0代替，并对总体尺度范围超过106的数值项进行自然对数变换，然后对数据进行z-score归一化。经预处理后获得多模态数据：p，t，n，其中p代表图像数据，t代表文本数据，n代表数值数据。并计算稿件的流行度值作为预测目标：

14、

15、其中，p表示流行度值，v表示稿件的最直接的体现传播情况的指标，d表示稿件内容已发布天数。

16、进一步的，步骤3具体方法如下：

17、对于图像模态，使用预训练的卷积神经网络作为图像特征提取网络，而对于文本模态则使用基于transformer的注意力网络作为文本特征提取网络并计算文本注意力：

18、

19、其中，σ表示softmax函数，t表示输入的文本向量，wq，wk，wv分别表示注意力机制中的query，keys和values参数矩阵，dk是wk的维度。

20、输出经特征提取后的图像特征fp和文本特征ft。

21、进一步的，步骤4具体方法如下：

22、经过上述步骤后，三类模态fp、ft和n的维度不一致，将会导致最后的预测结果过于偏向某一类模态，需要对齐三类模态数据至同一维度。对三类模态数据分别使用一层全连接层，输出一致的维度。输出的向量分别为fp*、ft*和n*，合并为x＝{fp*，ft*，n*}作为神经网络回归任务的输入。

23、进一步的，步骤5具体方法如下：

24、将x输入由三个全连接层组成的神经网络进行回归预测，采用均方误差损失进行监督训练，得到基于神经网络的预测值y。

25、均方误差损失：

26、

27、其中，yi表示数据的真实标签，y′i表示经神经网络预测的输出值，n表示样本数量。

28、在每一次监督训练后，为了防止梯度爆炸，需要对网络参数的梯度进行裁剪：

29、

30、

31、

32、其中，g是输入的梯度，c是设定的裁剪阈值，g*是经阈值c裁剪后的梯度，normmax是设定的梯度的最大范数，normtotal是所有参数的向量2-范数，coefclip是裁剪系数，gradout是经梯度裁剪后输出的梯度。

33、训练参数为：在pytorch库下，优化器选择adam自适应矩估计优化器，初始学习率为0.001，batchsize为128，步骤5中的c设定为1，normmax设定为10。

34、进一步的，所述的图像特征提取网络采用resnet-101，文本特征提取网络采用bert。

35、本发明的有益效果如下：

36、本发明利用数据爬虫框架能够高效稳定地爬取社交媒体内容数据，且得到的数据无效值和缺失值占比较少。运用预训练过resnet和bert分别作为图像特征提取网络和文本特征提取网络，能够充分提取图像和文本模态中的特征信息，并且对齐不同模态的特征维度，能够使得回归拟合结果不过于偏向某一模态，从而提升预测结果的准确性和鲁棒性。

技术特征：

1.一种多模态特征融合的社交媒体内容传播预测方法，其特征在于，步骤如下：

2.根据权利要求1所述的一种多模态特征融合的社交媒体内容传播预测方法，其特征在于，步骤1具体方法如下：

3.根据权利要求2所述的一种多模态特征融合的社交媒体内容传播预测方法，其特征在于，步骤2具体方法如下：

4.根据权利要求3所述的一种多模态特征融合的社交媒体内容传播预测方法，其特征在于，步骤3具体方法如下：

5.根据权利要求4所述的一种多模态特征融合的社交媒体内容传播预测方法，其特征在于，步骤4具体方法如下：

6.根据权利要求5所述的一种多模态特征融合的社交媒体内容传播预测方法，其特征在于，步骤5具体方法如下：

7.根据权利要求4或5或6所述的一种多模态特征融合的社交媒体内容传播预测方法，其特征在于，所述的图像特征提取网络采用resnet-101，文本特征提取网络采用bert。

技术总结
本发明公开了一种多模态特征融合的社交媒体内容传播预测方法，首先利用数据爬虫获取目标社交媒体平台内容和发布者社交属性的原始数据；依据不同模态分别对获取到的数据进行预处理；通过特征提取模块，对图像模态和文本模态进行特征提取；再调整三类模态的数据至同一维度大小；最后进行神经网络监督训练。本发明能够使得回归拟合结果不过于偏向某一模态，从而提升预测结果的准确性和鲁棒性。

技术研发人员：郑博仑,徐逸杰,张权,潘航佳,颜成钢
受保护的技术使用者：杭州电子科技大学
技术研发日：
技术公布日：2024/1/13