基于多模态融合的社交媒体信息情感检测方法

1.本发明涉及一种基于多模态融合的社交媒体信息情感检测方法。


背景技术：

2.随着互联网技术的快速发展，越来越多的人正在互联网上发表自己的观点和看法。一些社交媒体平台，如推特、微博等，已经成为用户表达自己情感的主要工具。如何从这些社交媒体平台上挖掘出用户的情感倾向已经成为国内外的一个热门研究领域。
3.现有的情感检测的方法一部分是只为文本数据开发的检测模型，但是随着越来越多的社交媒体平台允许发布一些多模态数据，如文本、图像等，单纯的只适用于文本数据的情感检测方法越来越受限。为了对由文本和图像组成的数据进行多模态情感检测，一些相关的研究工作使用多模态融合的方式将文本和图像特征连接起来进行情感检测。尽管这些模型取得了不错的结果，但是他们过于关注不同模态之间的不一致信息。


技术实现要素：

4.本发明提供了一种基于多模态融合的社交媒体信息情感检测方法解决上述提到的技术问题，具体采用如下的技术方案：
5.一种基于多模态融合的社交媒体信息情感检测方法，包含以下步骤：
6.从互联网平台获取信息记录，信息记录包含文本信息和图像信息；
7.从信息记录中获取多个特征信息；
8.对多个特征信息进行特征融合得到融合特征；
9.根据融合特征判断信息记录的种类。
10.进一步地，从信息记录中获取多个特征信息的具体方法为：
11.从信息记录中获取对应的文本特征、文本单词对特征和图像特征。
12.进一步地，从信息记录中获取对应的文本特征、文本单词对特征和图像特征的具体方法为：
13.根据信息记录的文本信息得到文本向量并从文本向量中提取出文本特征；
14.根据信息记录的文本信息得到文本单词向量并从文本单词向量中提取出文本单词对特征；
15.从图像信息中提取出图像特征。
16.进一步地，根据信息记录的文本信息得到文本向量并从文本向量中提取出文本特征的具体方法为：
17.通过glove模型对文本信息进行处理得到文本向量；
18.通过bi-lstm网络从文本向量中提取出文本特征。
19.进一步地，根据信息记录的文本信息得到文本单词向量并从文本单词向量中提取出文本单词对特征的具体方法为：
20.通过glove词向量对文本信息进行处理得到文本单词向量；
21.通过self-attention网络从文本单词向量中提取出文本单词对特征。
22.进一步地，从图像信息中提取出图像特征的具体方法为：
23.通过resnet50网络从图像信息中提取出图像特征。
24.进一步地，对多个特征信息进行特征融合得到融合特征的具体方法为：
25.将文本特征、文本单词对特征和图像特征输入共同注意力层；
26.共同注意力层分别以一个模态特征为条件对另外两个模特特征生成注意力特征，得到每个模态特征对应的两个注意力特征；
27.将每个模态特征对应的两个注意力特征进行平均得到每个模态特征对应的注意力权重；
28.将每个模态特征与其对应的注意力权重相乘得到每个模态特征的最终向量表示；
29.将三个模态特征对应的最终向量表示进行平均得到融合特征。
30.进一步地，共同注意力层由两个编码器通道组成，每个通道都包含两个子层，第一个子层是multi-head attention层，第二个子层是全连接网络，每个子层后面都采用残差连接然后进行层归一化。
31.进一步地，采用两层完全连接的神经网络作为分类层，其中隐藏层和输出层的激活函数分别采用relu函数和sigmoid函数，损失函数为交叉熵。
32.进一步地，将融合特征输入分类层，分类层根据融合特征将信息记录分类成正面情绪或负面情绪。
33.本发明的有益之处在于所提供的基于多模态融合的社交媒体信息情感检测方法，关注了信息记录的文本部分的单词与单词之间的相互关系，使得对于信息记录的情感检测更为准确。
附图说明
34.图1是本发明的一种基于多模态融合的社交媒体信息情感检测方法的流程图；
35.图2是本发明的采用的检测模型的示意图；
36.图3是本发明的co-attention层网络结构示意图。
具体实施方式
37.以下结合附图和具体实施例对本发明作具体的介绍。
38.如图1所示为本技术的一种基于多模态融合的社交媒体信息情感检测方法，该方法通过如图2所示的检测模型实现。该方法主要包含以下步骤：s1：从互联网平台获取信息记录，信息记录包含文本信息和图像信息。s2：从信息记录中获取多个特征信息。s3：对多个特征信息进行特征融合得到融合特征。s4：根据融合特征判断信息记录的种类。以下具体介绍上述步骤。
39.对于步骤s1：从互联网平台获取信息记录，信息记录包含文本信息和图像信息。
40.本技术的基于多模态融合的社交媒体信息情感检测方法检测的信息来源是互联网社交平台，如推特、微博等用户表达自己情感的主要工具。首先从这些互联网平台中获取到同时包含了文本信息和图像信息的消息记录，然后输入到图2所示的检测模型中，进行情感检测判定。
41.对于步骤s2：从信息记录中获取多个特征信息。
42.在本技术中，从信息记录中获取多个特征信息的具体方法为：
43.从信息记录中获取对应的文本特征、文本单词对特征和图像特征。
44.从信息记录中获取对应的文本特征、文本单词对特征和图像特征的具体方法为：
45.根据信息记录的文本信息得到文本向量并从文本向量中提取出文本特征。在本技术中，通过glove模型对文本信息进行处理得到文本向量。通过bi-lstm网络从文本向量中提取出文本特征。
46.根据信息记录的文本信息得到文本单词向量并从文本单词向量中提取出文本单词对特征。在本技术中，通过glove词向量对文本信息进行处理得到文本单词向量。通过self-attention网络从文本单词向量中提取出文本单词对特征。
47.从图像信息中提取出图像特征。在本技术中，通过resnet50网络从图像信息中提取出图像特征。
48.对于步骤s3：对多个特征信息进行特征融合得到融合特征。
49.对多个特征信息进行特征融合得到融合特征的具体方法为：
50.s31：将文本特征、文本单词对特征和图像特征输入共同注意力(co-attention)层。
51.s32：共同注意力层分别以一个模态特征为条件对另外两个模特特征生成注意力特征，得到每个模态特征对应的两个注意力特征。
52.具体而言，如图3所示，共同注意力层由两个编码器通道组成，每个通道都包含两个子层，第一个子层是multi-head attention层，第二个子层是全连接网络，每个子层后面都采用残差连接然后进行层归一化。
53.具体地，给定两个多模态特征hv和hw，分别计算两个特征对应的query、key、value矩阵。将计算得到的key和value矩阵作为输入传递给另外一个通道的multi-head attention层。因此，共同注意力层会分别以一个模态特征为条件对另外两个模特特征生成注意力特征，得到每个模态特征对应的两个注意力特征。如以hw模态特征为条件对hv模态特征生成注意力特征h
vw
。
54.s33：将每个模态特征对应的两个注意力特征进行平均得到每个模态特征对应的注意力权重。
55.s34：将每个模态特征与其对应的注意力权重相乘得到每个模态特征的最终向量表示。
56.s35：将三个模态特征对应的最终向量表示进行平均得到融合特征。
57.具体地，将hm表示为模态m的特征向量(m可能是图像、文本或单词对)，将h
mn
表示以模态n为条件对模态m生成的注意力特征(n可能是图像、文本或单词对)。这一步的关键是计算每一个特征向量hm的注意力权重hm。对得到的h
mn
平均得到然后，将模态m的特征向量vm和注意力权重xm相乘得到模态m的最终向量表示fm。最后对三个模态的最终表示相加平均得到最后的融合特征f。
58.对于步骤s4：根据融合特征判断信息记录的种类。
59.在本技术中，采用两层全连接神经网络作为分类层，其中隐藏层和输出层的激活
函数分别采用relu函数和sigmoid函数，损失函数为交叉熵。将融合特征输入分类层，分类层根据融合特征将信息记录分类成正面情绪或负面情绪。进一步地，在本技术中，根据融合特征将信息记录分类成非讽刺情感或讽刺情感。
60.以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。