一种基于多模型融合迁移学习的网络舆情情感分析方法

本发明涉及自然语言处理领域，尤其涉及一种基于多模型融合迁移学习的网络舆情情感分析方法。

背景技术：

1、文本情感分析是自然语言处理的一个重要分支，它针对的是文本数据，是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。网络舆情情感分析是文本情感分析的主要研究方向之一，对舆情事件的相关文本信息进行情感分析广义上分为基于情感词典的方法、基于传统的机器学习方法和基于深度学习的方法。最常用的基于深度学习的情感分析方法仍需要大量的带标签数据才可以学到更深层次的特征，目前的网络舆情的分析工作中仅有少量的带标签数据。近些年，随着迁移学习的发展，缺乏大量的标注数据得到了解决。迁移学习是把一个领域(源领域)的知识，迁移到另外一个领域(目标领域)，使得目标领域能够取得更好的学习效果，核心是找到源领域和目标领域之间的相似性，并加以合理利用，当两个不同的领域共享的因素越多，迁移学习就越容易，反之越困难。

技术实现思路

1、发明目的：目前的网络舆情情感分析工作中有带标签数据稀缺的问题，但现有的情感分析方法仍需要大量的带标签数据才可以学到更深层次的特征，因此针对以上问题提出了基于多模型融合迁移学习，能够通过迁移学习借助有丰富带标签数据的领域解决带标签数据稀缺的问题，提高了模型的准确率。

2、为实现上述目的，本发明采用的技术方案是：

3、一种基于多模型融合迁移学习的网络舆情情感分析方法，包括以下步骤：

4、s1：对源域和目标域数据进行数据清洗，然后使用ernie预训练模型将数据清洗得到的文本数据转换为动态词向量；

5、s2：使用text cnn和bigru的联合模型进行特征提取，其中text cnn模型负责提取局部特征，bigru模型负责提取全局特征，在预训练模型中将局部特征和全局特征进行合并；

6、s3：对源域模型进行训练，利用参数迁移将预训练模型的特征层的参数迁移至目标域模型中，作为目标模型特征层的初始参数；

7、s4：利用注意力机制对特征提取层的输出矩阵进行权重分配，进一步突出关键词语的权重，然后将注意力机制得到的特征向量进行融合；

8、s5：使用目标域数据对目标模型进行训练，通过softmax分类器计算文本的分析结果；

9、s6：将分析结果与单一网络分析方法的分析结果就准确率、精确率、召回率和f1值进行对比和评价。

10、所述步骤s1中，对源域和目标域数据进行数据清洗，就是将数据中包含很多@符号、空行、空格等数据去除，从而提高数据的质量，然后使用ernie预训练模型将数据清洗得到的文本数据转换为动态词向量，ernie的核心技术优势在于，它开创性地将大数据预训练与多源丰富知识相结合，通过持续学习技术，不断吸收海量文本数据中词汇、结构、语义等方面的新知识，实现模型效果不断进化。

11、所述使用ernie模型生成动态词向量的公式如下：

12、

13、其中，q为查询矩阵，k为键矩阵，v为值矩阵，三者是由知识整合阶段获得的文本序列x与对应的权重矩阵相乘得到的；

14、对于自注意力向量z，会经过前馈神经网络的映射之后再次进入下一轮的自注意力运算，最后得到ernie的输出，也是特征层模型的输入，公式如下：

15、r＝w·z+b

16、其中，w为权重矩阵，b为偏置值。

17、所述步骤s2中，使用text cnn和bigru的联合模型进行特征提取，其中卷积神经网络的特点就是能够提取矩阵局部特征，局部特征就是若干单词组成的词向量矩阵的滑动窗口，优势在于能够自动地对文本特征进行组合和筛选，获得不同抽象层次的语义信息，所以使用模型提取局部特征；bigru由正向的gru和反向的gru组成，网络的输出由正向输出和反向输text cnn出的叠加得到，bigru可以学习前一时刻和后一时刻与当前状态之间的时序关系，能提高模型的学习能力，所以使用bigru模型提取全局特征。

18、使用text cnn模型提取局部特征的公式如下：

19、si＝max{c}＝max(c1,c2,...,cn-h+1)

20、s＝[s1,s2,...,sm]

21、其中，c是由卷积层得到的特征向量，s为text cnn模型操作得到的特征向量；

22、使用bigru模型提取全局特征的公式如下：

23、

24、

25、其中，为前向隐层状态，为反向隐层状态，ri为ernie模型输出的动态词向量。

26、所述步骤s3中，首先将源域的特征向量进行合并和分类输出，其次对源域模型进行训练，利用参数迁移将预训练模型的特征层的参数迁移至目标域模型中，作为目标模型特征层的初始参数。

27、所诉步骤s4中，利用注意力机制对特征提取层的输出矩阵进行权重分配，进一步突出关键词语的权重，公式如下：

28、

29、

30、其中，q为查询向量，k为键向量，v为值向量。

31、将注意力机制得到的特征向量进行融合，公式如下：

32、m＝[ms,mh]

33、所述步骤s5中，使用目标域数据对目标模型进行训练，通过softmax分类器计算文本的分析结果，公式如下：

34、y＝softmax(w*m+b)

35、其中，w为全连接层权重，b为偏置项。

36、所述步骤s6中，准确率表示正确预测的结果占总样本的百分比，精确率表示正确预测正样本占实际预测为正样本的比例，召回率表示正确预测正样本占正样本的比例，对应公式如下：

37、

38、

39、

40、其中，tp表示正确地把正样本预测为正，fn表示错误地把正样本预测为负，fp表示错误地把负样本预测为正，tn表示正确地把负样本预测为负。如果只考虑精确度或者只考虑召回率都不能够作为评价一个模型好坏的指标，f1值就是precision和recall的调和平均数，所以使用f1值来调和两者，兼容到精确度和召回率，公式如下：

41、

42、与现有的技术相比较，本发明的有益效果是：

43、本发明使用ernie模型将文本转化为词向量，ernie模型开创性地将大数据预训练与多源丰富知识相结合，通过持续学习技术，不断吸收海量文本数据中词汇、结构、语义等方面的新知识，能够解决词向量静态表征问题。

44、本发明使用text cnn和bigru联合模型作为特征提取器，这样可以更好的提取深层次的特征，从而更好的了解人们对热点问题和敏感问题的情感倾向。

45、本发明使用迁移学习将在源域训练好的特征提取层的参数迁移至目标域的特征提取层中作为其初始参数，可以解决网络舆情情感分析存在带标签数据稀缺的问题，迁移后使用注意力机制，可以提高模型的分析性能。

技术特征：

1.一种基于多模型融合迁移学习的网络舆情情感分析方法，其特征在于：包括以下步骤：

2.如权利要求1所述的一种基于多模型融合迁移学习的网络舆情情感分析方法，其特征在于：所述步骤s1中，对源域和目标域数据进行数据清洗，就是将数据中包含很多@符号、空行、空格等数据去除，从而提高数据的质量，然后使用ernie预训练模型将数据清洗得到的文本数据转换为动态词向量，ernie的核心技术优势在于，它开创性地将大数据预训练与多源丰富知识相结合，通过持续学习技术，不断吸收海量文本数据中词汇、结构、语义等方面的新知识，实现模型效果不断进化，使用ernie模型生成动态词向量的公式如下：

3.如权利要求1所述的一种基于多模型融合迁移学习的网络舆情情感分析方法，其特征在于：所述步骤s2中，使用text cnn和bigru的联合模型进行特征提取，其中卷积神经网络的特点就是能够提取矩阵局部特征，局部特征就是若干单词组成的词向量矩阵的滑动窗口，优势在于能够自动地对文本特征进行组合和筛选，获得不同抽象层次的语义信息，所以使用模型提取局部特征；bigru由正向的gru和反向的gru组成，网络的输出由正向输出和反向输text cnn出的叠加得到，bigru可以学习前一时刻和后一时刻与当前状态之间的时序关系，能提高模型的学习能力，所以使用bigru模型提取全局特征；

4.如权利要求1所述的一种基于多模型融合迁移学习的网络舆情情感分析方法，其特征在于：所述步骤s3中，首先将源域的特征向量进行合并和分类输出，其次对源域模型进行训练，利用参数迁移将预训练模型的特征层的参数迁移至目标域模型中，作为目标模型特征层的初始参数。

5.如权利要求1所述的一种基于多模型融合迁移学习的网络舆情情感分析方法，其特征在于：所诉步骤s4中，利用注意力机制对特征提取层的输出矩阵进行权重分配，进一步突出关键词语的权重，公式如下：

6.如权利要求1所述的一种基于多模型融合迁移学习的网络舆情情感分析方法，其特征在于：所述步骤s5中，使用目标域数据对目标模型进行训练，通过softmax分类器计算文本的分析结果，公式如下：

7.如权利要求1所述的一种基于多模型融合迁移学习的网络舆情情感分析方法，其特征在于：所述步骤s6中，准确率表示正确预测的结果占总样本的百分比，精确率表示正确预测正样本占实际预测为正样本的比例，召回率表示正确预测正样本占正样本的比例，对应公式如下：

技术总结
本发明公开了一种基于多模型融合迁移学习的网络舆情情感分析方法，本发明首先对源域数据和目标域数据进行预处理，提高数据的质量；其次将处理后的源域数据输入到ERNIE模型中，将源域数据文本转化为词向量；然后利用一个联合模型作为特征提取器，提取文本的局部特征和全局特征；然后使用参数迁移将源域的特征层参数迁移至目标域中，作为初始参数；最后使用注意力机制和Softmax函数进行分类输出。本发明对网络舆情数据实现了很好的情感分析，能更加了解人们对热点问题和敏感问题的情感倾向，有利于政府等相关机构在网络舆情发生初期把握舆情的导向，提高处理舆情的应对能力。

技术研发人员：赵中楠,刘文靖,梁晓亮
受保护的技术使用者：哈尔滨理工大学
技术研发日：
技术公布日：2024/1/13