一种基于句法依存关系和注意力机制的文本情感分类方法

本发明涉及自然语言处理，特别是涉及一种基于句法依存关系和注意力机制的文本情感分类方法。

背景技术：

1、文本情感分类是指根据文本所表达的含义和情感信息将文本划分成褒扬的或贬义的两种或几种类型，是对文本作者倾向性和观点、态度的划分，因此也称倾向性分析（opinion analysis）。随着社交媒体和在线评论的推广和普及，文本情感分类在商业决策、舆情监测等领域的应用前景越来越广泛。面对文本情感分类任务，在对文本进行特征提取时，不可避免地会造成大量文本信息的损失，因此如何更好地提取文本的语义信息，减少特征提取过程中的信息损失，对于情感分类任务的性能提升起着至关重要的作用。

2、目前，深度学习在情感分类任务中取得了显著的进展，相较于传统的机器学习方法，深度学习模型可以更好地捕获文本的语义信息，提高情感分类的准确率，但目前的深度学习模型仍然存在一些限制：首先，在文本特征提取过程中难以提取文本的丰富语义信息，会造成一部分信息的损失，进而导致提取的文本语义信息不足，现有方法多采用单通道的方式对文本特征进行提取，这能在一定程度上提取了更加丰富的语义信息，但随着单通道模型深度的增加，文本语义信息会不同程度的丢失，仍会造成大量语义信息的损失。另外，在特征融合过程中也存在大量关键信息丢失的问题，现有方法多数仅采用注意力机制或拼接的方式进行特征融合，易造成关键信息的丢失，影响情感分类的最终性能。

技术实现思路

1、为此，本发明的实施例提出一种基于句法依存关系和注意力机制的文本情感分类方法，以解决现有技术难以提取文本丰富语义信息从而难以准确提取文本情感的问题。

2、根据本发明一实施例的基于句法依存关系和注意力机制的文本情感分类方法，应用于文本情感分类模型，所述文本情感分类模型包括关键信息提取层、词嵌入层、特征提取层、特征融合层和输出层；

3、所述方法包括：

4、所述关键信息提取层基于句法依存关系提取文本的属性-观点对信息；

5、所述词嵌入层以文本作为背景信息，以所述属性-观点对信息作为关键信息，利用动态词嵌入模型bert获取文本的动态特征；

6、所述特征提取层利用卷积神经网络提取文本的局部语义特征，所述特征提取层利用基于注意力机制的双向长短期记忆网络和所述动态特征进行全局语义特征提取，得到经注意力机制加权后的特征，然后将所述动态特征与经注意力机制加权后的特征进行拼接，得到拼接特征，再对拼接特征进行注意力机制加权和平均池化降维后，得到最终的全局语义特征；

7、所述特征融合层对所述局部语义特征和所述最终的全局语义特征进行特征拼接得到拼接后的特征，并对所述局部语义特征和所述最终的全局语义特征进行注意力融合得到注意力融合后的特征，再使用注意力机制对所述拼接后的特征和所述注意力融合后的特征进行特征融合，得到二次融合特征，然后对所述二次融合特征进行平均池化，得到全面语义特征；

8、所述输出层基于所述全面语义特征输出文本情感分类结果。

9、根据本发明实施例的基于句法依存关系和注意力机制的文本情感分类方法，关键信息提取层基于句法依存分析提取文本的属性-观点对信息，通过关键信息的提取能够使模型更好地理解文本中的情感倾向，有助于更好地识别和理解文本中的情感信息，提高情感分类的准确率，词嵌入层以文本作为背景信息，属性-观点对作为关键信息，利用动态词嵌入模型bert获取文本的动态特征，能够克服传统静态词嵌入模型无法解决一词多义的问题，能够更好地获取文本丰富的语法、语义特征，特征提取层采取双通道的特征提取策略，分别提取局部语义特征和全局语义特征，以便提取更加丰富的语义信息，其中，将所述动态特征与经注意力机制加权后的特征进行拼接，得到拼接特征，再对拼接特征进行注意力机制加权和平均池化降维后，得到最终的全局语义特征，丰富了语义特征，强化了特征的重要信息，从而提高了特征的表达能力，特征融合层采取多融合方式互补的特征融合策略，分别对局部语义特征和全局语义特征进行拼接和注意力融合，其中拼接操作综合了全局和局部语义信息，而注意力融合操作针对重要的特征赋予更大的权重，将注意力集中于对任务更有帮助的特征上，将拼接和注意力融合特征进一步使用注意力机制进行特征融合，利用平均池化减少模型过拟合，得到全面语义特征，融合后的全面语义特征综合了局部和全局信息，强化了重要信息，特征表达更为丰富，减少特征融合关键信息丢失的问题，有助于提升情感分类的最终性能。

技术特征：

1.一种基于句法依存关系和注意力机制的文本情感分类方法，其特征在于，应用于文本情感分类模型，所述文本情感分类模型包括关键信息提取层、词嵌入层、特征提取层、特征融合层和输出层；

2.根据权利要求1所述的基于句法依存关系和注意力机制的文本情感分类方法，其特征在于，所述关键信息提取层基于句法依存关系提取文本的属性-观点对信息，具体包括：

3.根据权利要求1所述的基于句法依存关系和注意力机制的文本情感分类方法，其特征在于，所述词嵌入层以文本作为背景信息，以所述属性-观点对信息作为关键信息，利用动态词嵌入模型bert获取文本的动态特征，具体包括：

4.根据权利要求3所述的基于句法依存关系和注意力机制的文本情感分类方法，其特征在于，所述特征提取层利用卷积神经网络提取文本的局部语义特征，具体包括：

5.根据权利要求4所述的基于句法依存关系和注意力机制的文本情感分类方法，其特征在于，所述特征提取层利用基于注意力机制的双向长短期记忆网络和所述动态特征进行全局语义特征提取，得到经注意力机制加权后的特征，然后将所述动态特征与经注意力机制加权后的特征进行拼接，得到拼接特征，再对拼接特征进行注意力机制加权和平均池化降维后，得到最终的全局语义特征，具体包括：

6.根据权利要求5所述的基于句法依存关系和注意力机制的文本情感分类方法，其特征在于，所述特征融合层对所述局部语义特征和所述最终的全局语义特征进行特征拼接得到拼接后的特征，并对所述局部语义特征和所述最终的全局语义特征进行注意力融合得到注意力融合后的特征，再使用注意力机制对所述拼接后的特征和所述注意力融合后的特征进行特征融合，得到二次融合特征，然后对所述二次融合特征进行平均池化，得到全面语义特征，具体包括：

技术总结
本发明提供一种基于句法依存关系和注意力机制的文本情感分类方法，应用于文本情感分类模型，该模型利用句法依存关系提取文本的属性‑观点对信息，利用动态词嵌入模型BERT获取文本的动态特征；基于双通道的特征提取策略，分别利用TextCNN和Att‑BiLSTM提取文本的局部和全局语义特征，并进一步将动态特征与Att‑BiLSTM的输出进行拼接，并结合注意力机制对情感特征进行加权；最后，基于多融合方式互补的特征融合策略对局部语义特征和全局语义特征进行特征融合，综合特征拼接和注意力融合的优点，减少特征融合过程中关键信息丢失的问题，有助于提升情感分类的最终性能。

技术研发人员：余子恺,夏家莉,邓庆山,刘德喜,彭文忠,罗文军
受保护的技术使用者：江西财经大学
技术研发日：
技术公布日：2024/5/6