一种基于改进BiLSTM的电商评论情感分析方法

本发明涉及深度学习和情感分析，特别涉及一种基于改进bilstm的电商评论情感分析方法。

背景技术：

1、随着互联网的普及，电商平台飞速发展，线上交易盛行，网络购物已成为当前消费主要方式，社交媒体发达，消费者在网络平台发表评论以表达其情感倾向，即对自己所购物品进行评价来表达自己对产品质量、商家态度、物流速度以及平台服务的感受。电商评论是商家和平台改善产品或服务以及经营模式的重要参考指标，是新消费者决定购买的关键因素。

2、情感分析是文本挖掘领域中最活跃的研究领域之一，是对带有感情色彩的主观性文本进行分析、处理、归纳和推理的过程，利用情感分析可从客户提供的数据中自动提取所需的重要信息，收集特定主题积极和消极方面的数据。电商评论是由消费者自主进行评论的数据信息，包含消费者的个人情感及主要观点，通过挖掘海量电商评论文本数据中隐含的信息，企业可以了解某一产品或服务在大众心目中的口碑，通过消费者的反馈，更新自己的商品，提高产品或服务质量。

3、在情感分析领域，基于机器学习的方法包括最大熵、朴素贝叶斯、随机森林等，是以带有情感标签的数据训练一个情感分类器，再对新句子进行情感倾向预测，其虽具有较好的可扩展性和准确性，但依赖于大量人工文本标注，需花费大量人力和时间，相对成本较大，且人工标注语料信息存在一定的主观性，一定程度会降低分类效果的准确性；基于深度学习的方法包括卷积神经网络(cnn)、循环神经网络(rnn)、长短时记忆网络(lstm)、门控循环单元(gru)和注意力机制(att)，是以人工神经网络运用多层网络进行情感特征任务学习，待模型训练完成后，再对新句子进行情感倾向预测，其比机器学习的方法有着更强的表达能力和模型泛化能力，但模型复杂度、训练参数的设置以及训练梯度消失与爆炸一定程度上制约了深度学习模型应用的普及。

4、机器学习和深度学习的情感分析方法虽有较好的情感特征提取性能，通过人工标注高质量的情感标签能够较好地提升模型的准确性，但是由于模型整体相对单一，细粒度文本的情感分析任务的分类效果并不算优。因此，针对细粒度文本的情感分析任务须在现有的深度学习模型上进行局部特征提取的优化。

技术实现思路

1、为了克服现有技术的不足，本发明的目的在于提供一种基于改进bilstm的电商评论情感分析方法，本发明采用基于全词掩码技术的中文预训练模型bert-wwm-ext进行词嵌入，更好地表示词，从而提高情感分析的分类精度；利用自适应粒子群优化算法优化双向长短期记忆分类器的权重参数选择，降低了计算复杂度，提高了工作精度，完成了更有效的情感分析。

2、本发明提供的一种基于改进bilstm的电商评论情感分析方法，包括：

3、获取电商评论文本数据，对所述电商评论文本数据进行词嵌入，得到词语特征向量；

4、基于自适应粒子群优化技术对bilstm分类器进行权重优化，得到bert-apso-bilstm分类器；

5、将所述词语特征向量输入所述bert-apso-bilstm分类器得到预测得分，基于所述预测得分得到电商评论情感分析结果。

6、可选地，基于改进自注意力机制的bert-wwm-ext模型对所述电商评论文本数据进行质量特征提取，得到词语特征向量；

7、其中，所述bert-wwm-ext模型包括若干层双向transformer编码单元，每个编码单元包括一个注意力层和一个前馈神经网络层。

8、可选地，所述词语特征向量获取的过程：

9、基于所述电商评论文本数据得到源文本序列，将所述源文本序列进行映射得到隐藏状态向量，所述状态向量包括若干隐态；

10、对所述隐藏状态向量进行语义表示，计算任意两个隐态的相似度得到若干相似度；

11、基于若干所述相似度得到每个隐态的权重向量；

12、基于所述状态向量和所述权重向量得到词语特征向量。

13、可选地，计算任意两个隐态相似度的计算公式如下：

14、

15、其中，表示第i个隐态与第j个隐态的相似度，w1，w2，vt表示优化参数，latt表示可学习参数，tanh为非线性激活函数。

16、可选地，基于自适应粒子群优化技术对bilstm分类器进行权重优化的过程包括：

17、s1、随机分配若干初始权重值，基于所述初始权重值得到初解；基于所述初解得到粒子位置和粒子速度；

18、s2、基于所述初解生成反解；

19、s3、基于最小损失函数计算所述初解和所述反解的适应度；

20、s4、基于所述适应度更新粒子位置和粒子速度，循环执行s2-s4，直至适应度最小得到最优解，基于所述最优解得到最优权重。

21、可选地，更新粒子位置和粒子速度前还包括计算惯性权重，其中，所述惯性权重的计算公式为：

22、

23、式中，wei表示惯性权重，weimax表示最大惯性权重，weimin表示最小惯性权重，kmax表示最大迭代次数，k表示迭代次数。

24、可选地，更新后的粒子速度为：

25、vi(k+1)＝wei*vi(k)(pbest(k)-si(k))c1r1+(gbest(k)-si(k))c2r2

26、更新后的粒子位置为：

27、si(k+1)＝si(k)+vi(k+1)

28、式中，vi(k+1)表示第k+1次迭代更新后的第i个粒子的速度，vi(k)表示第k次迭代的第i个粒子的速度，pbest(k)表示第i个粒子最佳位置，gbest(k)为全局最佳粒子，si(k)表示第i个粒子在第k次迭代的位置，c1，c2表示加速度系数，r1，r2表示取值在[0,1]的随机变量，si(k+1)表示第k+1次迭代更新后的第i个粒子的位置。

29、本发明具有如下技术效果：

30、本发明的方法基于改进的bert-apso-bilstm分类器，对电商评论数据进行更深层次的情感分析和语义知识关联，更系统地挖掘潜在的消费情感和客户满意度信息。

31、基于全词掩码技术的中文预训练模型bert-wwm-ext对电商评论文本数据进行更好的中文词表示，提高了情感分析分类的准确性；基于对立学习obl方法结合pso算法成为自适应粒子群优化apso分类器，帮助bilstm在更少的迭代次数下为环境选择最优权值；采用自适应粒子群优化算法apso增强权值参数，提高了双向长短时记忆bilstm的性能；加入改进的自注意力机制，更加关注语境中的重要词。最终利用基于改进自注意力机制的bert-apso-bilstm对评论集做极性预测，提升了在调整最优权值和学习率等属性方面的表达，结合良好的超参数选择，提高了精度，减少了损失。达到了解目标客户需求和行为的目的，帮助企业营销人员提高产品质量，帮助消费者选购正确产品。

技术特征：

1.一种基于改进bilstm的电商评论情感分析方法，其特征在于，包括：

2.根据权利要求1所述的基于改进bilstm的电商评论情感分析方法，其特征在于，基于改进自注意力机制的bert-wwm-ext模型对所述电商评论文本数据进行质量特征提取，得到词语特征向量；

3.根据权利要求2所述的基于改进bilstm的电商评论情感分析方法，其特征在于，所述词语特征向量获取的过程：

4.根据权利要求3所述的基于改进bilstm的电商评论情感分析方法，其特征在于，计算任意两个隐态相似度的计算公式如下：

5.根据权利要求1所述的基于改进bilstm的电商评论情感分析方法，其特征在于，基于自适应粒子群优化技术对bilstm分类器进行权重优化的过程包括：

6.根据权利要求5所述的基于改进bilstm的电商评论情感分析方法，其特征在于，更新粒子位置和粒子速度前还包括计算惯性权重，其中，所述惯性权重的计算公式为：

7.根据权利要求6所述的基于改进bilstm的电商评论情感分析方法，其特征在于，

技术总结
本发明公开了一种基于改进BiLSTM的电商评论情感分析方法，包括：获取电商评论文本数据，对电商评论文本数据进行词嵌入，得到词语特征向量；基于自适应粒子群优化技术对BiLSTM分类器进行权重优化，得到BERT‑APSO‑BiLSTM分类器；将词语特征向量输入BERT‑APSO‑BiLSTM分类器得到预测得分，基于预测得分得到电商评论情感分析结果。本发明对电商评论数据进行深层次情感分析和语义知识关联，更系统地挖掘潜在的消费情感和客户满意度信息。

技术研发人员：李鹏飞,高晨瑜,刘咏莉,毋建宏,山红梅,陈静,魏笑笑,李永飞,赵宁
受保护的技术使用者：西安邮电大学
技术研发日：
技术公布日：2024/1/15