一种基于组合范畴语法与大模型记忆插件的情绪识别方法

本发明涉及文本情绪识别，具体涉及一种基于组合范畴语法与大模型记忆插件的情绪识别方法。

背景技术：

1、在各种文本内容中蕴含着大量的信息，比如内容发出者对某件事的态度或者内容发出者的情绪状态等。分析内容发出者的情绪在一些领域（如推荐系统、提升产品）意义重大，是一个重要而具有挑战性的任务。

2、现有的技术主要使用文本编码器提取上下文信息，并没有利用大语言模型强大的文本建模能力性能，也没有提供文本语义信息的专门设计，而这些对于情绪分析来说尤为重要，致使现有的方法不足以对文本进行准确地情绪分析。

技术实现思路

1、为解决上述技术问题，本发明提供一种基于组合范畴语法与大模型记忆插件的情绪识别方法。本发明利用组合范畴语法信息，包括句法和语义信息知识，同时结合大模型技术以及本发明设计的记忆机制，增强文本表征，从而提高模型对运行文本中的情绪的理解，使其在情绪识别方面更为准确和精细。

2、为解决上述技术问题，本发明采用如下技术方案：

3、一种基于组合范畴语法与大模型记忆插件的情绪识别方法，通过情绪识别模型识别出给定的文本的情绪标签，具体包括以下步骤：

4、步骤一，利用嵌入编码器提取文本的文本特征：

5、；

6、其中，表示嵌入编码器，，，表示文本中第个词的特征向量，表示文本中词的总数。

7、步骤二，利用知识提取模块提取文本的组合范畴语法知识向量：

8、；

9、其中，和分别代表知识提取模块中的可训练矩阵和偏置向量，，代表中的第个知识，表示中的知识总数；

10、步骤三，在t时刻，通过大模型对文本特征进行编码，得到编码后的文本特征；在t时刻，通过插件对第个知识进行编码，得到知识向量，；基于知识向量和编码后的文本特征，通过记忆机制控制插件与大模型进行交互，驱动大模型融合插件携带的知识，将插件与大模型进行参数级融合，得到增强后的文本表征；记忆机制包括记忆矩阵以及三个子机制，三个子机制分别为遗忘、写入和提取；记忆矩阵在时刻记为；

11、步骤四，将增强后的文本表征输入到分类器进行标签预测，生成情绪标签：

12、；

13、其中，表示分类器。

14、进一步地，步骤三具体包括以下步骤：

15、s31，在时刻，使用大模型对文本特征进行编码，得到编码后的文本特征：

16、；

17、其中，表示大语言模型。

18、s32，在时刻，通过插件对第个知识进行编码，得到知识向量：

19、；

20、其中，表示插件；

21、s33，当记录知识向量的插件与大模型结合时，首先触发遗忘机制，更新记忆矩阵，得到遗忘记忆矩阵：

22、；

23、其中，和是遗忘机制的参数矩阵和偏移量，是sigmoid函数，表示逐点乘积；

24、s34，触发写入机制，将知识向量中的重要信息写入，得到更新后的记忆矩阵，表示为：

25、；

26、；

27、其中，、、、是写入机制的参数；

28、s35，触发提取机制，从更新后的记忆矩阵中提取信息并写入大模型，得到大模型表征：

29、；

30、其中、、、是提取机制的参数；

31、在大模型内，通过大模型的标准计算过程处理，得到最后时刻的增强后的文本表征。

32、与现有技术相比，本发明的有益技术效果是：

33、本发明通过充分利用组合范畴语法信息知识，从而更全面地把握文本的结构和含义，让模型更全面地理解情绪表达，有助于提高情绪分析的准确性。

34、通过采用大语言模型技术，充分发挥大模型的文本建模能力。同时，通过设计的插件和记忆机制，增强了文本的表征能力，使模型更好地捕捉文本中的情绪信息。通过综合运用大模型技术、插件和记忆机制，有助于提高模型对情绪的深入理解，使情绪识别更为精准。

技术特征：

1.一种基于组合范畴语法与大模型记忆插件的情绪识别方法，通过情绪识别模型识别出给定的文本的情绪标签，具体包括以下步骤：

2.根据权利要求1所述的基于组合范畴语法与大模型记忆插件的情绪识别方法，其特征在于，步骤三具体包括以下步骤：

技术总结
本发明涉及文本情绪识别技术领域，公开了一种基于组合范畴语法与大模型记忆插件的情绪识别方法，通过情绪识别模型识别出给定的文本的情绪标签，包括：利用嵌入编码器提取文本的文本特征；利用知识提取模块提取文本的组合范畴语法知识向量；基于知识向量和编码后的文本特征，通过记忆机制控制插件与大模型进行交互，驱动大模型融合插件携带的知识，将插件与大模型进行参数级融合，得到增强后的文本表征；将增强后的文本表征输入到分类器进行标签预测，生成情绪标签。本发明通过充分利用组合范畴语法信息知识，从而更全面地把握文本的结构和含义，让模型更全面地理解情绪表达，有助于提高情绪分析的准确性。

技术研发人员：宋彦,田元贺,张勇东
受保护的技术使用者：中国科学技术大学
技术研发日：
技术公布日：2024/5/9