交互式属性术语及情感联合抽取模型的方法

1.本发明涉及文本内容的情感抽取模型技术领域，尤其涉及交互式属性术语及情感联合抽取模型的方法。


背景技术：

2.随着通信技术的发展以及移动终端设备的普及，互联网用户在不断的增加。人们在网络上发表自己对热点事件的观点，分享对网红美食、热门商品、旅游胜地的评价，用户在此进行充分地交流，表达自己的观点以及态度，将自己的经验、感受传递给其他用户，充分地利用这些文本信息有助于进行舆情分析、改进商品质量，对工业界和学术界都具有十分重要的意义。但是人工处理如此庞大的文本数据显然是低效并且难以实现的，必须借助计算机的高效处理以及人工智能算法进行过滤和分析，由此产生了文本情感分析研究课题。
3.但是现有的大部分研究都是针对ate和asc进行的，这限制了情感抽取在实际生活中的应用，现有语句情感抽取方法存在着训练数据较少、数据中无关词过多导致模型难以有效学习属性术语的特征等困难，且现有研究中针对属性术语及情感联合抽取的研究内容较为匮乏；鉴于此我们提出交互式属性术语及情感联合抽取模型的方法。


技术实现要素：

4.本发明的目的是针对背景技术中存在的现有应用难以有效学习属性术语的特征，以及针对属性术语及情感联合抽取的研究内容较为匮乏的问题，提出交互式属性术语及情感联合抽取模型的方法。
5.本发明的技术方案：交互式属性术语及情感联合抽取模型的方法，包括属性术语抽取模块、情感分类模块和交互共享单元，具体包括以下生成步骤：
6.步骤1：结合了外部情感资源的神经网络获取句子中每个单词的情感倾向；
7.步骤2：属性术语抽取模块与情感分类模块结合，采用交互共享单元让属性术语抽取模块和情感分类模块的特征表示互相学习；
8.步骤2.1：获取输入文本以及三种情感资源的特征向量矩阵，采用情感资源分两阶段对输入文本中的对应特征增强，并对增强后的文本特征向量进行结果的预测；
9.步骤2.2：结合dp-gcn模型和two-stage mse模型获取的句子中的属性术语和每个单词的情感倾向，提出交互共享单元isu，所述交互共享单元isu用于将两个独立的子任务共同学习；
10.步骤3：将获得的属性术语抽取任务标签和情感分类任务标签结合，获得最终的输出结果，即：属性术语-情感标签对，并获得最终的语句预测结果。
11.优选的，属性术语抽取模块是基于依存分析和gcn的属性术语抽取模型，所述属性术语抽取模型采用通用域向量和特定域向量结合的方式作为每个单词的向量表示，从而提出的基于依存分析和pmi的邻接矩阵构建方式，通过lstm网络获取的语义特征和gcn网络获
取的句子结构特征通过权重结合，得到输入文本的最终向量表示。
12.优选的，所述步骤2.1中三种情感分别为积极(pos)、消极(neg)、中性(neu)和无关词(0)，词向量采用bert模型表示，句子采用s表示，句子基于bert的向量矩阵为情感词的向量矩阵程度词的向量矩阵否定词的向量矩阵其中t、m、k、p分别表示输入文本的长度和情感词、程度词、否定词的个数，d表示词向量的维度。
13.优选的，所述步骤2.1中两阶段中情感资源的第一阶段增强用于建立输入文本和三种情感资源在单词级别的关联矩阵，第一阶段的增强包括以下处理步骤：步骤一：通过点积运算获取各个关联矩阵；计算方法公式为：ms＝(wb)
t
.ws∈r
t*m
、mi＝(wb)
t
.wi∈r
t*k
、mn＝(wb)
t
.wn∈r
t*p
；其中：ms表示输入文本和情感词之间的关联矩阵，矩阵中每一行的元素表示输入文本中的每一个单词和每一个情感单词的语义相似度；mi和mn分别表示输入文本与程度词之间的关联矩阵以及输入文本与否定词之间的关联矩阵，矩阵中每个元素的含义与ms中元素含义类似；
14.步骤二：情感词关联矩阵ms获得后通过平均池化分别计算其行平均向量和列平均向量具体计算方法如公式：具体计算方法如公式：其中和分别为情感词关联矩阵ms中每一个行向量和每一个列向量，同理求出程度词关联矩阵mi和否定词关联矩阵mn的行平均向量和列平均向量；
15.步骤三：结合步骤二通过输入文本的向量矩阵wb和情感词关联矩阵的列平均向量计算通过情感词增强的输入文本xs，并通过wb与关联矩阵的行平均向量计算结合输入文本信息的情感词矩阵并依次对程度词和否定词进行类似的操作；计算方法如公式：式：
16.步骤四：输入文本经过三种情感资源增强后的向量表示为上述三种情感资源相关的输入文本向量矩阵相加，计算方法如公式：xc＝xs+xi+xn。
17.优选的，所述步骤2.1中两阶段中情感资源第二阶段增强用于将隐藏层的对应的特征增强，具体包括以下步骤：步骤一：在获得结合三种情感资源信息的输入文本特征矩阵xc后，将其输入到lstm网络中获取结合上下文语义信息的隐藏层变量hc，计算方法如公式：hc＝lstm(xc)；
18.步骤二：获得隐藏层hc后利用第一阶段获得的结合输入文本信息的情感词矩阵、结合输入文本信息的程度词矩阵和结合输入文本信息的否定词矩阵再次对输入文本的隐藏层矩阵hc进行对应的特征增强；计算方法如公式：进行对应的特征增强；计算方法如公式：其中其中表示情感词矩阵
中的每一列向量，则qs为情感矩阵进行池化操作获得；表示输入文本中每一个单词的隐藏层向量在整个句子中情感词方向的权重得分，us和ws为参数矩阵，tanh表示激活函数；αi为经过归一化处理的每个单词的权重；为单词经过情感词增强之后的最终向量，经过情感词增强的句子表示为os；
19.步骤三：根据步骤二中的os的计算公式获得程度词增强的句子表示oi和否定词增强的句子表示on，每个句子的最终向量表示为三种句子的表示相加，计算方法如公式：o＝os+oi+on。
20.优选的，所述步骤2.1中结果的预测通过输出模块体现，在获取每个单词的最终向量的oi后通过全连接层将每个单词的特征向量转换为标签向量z＝[p1，p2，...pk]，z中的每个元素pi表示该单词是标签集class＝[c1,c2,...ck]中的标签ci的可能性，k表示标注标签的数量，预测结果通过softmax函数将标签向量中的每个值映射为对应标签的概率，再通过argmax函数获取概率向量中最大值的索引；所述实验数据集中对情感分类任务采用l2正则化项的加权交叉熵损失函数，所述正则化项的加权交叉熵损失函数用于解决标签数量不均衡的问题，情感分类模型的损失计算方法公式为：其中yc是样本真实标签的one-hot向量，wc是每一种类别的权重，μ是l2正则化系数，θ是参数集合。
[0021]
优选的，所述步骤2.1分两阶段对输入文本中的对应特征增强中还包括two-stage mse的情感分类算法，所述算法为：
[0022]
row1：begin
[0023]
row2：读取数据中的每句文本si[0024]
row3：设迭代次数为n，批处理大小为b；
[0025]
row4：for each s
i in s
[0026]
row5：经过bert模型得到输入句子的向量表示wb[0027]
row6：经过bert模型得到情感词、程度词、否定词的向量表示ws、wi、wn[0028]
row7：end for
[0029]
row8：使用公式：ms＝(wb)
t
.ws∈r
t*m
、mi＝(wb)
t
.wi∈r
t*k
、mn＝(wb)
t
.wn∈r
t*p
计算情感词关联矩阵ms、程度词关联矩阵mi、否定词关联矩阵mn[0030]
row9：使用公式row9：使用公式row9：使用公式得到情感词增强的输入文本xs、程度词增强的输入文本xi、否定词增强的输入文本xn以及结合输入文本信息的情感词结合输入文本信息的程度词结合输入文本信息的否定词
[0031]
row10：使用公式xc＝xs+xi+xn计算第一阶段经过三种情感资源增强后的句子表示xc[0032]
row11：将xc输入lstm，使用公式hc＝lstm(xc)获取隐藏层向量表示
[0033]
row12：使用公式row12：使用公式分别用再次对输入文本进行增强
[0034]
row13：使用公式o＝os+oi+on计算第二阶段情感词增强后的句子表示o
[0035]
row14：获取句子中每个单词的情感极性
[0036]
row15：for each n in n
[0037]
row16：for each b in b
[0038]
row17：使用公式计算误差损失
[0039]
row18：使用梯度下降优化算法adam更新网络参数
[0040]
row19：end for
[0041]
row20：end for
[0042]
row21：end。
[0043]
优选的，所述交互共享单元用于计算两个模块的任务中单词特征表示的相关性，并结合相关性对每个单词自身的特征进行调整；具体包括以下步骤：步骤一：计算属性术语抽取模块与情感分类模块中每个单词的相关性向量计算方法公式为：其中a和s分别表示属性术语抽取任务和情感分类任务；表示通过属性术语抽取任务获取的单词i的特征向量，表示通过情感分类任务获取的单词j的特征向量，tanh为激活函数，g为参数矩阵；步骤二：获得单词i与单词j的相关性向量之后通过公式将其转变成权重分数；其中是参数向量，为关联分数；单词之间的相关性向量集合在一起用矩阵s
a-s
与s
s-a
表示；步骤三：通过相关性矩阵分别对计算属性术语抽取模块与情感分类模块的特征矩阵进行增强；计算方法公式为：ha＝ha+softmax(s
a-s
)hs，hs＝hs+softmax(s
s-a
)ha；其中ha和hs为经过交互共享单元增强后的句子表示，通过输出模块处理后用于为步骤3的语句预测标签对。
[0044]
优选的，所述输出模块采用dp-gcn模型输出，情感分类模型对多词属性术语有二种情况选择方式：第一种情况：组成同一属性术语的单词的情感倾向不一致时使用多数原则；第二种情况：情感倾向不一致且各种情感出现次数相同时，选择第一个出现的情感。
[0045]
与现有技术相比，本发明具有如下有益的技术效果：
[0046]
1、本发明通过介绍使用外部的情感资源对输入文本的特征向量进行增强，提出的dp-gcn模型与two-stage mse模型进行结合，对属性术语抽取模块与情感分类模块通过交互共享单元让两个独立的模块中的特征相互学习，获得最终的预测结果，充分地利用外部情感资源，提高语句的情感判断，并通过two-stage mse模型对输入的文本进行特征的互相增强，使属性术语抽取模块与情感分类模块两个模块的特征互相增强的交互共享单元
(isu)增加两个模块之间的交互性，有利于对语句中情感特征的增强，使得语句中情感的抽取更为精准；
[0047]
2、本发明充分地利用外部情感资源，采用两阶段的多情感资源增强的情感分析模型，提高语句中情感抽取的精确性，使用交互共享单元提高模块学习效果，有助于语句中特征向量的结果预测，丰富文本情感分析，适合广泛的互联网文本数据的分析使用。
附图说明
[0048]
图1是交互式属性术语及情感联合抽取模型的方法中交互共享单元计算过程示意图；
[0049]
图2是本实施例中消融实验f1值的直方图。
具体实施方式
[0050]
下文结合附图和具体实施例对本发明的技术方案做进一步说明。
[0051]
实施例
[0052]
如图1-2所示，本发明提出的交互式属性术语及情感联合抽取模型的方法，包括属性术语抽取模块、情感分类模块和交互共享单元，具体包括以下生成步骤：
[0053]
步骤1：结合了外部情感资源的神经网络获取句子中每个单词的情感倾向；
[0054]
步骤2：属性术语抽取模块与情感分类模块结合，采用交互共享单元让属性术语抽取模块和情感分类模块的特征表示互相学习；
[0055]
步骤2.1：获取输入文本以及三种情感资源的特征向量矩阵，采用情感资源分两阶段对输入文本中的对应特征增强，并对增强后的文本特征向量进行结果的预测；
[0056]
步骤2.2：结合dp-gcn模型和two-stage mse模型获取的句子中的属性术语和每个单词的情感倾向，提出交互共享单元isu，交互共享单元isu用于将两个独立的子任务共同学习；
[0057]
步骤3：将获得的属性术语抽取任务标签和情感分类任务标签结合，获得最终的输出结果，即：属性术语-情感标签对，并获得最终的语句预测结果。
[0058]
属性术语抽取模块是基于依存分析和gcn的属性术语抽取模型，属性术语抽取模型采用通用域向量和特定域向量结合的方式作为每个单词的向量表示，从而提出的基于依存分析和pmi的邻接矩阵构建方式，通过lstm网络获取的语义特征和gcn网络获取的句子结构特征通过权重结合，得到输入文本的最终向量表示。
[0059]
步骤2.1中三种情感分别为积极(pos)、消极(neg)、中性(neu)和无关词(0)，词向量采用bert模型表示，句子采用s表示，句子基于bert的向量矩阵为情感词的向量矩阵程度词的向量矩阵否定词的向量矩阵其中t、m、k、p分别表示输入文本的长度和情感词、程度词、否定词的个数，d表示词向量的维度。
[0060]
步骤2.1中两阶段中情感资源的第一阶段增强用于建立输入文本和三种情感资源在单词级别的关联矩阵，第一阶段的增强包括以下处理步骤：步骤一：通过点积运算获取各
个关联矩阵；计算方法公式为：ms＝(wb)
t
.ws∈r
t*m
、mi＝(wb)
t
.wi∈r
t*k
、mn＝(wb)
t
.wn∈r
t*p
；其中：ms表示输入文本和情感词之间的关联矩阵，矩阵中每一行的元素表示输入文本中的每一个单词和每一个情感单词的语义相似度；mi和mn分别表示输入文本与程度词之间的关联矩阵以及输入文本与否定词之间的关联矩阵，矩阵中每个元素的含义与ms中元素含义类似；
[0061]
步骤二：情感词关联矩阵ms获得后通过平均池化分别计算其行平均向量和列平均向量具体计算方法如公式：具体计算方法如公式：其中和分别为情感词关联矩阵ms中每一个行向量和每一个列向量，同理求出程度词关联矩阵mi和否定词关联矩阵mn的行平均向量和列平均向量；
[0062]
步骤三：结合步骤二通过输入文本的向量矩阵wb和情感词关联矩阵的列平均向量计算通过情感词增强的输入文本xs，并通过wb与关联矩阵的行平均向量计算结合输入文本信息的情感词矩阵并依次对程度词和否定词进行类似的操作；计算方法如公式：式：
[0063]
步骤四：输入文本经过三种情感资源增强后的向量表示为上述三种情感资源相关的输入文本向量矩阵相加，计算方法如公式：xc＝xs+xi+xn。
[0064]
步骤2.1中两阶段中情感资源第二阶段增强用于将隐藏层的对应的特征增强，具体包括以下步骤：步骤一：在获得结合三种情感资源信息的输入文本特征矩阵xc后，将其输入到lstm网络中获取结合上下文语义信息的隐藏层变量hc，计算方法如公式：hc＝lstm(xc)；
[0065]
步骤二：获得隐藏层hc后利用第一阶段获得的结合输入文本信息的情感词矩阵、结合输入文本信息的程度词矩阵和结合输入文本信息的否定词矩阵再次对输入文本的隐藏层矩阵hc进行对应的特征增强；计算方法如公式：进行对应的特征增强；计算方法如公式：其中其中表示情感词矩阵中的每一列向量，则qs为情感矩阵进行池化操作获得；表示输入文本中每一个单词的隐藏层向量在整个句子中情感词方向的权重得分，us和ws为参数矩阵，tanh表示激活函数；αi为经过归一化处理的每个单词的权重；为单词经过情感词增强之后的最终向量，经过情感词增强的句子表示为os；
[0066]
步骤三：根据步骤二中的os的计算公式获得程度词增强的句子表示oi和否定词增强的句子表示on，每个句子的最终向量表示为三种句子的表示相加，计算方法如公式：o＝os+oi+on。
[0067]
步骤2.1中结果的预测通过输出模块体现，在获取每个单词的最终向量的oi后通过全连接层将每个单词的特征向量转换为标签向量z＝[p1，p2，...pk]，z中的每个元素pi表
示该单词是标签集class＝[c1,c2,...ck]中的标签ci的可能性，k表示标注标签的数量，预测结果通过softmax函数将标签向量中的每个值映射为对应标签的概率，再通过argmax函数获取概率向量中最大值的索引；实验数据集中对情感分类任务采用l2正则化项的加权交叉熵损失函数，正则化项的加权交叉熵损失函数用于解决标签数量不均衡的问题，情感分类模型的损失计算方法公式为：其中yc是样本真实标签的one-hot向量，wc是每一种类别的权重，μ是l2正则化系数，θ是参数集合。
[0068]
步骤2.1分两阶段对输入文本中的对应特征增强中还包括two-stage mse的情感分类算法，算法为：
[0069]
row1：begin
[0070]
row2：读取数据中的每句文本si[0071]
row3：设迭代次数为n，批处理大小为b；
[0072]
row4：for each s
i in s
[0073]
row5：经过bert模型得到输入句子的向量表示wb[0074]
row6：经过bert模型得到情感词、程度词、否定词的向量表示ws、wi、wn[0075]
row7：end for
[0076]
row8：使用公式：ms＝(wb)
t
.ws∈r
t*m
、mi＝(wb)
t
.wi∈r
t*k
、mn＝(wb)
t
.wn∈r
t*p
计算情感词关联矩阵ms、程度词关联矩阵mi、否定词关联矩阵mn[0077]
row9：使用公式row9：使用公式row9：使用公式得到情感词增强的输入文本xs、程度词增强的输入文本xi、否定词增强的输入文本xn以及结合输入文本信息的情感词结合输入文本信息的程度词结合输入文本信息的否定词
[0078]
row10：使用公式xc＝xs+xi+xn计算第一阶段经过三种情感资源增强后的句子表示xc[0079]
row11：将xc输入lstm，使用公式hc＝lstm(xc)获取隐藏层向量表示
[0080]
row12：使用公式row12：使用公式分别用再次对输入文本进行增强
[0081]
row13：使用公式o＝os+oi+on计算第二阶段情感词增强后的句子表示o
[0082]
row14：获取句子中每个单词的情感极性
[0083]
row15：for each n in n
[0084]
row16：for each b in b
[0085]
row17：使用公式计算误差损失
[0086]
row18：使用梯度下降优化算法adam更新网络参数
[0087]
row19：end for
[0088]
row20：end for
[0089]
row21：end。
[0090]
交互共享单元用于计算两个模块的任务中单词特征表示的相关性，并结合相关性对每个单词自身的特征进行调整；具体包括以下步骤：步骤一：计算属性术语抽取模块与情感分类模块中每个单词的相关性向量计算方法公式为：其中a和s分别表示属性术语抽取任务和情感分类任务；表示通过属性术语抽取任务获取的单词i的特征向量，表示通过情感分类任务获取的单词j的特征向量，tanh为激活函数，g为参数矩阵；步骤二：获得单词i与单词j的相关性向量之后通过公式将其转变成权重分数；其中是参数向量，为关联分数；单词之间的相关性向量集合在一起用矩阵s
a-s
与s
s-a
表示；步骤三：通过相关性矩阵分别对计算属性术语抽取模块与情感分类模块的特征矩阵进行增强；计算方法公式为：ha＝ha+softmax(s
a-s
)hs，hs＝hs+softmax(s
s-a
)ha；其中ha和hs为经过交互共享单元增强后的句子表示，通过输出模块处理后用于为步骤3的语句预测标签对。
[0091]
输出模块采用dp-gcn模型输出，情感分类模型对多词属性术语有二种情况选择方式：第一种情况：组成同一属性术语的单词的情感倾向不一致时使用多数原则；第二种情况：情感倾向不一致且各种情感出现次数相同时，选择第一个出现的情感。
[0092]
为了验证本方案提出模型的有效性，与其他属性术语及情感联合抽取任务具有可比性，本方案将使用这一任务中常用的国际语义测评比赛semeval数据集以及twitter数据集；
[0093]
其中semeval数据集由餐饮(restaurant)评论和笔记本(laptop)评论组成，其中餐饮评论数据集使用2014-16年的比赛数据(后文简称为rest14-16)，笔记本评论数据集使用2014年的比赛数据(后文简称为lap14)。
[0094]
将每个数据集划分为训练集和测试集，具体信息如下表所示：
[0095]
[0096][0097]
本方案采用准确率(accuracy)、精确率(precision)、召回率(recall)和f1值(f1-score)作为基于two-stage mse的情感分类模型以及交互式属性术语及情感联合抽取模型的评价标准：
[0098]
准确率指被模型正确分类的样本数占所有样本数的比例，通常用来评价模型的整体准确性，计算公式为：
[0099]
精确率也称查准率，是指模型预测为某类别的样本中实际属于这一类别的样本的比例,计算公式为：
[0100]
召回率又称查全率，是指某一类别的样本中被正确预测的数量与该类别样本总数的比例,计算公式为：
[0101]
tp代表正向样例被正确判断为正向样例；fp表示负向样例被错误判断为正向样例，也称为假正样例；fn表示正向样例被错误判断为负向样例，也称为假负样例；tn表示负向样例被正确判断为负向样例；
[0102]
f1值综合了精确率和召回率，可以对模型的性能进行综合评价，在数值上等于精确率和召回率的调和平均值，计算公式为：
[0103]
为了验证本方案提出的two-stage mse情感分类模型的性能，本方案使用cnn和lstm作为基线模型进行对比，评价指标采用准确率和f1值，表中“w/os”、“w/oi”、“w/on”分别表示在使用的情感资源中去除情感词、程度词和否定词,试验结果如下表所示：
[0104][0105]
由表中数据可以看出，本方案提出的模型相对传统的神经网络模型如lstm和cnn有实质性的性能提升，在lap14数据集上f1值相比de-lstm提升了3.47％，说明了将情感资源融入神经网络是一种有效的提升情感分类性能的方法；
[0106]
表格后三行的实验数据为对本章提出的two-stage mse模型的消融实验，将上述数据表中的消融实验f1值绘制成直方图，结果如图2所示：
[0107]
参照图2可以得知去掉情感词对模型的影响最大，在lapt14数据集上f1值下降了3.18％；去掉否定词对模型的影响最小，在lap14数据集上下降了1.4％，原因可能是本文使用的否定词数量过少，在模型训练中发挥的作用有限。
[0108]
为了评估本方案提出的交互共享单元在模型中的作用，将其去掉进行实验并与完整的模型效果进行对比，实验三个数据集上进行，评价指标采用f1值，结果如下表：
[0109][0110]
由上述表格可以得知去掉交互共享单元之后模型性能大幅度下降，twitter数据集性能下降了最多有5.61％，说明交互共享单元能有效的使两个子任务互相提供信息，提升模型的整体性能。
[0111]
上述具体实施例仅仅是本发明的几种优选的实施例，基于本发明的技术方案和上述实施例的相关启示，本领域技术人员可以对上述具体实施例做出多种替代性的改进和组合。