一种基于图神经网络的情感分类方法

1.本技术涉及自然语言处理技术领域，尤其涉及一种基于图神经网络的情感分类方法。


背景技术：

2.情感分类是自然语言处理技术领域中热门的文本分类问题，而方面级情感分析则是更加细粒度的情感分类，其主要目标是确定文本中给定具体方面词所对应的情感极性，例如积极、消极或中立。通过分析社交媒体中这些用户产生的数据，可以自动监控舆论并协助作出决策。为了将方面词和对应表达情感的意见词联系，目前的深度学习方法通常使用图卷积网络利用文本的句法依赖树对文本进行情感分析。现有的方面级情感分析方法主要分为基于各种注意力机制的深度学习方法和基于图神经网络的深度学习方法。其中基于各种注意力机制的深度学习方法将注意力机制和长短期记忆网络(lstm)、循环神经网络(rnn)等结合，来生成特定于方面词的句子表示。但是由于社交媒体文本的句法复杂性和文本中多方面词问题，具有缺陷的注意力机制很容易受句子噪音的影响，无法成功注意到对应意见词。
3.更多研究者专注于探索基于图神经网络的深度学习方法，主要是可以利用输入的句子通过归纳方法自动地生成动态的为任务量身定做的潜在图。然而现有的方法使用动态生成潜在图，潜在图缺失句法依赖树的远距离句法连接关系和句法关系标签信息；其次由于归纳得到潜在图的过程中缺乏约束，导致图无法正确地关联方面词和对应的意见词，从而降低了情感分类模型的性能。


技术实现要素：

4.为此，本技术的实施例提供了一种基于图神经网络的情感分类方法，实现了更好的关联方面词与意见词，提高情感分类的准确率。
5.第一方面，本技术提供一种基于图神经网络的情感分类方法。
6.本技术是通过以下技术方案得以实现的：
7.一种基于图神经网络的情感分类方法，所述方法包括：
8.将获取的文本句输入bert编码器中，得到所述文本句的上下文表示；
9.基于文本句的句法依赖树，构建所述文本句的初始邻接矩阵；
10.使用glove词向量模型将所述初始邻接矩阵映射成非负的初始化邻接矩阵表示；
11.构建根选择分数向量，将所述根选择分数向量和所述初始化邻接矩阵表示输入到结构归纳器中，基于拉普拉斯变体矩阵来计算边际概率，基于所述边际概率得到所述文本句的归纳后的潜在图g
lat
以及基于多头注意力机制得到所述文本句的语义图g
sem
；
12.将所述潜在图g
lat
和所述语义图g
sem
输入到图神经网络中分别得到潜在图表示和语义图表示结合所述潜在图表示和所述语义图表示得到经过语义信息增强的潜在图表示h
g-lat
和与潜在图交互后的语义图表示；
13.基于所述语义信息增强的潜在图表示h
g-lat
和所述与潜在图交互后的语义图表示h
g-sem
，通过设计掩码矩阵得到用于情感分析的特征表示，将所述特征表示进行平均池化操作得到最终特征表示，将所述最终特征表示输入到图神经网络的线性层，得到所述文本句的方面词的情感极性。
14.在本技术一较佳的示例中可以进一步设置为，所述将获取的文本句输入bert编码器中的步骤还包括：
15.将所述文本句与所述文本句的方面词结合，并在其中加入第一预设符号和第二预设符号，得到所述文本句的方面对。
16.在本技术一较佳的示例中可以进一步设置为，
17.将单词作为节点和句法依赖树中单词之间的依赖关系类型作为边，构建所述文本句的初始邻接矩阵a
ij
：
[0018][0019]
其中，r
ij
表示文本句中第i个单词wi和第j个单词wj之间的依赖关系类型，i，j＝1
…
n，w
1a
表示线性映射层的权重，表示softmax层的权重，表示线性映射层的偏置，表示softmax层的偏置。
[0020]
在本技术一较佳的示例中可以进一步设置为，所述构建根选择分数向量表示为：
[0021]ri
＝exp(w
rhi
+br)，i＝1
…n[0022]
其中，wr表示计算潜在结构根的神经网络层的权重，br表示计算潜在结构根的神经网络的偏置，hi表示输入文本句中第i个词的上下文特征。
[0023]
在本技术一较佳的示例中可以进一步设置为，所述基于拉普拉斯变体矩阵来计算边际概率的步骤中拉普拉斯变体矩阵表示为：
[0024][0025]
边际概率表示为：
[0026][0027]
其中，ri表示文本句中的第i个单词被选择为潜在结构根的概率分数，p
ij
表示第i个单词与第j个单词之间的潜在依赖连接的边际概率，表示拉普拉斯变体矩阵的对角线，表示拉普拉斯变体矩阵的第j行第i列。
[0028]
在本技术一较佳的示例中可以进一步设置为，在所述构建根选择分数向量，将所述根选择分数向量和所述初始化邻接矩阵表示输入到结构归纳器中，基于拉普拉斯变体矩阵来计算边际概率的步骤中引入根细化策略，具体公式为：
[0029][0030][0031]
其中，为第i个单词为结构根的概率，pi∈{0，1}表示第i个单词是否是方面词。在本技术一较佳的示例中可以进一步设置为，所述基于多头注意力机制得到所述文本句的语义图g
sem
的过程表示为：
[0032][0033][0034]
其中，k为多头自注意力机制的注意头数量，对于自注意力q＝k，分别为模型的可训练参数，dh为bert编码器输出的向量维度，g
sem
即为语义图。
[0035]
在本技术一较佳的示例中可以进一步设置为，所述基于所述语义信息增强的潜在图表示h
g-lat
和所述与潜在图交互后的语义图表示h
g-sem
，通过设计掩码矩阵得到用于情感分析的特征表示，将所述特征表示进行平均池化操作得到最终特征表示的步骤包括：
[0036]
通过注意力机制获取与语义相关的潜在表征表示z：
[0037][0038]
z＝αh
g-sem
[0039]
采用掩码机制将潜在表征表示z中的方面词对应位置设置为1，非方面词位置设置为0，再通过平均池化操作聚合多词词组的表征得到最终特征表示：
[0040]zabsa
＝aver(mask
⊙
z);
[0041]
其中，α表示标准化后的注意力分数，aver(
·
)表示平均池化函数，z
absa
为方面级情感分析任务的最终特征表示。
[0042]
在本技术一较佳的示例中可以进一步设置为，将所述潜在图g
lat
和所述语义图g
scm
输入到图神经网络中分别得到潜在图表示和语义图表示的步骤包括：
[0043]
使用情感字典细化策略对潜在图表示进行约束，
[0044]
获取文本句对应的情感词典向量：
[0045][0046]
将潜在图表示h
g-latrn
×d映射为γ
g-lat
∈rn×1：
[0047][0048]
得到情感细化策略的损失函数：
[0049]
ls＝(γ
g-lat-lex
senti
)2[0050]
其中，lex
senti
为情感词典向量，分量为文本句中第i个单词的情感分数，为潜在图表示h
g-latrn
×d的第i个单词的分量，ls为情感细化策略的损失函数，γ
g-lat
表示潜在图表示映射而成的中间向量。
[0051]
在本技术一较佳的示例中可以进一步设置为，所述文本句的方面词的情感极性表示为：
[0052][0053]
其中，表示情感极性，w
p
和b
p
分别为线性层的可训练权重和偏置，z
absa
为方面级情感分析任务的最终特征表示，soft max(
·
)表示归一化指数函数。
[0054]
综上所述，与现有技术相比，本技术实施例提供的技术方案带来的有益效果至少包括：
[0055]
本技术基于文本句的句法依赖树，为潜在图的结构归纳器提供文本句的初始邻接矩阵，解决了潜在图缺少句法树中依赖类型信息的问题，使得归纳后的潜在图可以感知到更多的句法关系信息；在图卷积神经网络的latentgcn模块中使用情感字典细化策略对潜在图表示进行约束，经过指导后的潜在图表示可以融合丰富的情感信息和语义信息，潜在图得到更好的约束，使得方面词能够正确的关联意见词；经过多头注意力的语义图在图卷积过程中为潜在图补充语义信息，可以提高情感分类的准确率。
附图说明
[0056]
图1为本技术一示例性实施例提供的一种基于图神经网络的情感分类方法的流程示意图。
具体实施方式
[0057]
本具体实施例仅仅是对本技术的解释，其并不是对本技术的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本技术的权利要求范围内都受到专利法的保护。
[0058]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0059]
另外，本技术中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本技术中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
[0060]
本技术中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似
项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。
[0061]
下面结合说明书附图对本技术实施例作进一步详细描述。
[0062]
在本技术的一个实施例中，提供一种基于图神经网络的情感分类方法，如图1所示，主要步骤描述如下：
[0063]
s10：将获取的文本句输入bert编码器中，得到所述文本句的上下文表示。
[0064]
进一步的，将文本句与文本句的方面词结合，并在其中加入第一预设符号和第二预设符号，得到所述文本句的方面对。
[0065]
本实施例中使用bert编码器得到输入的文本句的上下文表示。上下文表示即为上下文的单词表示。将待分类的文本句s＝{w1，w2，
…
，wn}与该文本句的方面词a＝{wi，
…
，wj}结合，将方面词嵌入到文本句中，同时在其中加入bert编码器需要的第一预设符号和第二预设符号，具体的第一预设符号为[cls]符号和第二预设符号为[sep]符号，得到文本句的方面对x＝([cls]w1，w2…
，wn[sep]wi，...，wj[sep])，其中文本句中有n个单词，方面词中包含i-j个单词。在文本句中加入[cls]符号和[sep]符号，可以更好的融合文本句中各个词之间的语义信息，有利于后续的分类任务。将待分类的文本句的方面对输入到bert编码器中，通过bert编码器的预训练语言模型捕获文本的上下文特征，输出编码成d维的上下文表示h，其过程可以用以下公式进行形式化定义：
[0066]
h＝bert(x)，
[0067]
其中，h表示bert编码器的输出的上下文表示，h中的每一个元素表示输入文本句中一个词的上下文特征。
[0068]
s20：基于文本句的句法依赖树，构建所述文本句的初始邻接矩阵。
[0069]
优选的，本实施例中通过将单词作为节点和句法依赖树中单词之间的依赖关系类型作为边，构建所述文本句的初始关系邻接矩阵a
ij
：
[0070][0071]
其中，a
ij
为可感知句法依赖类型的初始化邻接矩阵表示，i，j＝1
…
n，r
ij
表示文本句中第i个单词wi和第j个单词wj之间的依赖关系类型，w
1a
表示线性映射层的权重，表示softmax层的权重，表示线性映射层的偏置，表示softmax层的偏置。
[0072]
具体的，基于句子的句法依赖树，将文本句中的单词表示为节点，将句法依赖树中单词之间的依赖关系类型表示为边，构建待分类的文本句的初始关系邻接矩阵，表示所有节点的之间的依赖关系。所有节点的之间的依赖关系为r＝{r
ij
}，其中r
ij
表示文本句中第i个单词wi和第j个单词wj之间的依赖关系类型，例如：nsubj，adjmod。
[0073]
s30：使用glove词向量模型将所述初始关系邻接矩阵映射成非负的初始化邻接矩阵表示。
[0074]
具体的，对依赖关系r进行编码，使用glove词向量模型将初始关系邻接矩阵中每一对r
ij
转化为一个d维的依赖关系嵌入，接着映射成能够输入到潜在图归纳器的非负的初始化邻接矩阵表示a，a∈rn×n。
[0075]
s40：构建根选择分数向量，将所述根选择分数向量和所述初始化邻接矩阵表示输入到结构归纳器中，基于拉普拉斯变体矩阵来计算边际概率，基于所述边际概率得到所述文本句的归纳后的潜在图g
lat
以及基于多头注意力机制得到所述文本句的语义图g
sem
；
[0076]
具体的，本实施例中构建的根选择分数向量r，r∈r1×n，具体过程如以下公式所示：
[0077]ri
＝exp(w
rhi
+br)，i＝1
…n[0078]
其中，ri表示文本句中的第i个单词被选择为潜在结构根的概率分数，ri组合构成根选择分数向量，用来在归纳过程中保持以方面词为根，hi表示第i个单词的上下文特征，wr表示计算潜在结构根的神经网络层的权重，br表示计算潜在结构根的神经网络的偏置。使用句法树的依赖关系邻接矩阵对结构归纳器进行初始化操作，可以增加潜在图缺失的句法依赖标签信息。
[0079]
进一步，将根选择分数向量r和初始化邻接矩阵表示a输入到结构归纳器中。为了得到归纳后的潜在图，本实施例中使用矩阵树定理的变体来加权计算潜在图中的全部依赖结构的总和。具体的，矩阵树定理的变体为拉普拉斯变体矩阵结构的总和。具体的，矩阵树定理的变体为拉普拉斯变体矩阵具体公式如下：
[0080][0081]
其中，ri表示文本句中的第i个单词被选择为潜在结构根的概率分数，a
ij
表示上述所求的可感知句法依赖类型的初始化邻接矩阵表示，ai′j表示矩阵的第i
′
行，if i＝j表示矩阵的对角线。
[0082]
然后使用用于生成依赖结构的树归纳器解析依赖，该算法基于初始化邻接矩阵表示a和拉普拉斯变体矩阵来计算边际概率以求得文本句的解析树。边际概率的计算公式具体如下：
[0083][0084]
其中，p
ij
表示第i个单词和第j个单词之间的潜在依赖连接的边际概率，即节点i，j之间是否具有潜在依赖连接的概率，表示拉普拉斯变体矩阵的对角线，表示拉普拉斯变体矩阵的第j行第i列。由边际概率p
ij
组成的加权邻接矩阵p，p∈rn×n即为潜在图g
lat
。
[0085]
优选的，在上述过程中的结构归纳器中引入根细化策略，具体的公式如下所示：
[0086][0087]
其中，为第i个单词为结构根的概率。
[0088]
根细化策略的lr是通过交叉熵损失函数得到的，在训练过程中通过最小化lr可以
调整潜在依赖结构以方面词为根，具体为：
[0089][0090]
其中，pi∈{0，1}表示第i个单词是否是方面词，lr表示根细化策略的损失函数，ls为情感细化策略的损失函数。引入根细化策略，可以减少无关噪音，尽量保证依赖结构为方面词为根，更好的建立方面词与意见词之间的连接。
[0091]
自注意力机制可以得到文本句中任意两个单词之间的语义相似度分数，以单词作为节点，将任意两个单词之间的注意力分数作为边，可以得到文本句的语义图。具体过程如下所示的公式表示：
[0092][0093][0094]
其中，k为多头注意力机制的注意力头数量，本发明中取k＝2，对于自注意力q＝k，wk∈rn×n，wq∈rn×n分别为模型的可训练参数，dh为bert编码器输出的向量维度，g
sem
表示语义图，g
sem，k
表示第k个注意力头的注意力矩阵。使用多头注意力机制得到注意力分数可以避免偶然性，得到的结果具有准确性和更高的通用性。
[0095]
s50：将所述潜在图g
lat
和所述语义图g
sem
输入到图卷积神经网络中分别得到潜在图表示和语义图表示结合所述潜在图表示和所述语义图表示得到经过语义信息增强的潜在图表示h
g-lat
和与潜在图交互后的语义图表示h
g-sem
；
[0096]
需要进行说明的是，本实施例中训练一个细粒度迭代交互的图卷积网络combinegcn，包括latentgcn模块和sematicgcn模块两部分，两个gcn模块共享网络参数，可以用来利用语义图为潜在图补充语义信息。具体的，将bert编码器编码后的文本句的上下文表示h作为图卷积神经网络gcn初始化节点输入，将上下文表示h和潜在图g
lat
输入latentgcn模块得到潜在图表示将上下文表示h和语义图g
sem
输入sematicgcn模块得到语义图表示接着结合latentgcn模块输出的潜在图表示和sematicgcn模块输出的语义图表示得到图卷积网络combinegcn的输出并通过sigmoid激活后的潜在图表示来控制潜在图表示和语义图表示的交互程度。另外，在combinegcn迭代到下一层前，本实施例中使用当前层输入h
l-1
得到控制因子w1，具体的当前层输入h
l-1
是bert编码器输出的文本句的上下文表示h。可以避免图卷积网络combinegcn随着迭代变得平滑并且由于深度增加而损失信息。经过控制因子w1控制，combinegcn的输出和当前层输入h
l-1
共同得到经过细粒度调整后的combinegcn的第l层的输出h
l
，具体公式可以通过以下公式进行表示：
[0097][0098][0099][0100][0101]
ω
l
＝σ(h
l-1
)
[0102][0103][0104]
其中，h
l-1
为当前层输入，初始化为h0为bert编码器输出的上下文表示h，h
l
为combinegcn的第l层的输出，1∈[1，l]。和为线性层的可训练权重和偏置，ρ∈[0，1]是包含先验知识的超参数，用来控制语义图和潜在图的交互程度。w
l
是combinegcn第l层的可训练参数，被潜在图g
lat
和语义图g
sem
所共享，这样可以使得潜在图g
lat
在迭代过程中逐渐融合语义图g
sem
的信息，并最终输出有语义信息增强的潜在图表示h
l
，记为h
g-lat
，同时输出最后一层的与潜在图交互的语义图表示记为h
g-sem
。
[0105]
为解决这个问题，本实施例中使用情感词典细化策略在latentgcn模块中，对潜在图表示进行约束，重新制定损失函数，使得方面词能更好地关联意见词，潜在图可以更好的工作。具体的，本实施例中，使用senticnet 6情感词典，给定一个文本句，在senticnet 6情感词典中的单词会被标记对应的情感分数，若不存在与情感词典中的单词标记则标记为0，以此获得文本句对应的情感词典向量lex
senti
，lex
senti
∈rn×n，同时将潜在图表示h
g-latrn
×d映射为
[0106]
γ
g-lat
∈rn×1。具体以下公式所示：
[0107][0108][0109]
ls＝(γ
g-lat-lex
senti
)2[0110]
其中，lex
senti
为情感词典向量，分量为文本句中第i个单词的情感分数，为潜在图表示h
g-latrn
×d的第i个单词的分量，ls为情感细化策略的损失函数。γ
g-lat
表示潜在图表示映射而成的中间向量。
[0111]
将情感细化策略的损失函数ls加入到原先只有情感分类任务的交叉熵损失之后，通过最小化损失，使得理想情况下lex
senti
更接近γ
g-lat
，使得模型更多注意到文本句中表达情感的意见词，进一步提高方面级情感分析的准确度。
[0112]
最终图卷积神经网络最终损失函数为：
[0113][0114]
其中，是为方面级情感分析任务定义的交叉熵损失：
[0115][0116]
θ代表模型全部可训练的参数，λ、μ1、μ2是对应损失项的系数，lr为根细化策略的损失函数，d包含了所有的句子方面对，y
(s，a)
为其中一个句子方面对中方面词的实际情感极性。使用带情感词典细化策略的约束图卷积神经网络，使用从情感词典中得到的文本句的额外情感信息，来辅助图卷积神经网络更好的使文本句中方面词联系到意见词。
[0117]
s60：基于所述语义信息增强的潜在图表示h
g-lat
和所述与潜在图交互后的语义图表示h
g-sem
，通过设计掩码矩阵得到用于情感分析的特征表示，将所述特征表示进行平均池化操作得到最终特征表示，将所述最终特征表示输入到图卷积网络的线性层，得到所述文本句的方面词的情感极性。
[0118]
具体的，经过上述图卷积神经网络的迭代之后，得到了富含更多有用信息的有语义信息增强的潜在图表示h
g-lat
和潜在图交互的语义图表示h
g-sem
。接下来使用注意力机制来获取与语义相关的更丰富的潜在表征表示z，具体公式如下所示：
[0119][0120]
z＝αh
g-sem
，
[0121]
其中，α表示标准化后的注意力分数。
[0122]
进一步地，为了获得与方面词相关的表示，采用掩码机制得到用于方面级情感分析的特征表示，具体的通过设计掩码矩阵，将潜在表征表示z中的表示方面词的单词对应的位置设置为1，非表示方面词的单词对应的位置设置为0。同时因为表示当面的单词中存在多词词组，本实施例中采用平均池化操作对多词词组的表征进行聚合，得到最终特征表示：
[0123]zabsa
＝aver(mask
⊙
z)
[0124]
其中，aver(
·
)表示平均池化函数，z
absa
为方面级情感分析任务的最终特征表示。
[0125]
然后将最终特征表示z
absa
输入到图卷积神经网络的线性层，经过soft max(
·
)归一化指数函数预测对文本句中的方面词的情感极性情感极性表示为：
[0126][0127]
其中，w
p
和b
p
分别为线性层的可训练权重和偏置。
[0128]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将本技术所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。