一种融合表情符号的社交文本情感分析方法及装置

1.本发明涉及自然语言处理领域，更具体涉及一种融合表情符号的社交文本情感分析方法及装置。


背景技术：

2.随着社交媒体的不断发展，人们逐渐习惯于在社交平台上发表自己的观点、分享日常的生活。社交平台的历史公共数据包含了大量有价值的情感信息，不仅可供商业使用，还可用于心理学、认知语言学或政治学。相较传统文本表达方式，人们在社交平台上表达情感的方式更为丰富。近几年，表情符号随着社交媒体的兴起开始流行于大众在社交平台的日常交流中，成为网络交流中一个新的广泛的方面，其作为一个情感信息丰富的文本符号能够帮助我们对众多非规范化的社交文本更好的进行情感分析。
3.随着表情符号在社交文本中的普遍使用，一些学者也开始投入到融合表情符号的社交文本情感分析研究，尝试将表情与文本信息等价，在情感分析预测任务中将表情与文本转为词向量融合输入模型训练，并且取得了不错的分类效果。
4.目前，人们提出融合表情符号的社交文本情感分析模型主要包含以下几类：将表情符号与文本分离，通过人工标记或数据统计将表情符号转换为额外情感信息，辅助文本的情感分类任务(基于规则的方法)，例如中国专利公开号cn111626050a公开的基于表情词典与情感常识的微博情感分析方法。保持表情符号在文本中的位置关系，将表情符号与文本融合预训练转化为词嵌入向量参与后续的神经网络模型训练(基于深度学习的方法)，例如中国专利公开号cn111898384a，公开的一种文本情感识别方法、装置、存储介质及电子设备。
5.然而，上述融合表情符号的社交文本情感分析的方法忽略了表情符号的特殊性。先表情符号在用户使用过程中用户赋予表情的含义大多已经偏离了官方的初始定义；同时，表情符号还会由于时间、地点、文化、语境的不同表达出不同的含义，因此基于规则的方法并不能对表情符号有一个很好的通用规则定义。除此之外，表情符号在社交文本中往往起到了情感标签的作用，其本身所含有的情感信息相较纯文本更加丰富，在基于深度学习的方法中如果只是仅仅将表情符号转化为词向量与文本同时处理会使得用户赋予表情符号的丰富情感被遗失，因此单一的使用上述方法会造成部分关键情感信息的遗失，使得对社交文本的分类准确度并不高。


技术实现要素：

6.本发明所要解决的技术问题在于现有技术融合表情符号的社交文本情感分析方法容易造成部分关键情感信息的遗失，使得对社交文本的分类准确度并不高。
7.本发明通过以下技术手段实现解决上述技术问题的：一种融合表情符号的社交文本情感分析方法，所述方法包括以下步骤：
8.s1：将无标注含表情文本数据和有标注社交文本数据做预处理，获取预训练文本
数据，并将其中的表情符号提取作为预训练标签；
9.s2：搭建基于长短期记忆子神经网络和自注意力机制子神经网络的神经网络模型对所述s1中预训练文本数据进行预训练，得到以表情符号为预测标签的预训练模型；
10.s3：将s1中预处理的有标注社交文本数据输入至预训练模型，通过链式解冻方法更新预训练模型的参数，训练得到社交文本情感分类器；
11.s4：将需要进行情感分类的社交文本输入至社交文本情感分类器，得到预测情感类别。
12.本发明提出了一种将表情符号作为预训练模型分类标签来对文本数据做预训练的方法，该预训练模型使得表情符号丰富的情感信息能够在预训练过程中融入到纯文本单词特征表示中，克服了社交文本与表情符号分割处理导致情感信息遗失的局限性，提升对社交文本的分类准确度。
13.进一步地，所述s1包括：
14.将含表情符号的文本数据作为无标注含表情文本数据以及带有情感标注的社交文本数据作为有标注社交文本数据；
15.过滤无标注含表情文本数据以及有标注社交文本数据中的噪声数据，所述噪声数据包括链接、转发符号以及用户名；
16.对过滤噪声数据之后的数据中包含多个表情符号的文本进行复制，使得每个复制文本仅包含原始文本中的单个非重复的表情符号并删除原始文本；
17.统计并选取所有文本数据中出现频率前n位的表情符号保留其对应的纯文本数据作为预训练文本数据；将预训练文本数据的表情符号提取出来作为其对应文本的唯一预训练标签。
18.进一步地，所述神经网络模型包括embedding层、两层的双向长短期记忆神经网络层、两层的自注意力机制层、特征连接层、单层的注意力机制层以及softmax层，所述embedding层接收预训练文本数据，embedding层的输出端分别与两层的双向长短期记忆神经网络层以及两层的自注意力机制层的输入端连接，embedding层的输出端、两层的双向长短期记忆神经网络层以及两层的自注意力机制层的输出端均与特征连接层的输入端连接，特征连接层的输出端与单层的注意力机制层的输入端连接，单层的注意力机制层的输出端与softmax层连接。
19.更进一步地，所述s2包括：
20.将所述预训练文本数据输入至预训练模型的embedding层，得到所述预训练文本数据的输入向量序列；
21.将所述输入向量序列分别输入至两层的双向长短期记忆神经网络层及两层的自注意力机制层，分别得到所述预训练文本数据的句法相关特征和语义相关特征；
22.将所述两层的双向长短期记忆神经网络层及两层的自注意力机制层的每层输出特征向量与embedding层输出的输入向量序列进行向量拼接，得到所述预训练文本数据的连接特征向量；
23.将所述连接特征向量输入至单层的注意力机制层，所述单层的注意力机制层用于让模型训练期间关注所述预训练文本数据句子的关键特征，给予关键特征更高的权重，得到所述预训练文本数据的文本表示向量；
24.将所述文本表示向量输入softmax层进行归一化处理得到所述预训练文本数据句子的预测表情类别标签；
25.基于所述预测表情类别标签与对应文本实际含有表情结果的差异，计算所述预训练模型对应的第一损失函数，更新所述预训练模型中各模块的参数，训练并完成最终的预训练模型。
26.更进一步地，所述第一损失函数的表达式为
[0027][0028]
其中，n表示在所述s1预处理阶段所选择的作为预训练类别标签的非重复表情数量，yi表示预测文本实际含有第i个表情的有无，若含有第i个表情则yi为1，反之为0；表示预测文本预测含有第i个表情的概率，n个表情标签的预测概率总和为1。
[0029]
更进一步地，所述文本表示向量的计算方式为：
[0030]et
＝h
t
wa[0031][0032][0033]
其中，h
t
是单词在时间步长t的表示，wa是单层的注意力机制层的权重矩阵，a
t
是时间步长t的重要性分数；t为总的时间步长。
[0034]
更进一步地，所述s3包括：
[0035]
基于所述有标注社交文本数据的标注情感类别种类调整s2中预训练模型softmax层输出维度，使得softmax输出维度为情感类别数量*对应类别概率分布；
[0036]
将所述有标注社交文本数据输入至s2中的预训练模型得到社交文本的分类结果；
[0037]
基于所述有标注社交文本数据实际情感标签与模型预测标签结果的差异，计算所述神经网络模型对应的第二损失函数，通过链式解冻方法更新所述神经网络模型中各模块的参数，训练得到最终的社交文本情感分类器；
[0038]
所述链式解冻方法为：训练过程中首先微调模型最顶层参数，再从模型embedding层向上逐层调整参数至最优结果，最后训练并更新模型所有层的参数。
[0039]
更进一步地，所述第二损失函数的表达式为：
[0040][0041]
其中，n表示在所述s1预处理阶段所选择的作为预训练类别标签的非重复表情数量，yi表示预测文本实际含有第i个表情的有无，其含有第i个表情则yi为1，反之为0；表示预测文本预测含有第i个表情的概率，n个标签的概率总和为1。
[0042]
本发明还提供一种融合表情符号的社交文本情感分析装置，所述装置包括：
[0043]
数据预处理模块，用于将无标注含表情文本数据和有标注社交文本数据做预处理，获取预训练文本数据，并将其中的表情符号提取作为预训练标签；
[0044]
预训练模块，用于搭建基于长短期记忆子神经网络和自注意力机制子神经网络的神经网络模型对所述数据预处理模块中预训练文本数据进行预训练，得到以表情符号为预测标签的预训练模型；
[0045]
迁移学习模块，用于将数据预处理模块中预处理的有标注社交文本数据输入至预训练模型，通过链式解冻方法更新预训练模型的参数，训练得到社交文本情感分类器；
[0046]
情感预测模块，用于将需要进行情感分类的社交文本输入至社交文本情感分类器，得到预测情感类别。
[0047]
进一步地，所述数据预处理模块，还用于：
[0048]
将含表情符号的文本数据作为无标注含表情文本数据以及带有情感标注的社交文本数据作为有标注社交文本数据；
[0049]
过滤无标注含表情文本数据以及有标注社交文本数据中的噪声数据，所述噪声数据包括链接、转发符号以及用户名；
[0050]
对过滤噪声数据之后的数据中包含多个表情符号的文本进行复制，使得每个复制文本仅包含原始文本中的单个非重复的表情符号并删除原始文本；
[0051]
统计并选取所有文本数据中出现频率前n位的表情符号保留其对应的纯文本数据作为预训练文本数据；将预训练文本数据的表情符号提取出来作为其对应文本的唯一预训练标签。
[0052]
进一步地，所述神经网络模型包括embedding层、两层的双向长短期记忆神经网络层、两层的自注意力机制层、特征连接层、单层的注意力机制层以及softmax层，所述embedding层接收预训练文本数据，embedding层的输出端分别与两层的双向长短期记忆神经网络层以及两层的自注意力机制层的输入端连接，embedding层的输出端、两层的双向长短期记忆神经网络层以及两层的自注意力机制层的输出端均与特征连接层的输入端连接，特征连接层的输出端与单层的注意力机制层的输入端连接，单层的注意力机制层的输出端与softmax层连接。
[0053]
更进一步地，所述预训练模块，还用于：
[0054]
将所述预训练文本数据输入至预训练模型的embedding层，得到所述预训练文本数据的输入向量序列；
[0055]
将所述输入向量序列分别输入至两层的双向长短期记忆神经网络层及两层的自注意力机制层，分别得到所述预训练文本数据的句法相关特征和语义相关特征；
[0056]
将所述两层的双向长短期记忆神经网络层及两层的自注意力机制层的每层输出特征向量与embedding层输出的输入向量序列进行向量拼接，得到所述预训练文本数据的连接特征向量；
[0057]
将所述连接特征向量输入至单层的注意力机制层，所述单层的注意力机制层用于让模型训练期间关注所述预训练文本数据句子的关键特征，给予关键特征更高的权重，得到所述预训练文本数据的文本表示向量；
[0058]
将所述文本表示向量输入softmax层进行归一化处理得到所述预训练文本数据句子的预测表情类别标签；
[0059]
基于所述预测表情类别标签与对应文本实际含有表情结果的差异，计算所述预训练模型对应的第一损失函数，更新所述预训练模型中各模块的参数，训练并完成最终的预训练模型。
[0060]
更进一步地，所述第一损失函数的表达式为
[0061][0062]
其中，n表示在所述s1预处理阶段所选择的作为预训练类别标签的非重复表情数量，yi表示预测文本实际含有第i个表情的有无，若含有第i个表情则yi为1，反之为0；表示预测文本预测含有第i个表情的概率，n个表情标签的预测概率总和为1。
[0063]
更进一步地，所述文本表示向量的计算方式为：
[0064]et
＝h
t
wa[0065][0066][0067]
其中，h
t
是单词在时间步长t的表示，wa是单层的注意力机制层的权重矩阵，a
t
是时间步长t的重要性分数；t为总的时间步长。
[0068]
更进一步地，所述迁移学习模块，还用于：
[0069]
基于所述有标注社交文本数据的标注情感类别种类调整s2中预训练模型softmax层输出维度，使得softmax输出维度为情感类别数量*对应类别概率分布；
[0070]
将所述有标注社交文本数据输入至s2中的预训练模型得到社交文本的分类结果；
[0071]
基于所述有标注社交文本数据实际情感标签与模型预测标签结果的差异，计算所述神经网络模型对应的第二损失函数，通过链式解冻方法更新所述神经网络模型中各模块的参数，训练得到最终的社交文本情感分类器；
[0072]
所述链式解冻方法为：训练过程中首先微调模型最顶层参数，再从模型embedding层向上逐层调整参数至最优结果，最后训练并更新模型所有层的参数。
[0073]
更进一步地，所述第二损失函数的表达式为：
[0074][0075]
其中，n表示在所述s1预处理阶段所选择的作为预训练类别标签的非重复表情数量，yi表示预测文本实际含有第i个表情的有无，其含有第i个表情则yi为1，反之为0；表示预测文本预测含有第i个表情的概率，n个标签的概率总和为1。
[0076]
本发明的优点在于：
[0077]
(1)本发明提出了一种将表情符号作为预训练模型分类标签来对文本数据做预训练的方法，该预训练模型使得表情符号丰富的情感信息能够在预训练过程中融入到纯文本
单词特征表示中，克服了社交文本与表情符号分割处理导致情感信息遗失的局限性，提升对社交文本的分类准确度。
[0078]
(2)本发明提出了利用双层双向长短期记忆神经网络与双层自注意力机制同时提取文本特征的方法，确保了模型在训练句法特征的同时能够关注到句子内相关单词语义特征，保证了训练数据信息的完整性。
[0079]
(3)本发明利用无情感标注的社交平台原始数据做预训练，降低了深度学习模型对有标注训练数据量的需求，仅使用少量的含标注数据就可以达到很好的效果，减少了数据标注带来的人工工作量。
附图说明
[0080]
图1为本发明实施例所公开的一种融合表情符号的社交文本情感分析方法的流程图；
[0081]
图2为本发明实施例所公开的一种融合表情符号的社交文本情感分析方法中对句子进行预处理的实施方式流程示意图；
[0082]
图3为本发明实施例所公开的一种融合表情符号的社交文本情感分析方法中预训练模型的结构示意图；
[0083]
图4为本发明实施例所公开的一种融合表情符号的社交文本情感分析方法中链式解冻方法的示意图。
具体实施方式
[0084]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0085]
实施例1
[0086]
如图1所示，一种融合表情符号的社交文本情感分析方法，所述方法包括以下步骤：
[0087]
s1：将无标注含表情文本数据和有标注社交文本数据做预处理，获取预训练文本数据，并将其中的表情符号提取作为预训练标签；参见图2：上述s1将无标注含表情文本数据和有标注社交文本数据做预处理，过滤所述文本中的噪声内容可以包括：
[0088]
收集大规模无标注的含表情符号英文文本语料，根据最终预测任务所需情感类别标注少量社交文本语料，通过正则化等方式过滤语料中的链接、转发符号、用户名等噪声内容，得到相对纯净的文本。进一步地可以选择是否删除标点符号或停止词等。
[0089]
进而将所述相对纯净的文本中包含多个表情的文本数据进行复制，使得每个复制文本仅包含原始文本中的单个非重复的表情符号并删除原始文本。将所述数据的表情符号提取出作对应文本的唯一预训练标签，统计并选取出现频率前n位的表情符号保留其对应的纯文本数据作为预训练文本数据；针对上述选取的预训练文本数据存在着少数常用表情符号占据了大多数数据文本，而其他小众的表情符号占据着少部分文本，由于表情符号是作为预训练模型的标签，为了不同标签数据的数量平衡，通过向上采样，即对小众表情符号
所存在的文本进行简单复制，以达到不同表情符号作为标签的预训练文本数量相同，以此来平衡数据。
[0090]
s2：搭建基于长短期记忆子神经网络和自注意力机制子神经网络的神经网络模型对所述s1中预训练文本数据进行预训练，得到以表情符号为预测标签的预训练模型；参见图3，搭建基于长短期记忆子神经网络和自注意力机制子神经网络的神经网络模型对所述s1中预处理文本进行预训练，得到以表情符号为预测标签的预训练模型可以包括：
[0091]
利用tensorflow或keras等深度学习框架搭建图示神经网络模型，参见图3。将上述预训练文本输入至模型embedding层，所述embedding层用于将所述预训练文本数据进行向量化，得到对应的输入向量序列。
[0092]
示例性的，针对预训练文本语料库中的句子：“edg won the world championship and i was so excited”，可以对该句子进行分词，得到“edg”，“won”，“the”，“world”，“championship”，“and”，“i”，“was”，“so”，“excited”。进而可以通过embedding层转化为对应的输入向量序列表示：x＝{x1,x2,...,xn}，xn表示第n个词对应的词向量。
[0093]
然后将得到的输入向量序列分别输入两层的双向长短期记忆神经网络层(bilstm)和两层的自注意力机制层(self-attention)分别获取所述预训练文本数据的句法相关特征及语义相关特征。
[0094]
接着，bilstm用与对所述输入向量序列进行特征转换，得到所述预训练文本数据句子对应的隐藏状态特征，其中bilstm能够捕捉各个词在句子中的上下文依赖关系，得到句子整体序列信息，示例性的，所得到的所述对应隐藏状态特征可以表示为hn＝{h1,h2,...,hn}，hn表示第n个词对应的隐藏状态特征表示。
[0095]
self-attention用于对所述输入向量序列进行语义特征提取，得到所述预训练文本数据句子对应的语义特征，其中所述自注意力机制层可以并行的计算基于自注意力机制子神经网络的每一对元素的注意力得分，区别于bilstm依赖于外部标签信息，self-attention通过关注句子内部信息计算词级关系，将一个自注意力层计算得到句子注意力得分矩阵a
sem
∈rn×n，得到的注意力得分矩阵更多关注的句子内部信息，注意力得分矩阵的计算方式采用现有技术，具体的，可以通过如下公式计算注意力得分矩阵a
sem
：
[0096][0097][0098]
其中，q和k均等于上述输入向量序列表示，wq和wk均表示可学习的参数权重矩阵，dk表示缩放系数，d表示输入向量序列的维度，g表示注意力通道数，t表示转置。
[0099]
然后，将已得到的两层输出句法相关特征、两层输出语义相关特征以及embedding层输出的输入向量序列通过特征连接层进行向量拼接。再将特征连接层的连接特征向量输入至注意力机制层得到带有所述预训练文本数据的文本表示向量，最后将所述文本表示向量输入至softmax层归一化得到最终的预测标签值。
[0100]
具体的attention层用于对所述预训练文本数据句子中关键特征给予更高权重，得到最后的文本表示向量。可以通过如下公式计算关键文本表示向量v：
[0101]et
＝h
t
wa[0102][0103][0104]
其中，h
t
是单词在时间步长t的表示，wa是attention层的权重矩阵，a
t
是时间步长t的重要性分数，通过将单词在时间步长t的表示h
t
与权重矩阵wa相乘再进行归一化构建单词的概率分布得出；最后，以重要性分数ai为权重，对所有时间步长的单词表示进行加权求和得到文本的表示向量v。
[0105]
s3：将s1中预处理的有标注社交文本数据输入至预训练模型，通过链式解冻方法更新预训练模型的参数，训练得到社交文本情感分类器；参见图4，将上述预处理的有标注社交文本输入s2中所述的预训练模型，通过链式解冻方法逐层微调模型参数并根据提供的标注情感分类类别修改输出维度，使得softmax层输出维度等同于情感类别数量*情感类别概率分布，需要说明的是，在实际的训练过程中，预训练部分所输出的维度与需要预测的表情符号数量是相同的，即softmax层输入向量(t*x)通过归一化后输出维度应为(表情符号类别数量*对应类别概率分布)以此来得知预测概率最高的表情符号是哪一个。同理在模型微调预测情感部分，需要修改softmax层的输出维度，已确保输出的向量维度为(情感类别数量*对应类别概率分布)以此来得到预测概率最高的情感类别是哪一个。因此在代码中更改输出维度只需修改该层的参数，不需要做特殊的变换。得到社交文本情感分类器模型可以包括：
[0106]
根据上述有标注的社交文本标签种类修改softmax层的输出维度，可选的对模型的损失函数进行修改：
[0107][0108]
其中，n表示在所述s1预处理阶段所选择的作为预训练类别标签的非重复表情数量，yi表示预测文本实际含有第i个表情的有无，其含有第i个表情则yi为1，反之为0；表示预测文本预测含有第i个表情的概率，30个标签的概率总和为1。
[0109]
将上述有标注的社交文本输入至预训练模型，通过链式解冻方法首先调整并更新最顶层的参数至结果最优，随后从embedding层向上逐层训练调整参数，最后解冻模型所有层并训练更新参数，得到社交文本情感分类器。
[0110]
s4：将需要进行情感分类的社交文本输入至社交文本情感分类器，得到预测情感类别。
[0111]
通过以上技术方案，本发明提出了一种将表情符号作为预训练模型分类标签来对文本数据做预训练的方法，该预训练模型使得表情符号丰富的情感信息能够在预训练过程中融入到纯文本单词特征表示中，克服了社交文本与表情符号分割处理导致情感信息遗失的局限性，提升对社交文本的分类准确度。
[0112]
实施例2
[0113]
本发明还提供一种融合表情符号的社交文本情感分析装置，所述装置包括：
[0114]
数据预处理模块，用于将无标注含表情文本数据和有标注社交文本数据做预处理，获取预训练文本数据，并将其中的表情符号提取作为预训练标签；
[0115]
预训练模块，用于搭建基于长短期记忆子神经网络和自注意力机制子神经网络的神经网络模型对所述数据预处理模块中预训练文本数据进行预训练，得到以表情符号为预测标签的预训练模型；
[0116]
迁移学习模块，用于将数据预处理模块中预处理的有标注社交文本数据输入至预训练模型，通过链式解冻方法更新预训练模型的参数，训练得到社交文本情感分类器；
[0117]
情感预测模块，用于将需要进行情感分类的社交文本输入至社交文本情感分类器，得到预测情感类别。
[0118]
具体的，所述数据预处理模块，还用于：
[0119]
将含表情符号的文本数据作为无标注含表情文本数据以及带有情感标注的社交文本数据作为有标注社交文本数据；
[0120]
过滤无标注含表情文本数据以及有标注社交文本数据中的噪声数据，所述噪声数据包括链接、转发符号以及用户名；
[0121]
对过滤噪声数据之后的数据中包含多个表情符号的文本进行复制，使得每个复制文本仅包含原始文本中的单个非重复的表情符号并删除原始文本；
[0122]
统计并选取所有文本数据中出现频率前n位的表情符号保留其对应的纯文本数据作为预训练文本数据；将预训练文本数据的表情符号提取出来作为其对应文本的唯一预训练标签。
[0123]
具体的，所述神经网络模型包括embedding层、两层的双向长短期记忆神经网络层、两层的自注意力机制层、特征连接层、单层的注意力机制层以及softmax层，所述embedding层接收预训练文本数据，embedding层的输出端分别与两层的双向长短期记忆神经网络层以及两层的自注意力机制层的输入端连接，embedding层的输出端、两层的双向长短期记忆神经网络层以及两层的自注意力机制层的输出端均与特征连接层的输入端连接，特征连接层的输出端与单层的注意力机制层的输入端连接，单层的注意力机制层的输出端与softmax层连接。
[0124]
更具体的，所述预训练模块，还用于：
[0125]
将所述预训练文本数据输入至预训练模型的embedding层，得到所述预训练文本数据的输入向量序列；
[0126]
将所述输入向量序列分别输入至两层的双向长短期记忆神经网络层及两层的自注意力机制层，分别得到所述预训练文本数据的句法相关特征和语义相关特征；
[0127]
将所述两层的双向长短期记忆神经网络层及两层的自注意力机制层的每层输出特征向量与embedding层输出的输入向量序列进行向量拼接，得到所述预训练文本数据的连接特征向量；
[0128]
将所述连接特征向量输入至单层的注意力机制层，所述单层的注意力机制层用于让模型训练期间关注所述预训练文本数据句子的关键特征，给予关键特征更高的权重，得到所述预训练文本数据的文本表示向量；
[0129]
将所述文本表示向量输入softmax层进行归一化处理得到所述预训练文本数据句子的预测表情类别标签；
[0130]
基于所述预测表情类别标签与对应文本实际含有表情结果的差异，计算所述预训练模型对应的第一损失函数，更新所述预训练模型中各模块的参数，训练并完成最终的预训练模型。
[0131]
更具体的，所述第一损失函数的表达式为
[0132][0133]
其中，n表示在所述s1预处理阶段所选择的作为预训练类别标签的非重复表情数量，yi表示预测文本实际含有第i个表情的有无，若含有第i个表情则yi为1，反之为0；表示预测文本预测含有第i个表情的概率，n个表情标签的预测概率总和为1。
[0134]
更具体的，所述文本表示向量的计算方式为：
[0135]et
＝h
t
wa[0136][0137][0138]
其中，h
t
是单词在时间步长t的表示，wa是单层的注意力机制层的权重矩阵，a
t
是时间步长t的重要性分数；t为总的时间步长。
[0139]
更具体的，所述迁移学习模块，还用于：
[0140]
基于所述有标注社交文本数据的标注情感类别种类调整s2中预训练模型softmax层输出维度，使得softmax输出维度为情感类别数量*对应类别概率分布；
[0141]
将所述有标注社交文本数据输入至s2中的预训练模型得到社交文本的分类结果；
[0142]
基于所述有标注社交文本数据实际情感标签与模型预测标签结果的差异，计算所述神经网络模型对应的第二损失函数，通过链式解冻方法更新所述神经网络模型中各模块的参数，训练得到最终的社交文本情感分类器；
[0143]
所述链式解冻方法为：训练过程中首先微调模型最顶层参数，再从模型embedding层向上逐层调整参数至最优结果，最后训练并更新模型所有层的参数。
[0144]
更具体的，所述第二损失函数的表达式为：
[0145][0146]
其中，n表示在所述s1预处理阶段所选择的作为预训练类别标签的非重复表情数量，yi表示预测文本实际含有第i个表情的有无，其含有第i个表情则yi为1，反之为0；表示预测文本预测含有第i个表情的概率，n个标签的概率总和为1。
[0147]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例
对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。