本发明涉及人工智能，尤其涉及一种多模态方面级情感分析方法。
背景技术：
1、随着互联网的发展，社交媒体平台成为人们发表言论和观点的主要阵地，高效地识别用户对重要组织、重要人物等方面的情感对平台治理用户的不当言论、建模用户偏好以实现精准的个性化推荐有重要的实用意义。同时也有助于监控消费者行为、评估产品质量、监控舆情、调研市场等。
2、多模态方面级情感分析通过分析用户发表的多模态帖子，识别用户描述的所有对象即方面词并推测它们对应的情感。在多模态细粒度情感分类场景中，用户帖子往往包含多个方面词且情感不一致，且输入的文本-图像对往往是复杂的，增加了情感分析的难度。首先，句子的语义复杂增加了不同方面词情感的混淆。其次，图像包含大量的细节信息，但往往只与其中一个或几个方面词相关，对图像不恰当的关注容易误导最后的情感分类。考虑到多模态输入，现有的方法致力于关联图像和文本内容，主要采用的方法有：利用图文关系决定是否在情感分析中考虑图像的信息、对齐图像和文本的物体特征表示。
3、现有方法中首先未能对齐图片区域和相关的方面词，粗粒度的整张图片和方面词的对齐引入了与方面词不相关的图像噪音，其次，这些方法忽略了句子结构复杂时，不同方面词的观点描述相互干扰，文本噪音影响了最终的情感预测。
技术实现思路
1、本发明提供一种多模态方面级情感分析方法，旨在解决现有的图文粗粒度对齐和去除结构复杂引入的噪音，分别面向方面词的语义信息和情感信息检测，降低噪音提升准确率。
2、本发明提供一种多模态方面级情感分析方法，包括如下步骤：
3、s100：采集带有用户情感倾向的方面词的数据并对所述数据进行预处理，生成所述数据对应的语法依赖树，并抽取预处理后的所述数据的多模态特征；
4、s200：搭建用于对齐所述方面词的所述多模态特征的方面词注意模块，并通过所述方面词注意模块获取与所述方面词相关的方面词语义信息，生成语义特征；
5、s300：根据所述多模态特征和所述语法依赖树构建第一卷积网络，并构建多模态权重关联矩阵，通过所述多模态权重关联矩阵对所述第一卷积网络迭代更新；
6、s400：引入所述语义特征对应的情感值，并使用所述第一卷积网络对带有所述情感值的所述语义特征进行训练，生成面向所述方面词的情感特征；
7、s500：根据面向所述方面词的所述语义特征和所述情感特征构建第二卷积网络，输入待识别数据并获取识别结果。
8、根据本发明提供的一种多模态方面级情感分析方法，步骤s100包括如下步骤：
9、s110：采集带有用户情感倾向方面词的数据，所述数据包括图片数据和文本数据；
10、s120：对于所述文本数据包含的所有所述方面词判断抽取到的所述方面词对应的情感倾向，生成方面词情感对；
11、s130：通过依赖树工具生成与所述文本数据对应的语法依赖树；
12、s140：处理所述图片数据，生成与所述文本数据对应的图片索引；
13、s150：将所述方面词情感对、所述语法依赖树和所述图片索引保存；
14、s160：抽取预处理后的所述数据的多模态特征。
15、根据本发明提供的一种多模态方面级情感分析方法，步骤s160包括如下步骤：
16、s161：对于所述文本数据进行序列分类处理，获取所述文本数据对应的单词嵌入式特征，并对应生成文本序列；
17、s162：对于所述图片数据进行卷积训练，获取所述图片数据对应的区域特征，并对应生成图片序列；
18、s163：通过线性层将所述区域特征的维度转为与所述单词嵌入式特征相同的维度；
19、s164：将所述文本序列拼接在所述图片序列后，生成多模态序列；
20、s165：将所述多模态序列进行编码处理，生成多模态特征。
21、根据本发明提供的一种多模态方面级情感分析方法，步骤s200中搭建用于对齐所述方面词的所述多模态特征的方面词注意模块包括如下步骤：
22、s210：在文本数据中获取候选方面词，并生成候选方面词信息；
23、s220：对所述候选方面词信息进行加权处理，生成与候选方面词信息对应的候选方面词语义信息；
24、s230：对所述候选方面词语义信息进行动态加权处理，生成候选方面词语义特征；
25、s240：对所述候选方面词语义特征进行分类预训练，生成所述方面词注意模块。
26、根据本发明提供的一种多模态方面级情感分析方法，步骤s210还包括，根据注意力机制对获取到的所述候选方面词进行加权处理。
27、根据本发明提供的一种多模态方面级情感分析方法，s300中所述构建多模态权重关联矩阵的过程包括如下步骤：
28、s311：建立多模态布尔矩阵，所述多模态布尔矩阵包括文本文本部分、图片图片部分、文本图片部分和图片文本部分；
29、s312：将所述文本文本部分中任意两文本存在联系的文本文本部分节点置为1；
30、s313：将所述图片图片部分初始化为对角矩阵；
31、s314：当任一文本图片部分或图片文本部分中的文本为所述候选方面词时，将该文本图片部分节点或图片文本部分节点置为1；
32、s315：通过余弦相似度计算不同节点之间的关联强度，生成多模态权重关联矩阵。
33、根据本发明提供的一种多模态方面级情感分析方法，步骤s312中，根据所述语法依赖树小于等于两代内的文本数据，判断所述文本文本部分中两文本是否存在联系。
34、本发明提供的一种多模态方面级情感分析方法，通过将名词短语作为候选方面词引导注意的方法，多模态中考虑到不同的图片区域关联到不同的方面词，不同的文本描述观点关联到不同的方面词，且各类型信息之间关联程度不同的性质，聚焦于检测方面词对应的图文信息，削弱了与体现情感不相关的图片区域和文字描述的噪音，减少了对特定方面词用于情感判断的干扰，有效地提高了情感分析的准确度和效率。
35、本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
1.一种多模态方面级情感分析方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种多模态方面级情感分析方法，其特征在于，步骤s100包括如下步骤：
3.根据权利要求2所述的一种多模态方面级情感分析方法，其特征在于，步骤s160包括如下步骤：
4.根据权利要求1所述的一种多模态方面级情感分析方法，其特征在于，步骤s200中搭建用于对齐所述方面词的所述多模态特征的方面词注意模块包括如下步骤：
5.根据权利要求4所述的一种多模态方面级情感分析方法，其特征在于，步骤s210还包括，根据注意力机制对获取到的所述候选方面词进行加权处理。
6.根据权利要求4所述的一种多模态方面级情感分析方法，其特征在于，步骤s300中所述构建多模态权重关联矩阵的过程包括如下步骤：
7.根据权利要求6所述的一种多模态方面级情感分析方法，其特征在于，步骤s312中，根据所述语法依赖树小于等于两代内的文本数据，判断所述文本文本部分中两文本是否存在联系。