一种基于伪孪生网络的多模态情感分析方法及其系统

文档序号:38037267发布日期:2024-05-17 13:24阅读:来源:国知局

技术特征:

1.一种基于伪孪生网络的多模态情感分析方法,其特征在于所述方法包括以下步骤:

2.根据权利要求1所述方法,其特征在于步骤二中,所述脑电特征采用脑电信号的微分熵特征。

3.根据权利要求1或2所述方法,其特征在于步骤二中,所述眼电特征采用眼电信号的均值、标准差、一阶和二阶差分的均值和标准差、归一化长度密度特征和hjorth特征的拼接结果。

4.根据权利要求1所述方法,其特征在于步骤四中,所述eeg处理模块包括三个路径、输出层,分别为自下而上路径、自上而下路径和横向连接;

5.根据权利要求4所述方法,其特征在于步骤四所述自下而上路径中,第一至第三卷积块结构相同均包括依次串联的深度可分离卷积、批量归一化和丢弃层,其中所述深度可分离卷积包括串联的深度卷积和逐点卷积;具体是:

6.根据权利要求4所述方法,其特征在于步骤六中,所述加权融合模块具体表示如下:

7.根据权利要求1所述方法,其特征在于所述伪孪生网络的损失函数l具体是:

8.实现权利要求1-7任一项所述方法的多模态情感分析系统,其特征在于包括:

9.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-7中任一项所述的方法。

10.一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-7中任一项所述的方法。


技术总结
本发明提出一种基于伪孪生网络的多模态情感分析方法及其系统。该方法利用整合深度可分离卷积策略的金字塔网络作为脑电的处理模块,挖掘并融合多个尺度的脑电的时间和空间情感感知特征,提炼更深度更有效的脑电内在本征特征;同时,利用两个全连接网络层作为眼电处理模块提取眼电的行为特征。此外,为了进一步学习模态间的关系,本发明使用含有双分支子网的伪孪生网络变换每个模态的情感特征,并在该模块中使用相似性约束将不同模态的特征协调到相似的超空间中。然后采用特征融合,学习不同模态对情感识别的权重参与到模型分类决策,实现多模态情感特征的一致性和互补性,从而提高模型的性能和泛化能力。

技术研发人员:孔万增,殷燕燕,唐佳佳
受保护的技术使用者:杭州电子科技大学
技术研发日:
技术公布日:2024/5/16
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1