情绪识别方法、系统、电子设备和存储介质与流程

本发明涉及智能语音，尤其涉及一种情绪识别方法、系统、电子设备和存储介质。

背景技术：

1、在人类的思维与行为中，情绪有着特别重要的作用。虽然可以用大量的词语来描述和区分人类的情绪，比如快乐、恐惧、悲伤、愤怒等情绪，但要准确地辨认出人类的情绪，对于机器，乃至人类而言，仍然是一项具有挑战的工作。许多研究表明，面部表情、语言、脑电信号、眼动追踪信号、心电等都是反映人类情绪状态的重要非生理和生理信号模态。

2、近年来，各种情绪诱发素材被用于情绪识别研究，获取用户的情绪来为用户提供针对性的个性化服务。情绪诱发是指在社会心理学实验中，通过情绪诱发素材来激发被试者的对应情绪。

3、具体地，情绪诱发素材可分为静态素材(例如，照片、图片等)与动态素材(例如电影，音乐等)。动态素材是现有技术被广泛采用的一类诱因，它具有强烈的、丰富的情绪和明显的诱发效应；静态素材的情绪相对稳定，可以确定出可控的情绪。例如可以在观看电影时记录了被试者的脑电图信号。也可以利用微笑和哭泣的面部表情照片来激发被试者的快乐和悲伤的情绪。

4、在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

5、动态素材的缺点是其物理性质的复杂性和不可控制性以及后期采集的生理信号难以追溯。例如，电影中包含大量的场景变化、亮度变化、叙事发展或信息阵列中的其他动态变化，这些变化可能会使对诱发的情感反应的解释复杂化；并且例如电影的动态素材中也会引入噪声，很难用复杂的刺激动态连续准确地注释情绪。静态素材的缺点是静态图片的情感薄弱，很难激发被试者的情感。

技术实现思路

1、为了至少解决现有技术中动静态素材在情绪识别中的上述例举缺陷的问题。第一方面，本发明实施例提供一种情绪识别方法，包括：

2、利用脑电采集设备和眼动仪采集被试者在观看情绪诱发绘画素材期间的脑电信号和眼动数据；

3、通过所述脑电信号在时间域、频率域的频谱确定用于反映脑电信号中不同频带随时间的能量变化的微分熵特征；

4、将所述微分熵特征输入至情绪识别模型，通过所述情绪识别模型内的图神经网络模块处理所述微分熵特征得到脑电拓扑；

5、将所述脑电拓扑与所述眼动数据拼接输入至所述情绪识别模型内的深度自编码模块，输出情绪融合特征；

6、利用所述情绪识别模型内的多层感知机确定所述融合特征的情绪分类结果。

7、第二方面，本发明实施例提供一种情绪识别系统，包括：

8、数据采集程序模块，用于利用脑电采集设备和眼动仪采集被试者在观看情绪诱发绘画素材期间的脑电信号和眼动数据；

9、特征确定程序模块，用于通过所述脑电信号在时间域、频率域的频谱确定用于反映脑电信号中不同频带随时间的能量变化的微分熵特征；

10、脑电拓扑确定程序模块，用于将所述微分熵特征输入至情绪识别模型，通过所述情绪识别模型内的图神经网络模块处理所述微分熵特征得到脑电拓扑；

11、融合程序模块，用于将所述脑电拓扑与所述眼动数据拼接输入至所述情绪识别模型内的深度自编码模块，输出情绪融合特征；

12、情绪识别程序模块，用于利用所述情绪识别模型内的多层感知机确定所述融合特征的情绪分类结果。

13、第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的情绪识别方法的步骤。

14、第四方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明任一实施例的情绪识别方法的步骤。

15、本发明实施例的有益效果在于：选用了特定的绘画作为情绪诱发素材，避免动态素材难以准确注释情绪，也能使静态素材的绘画有足够的情感表示，便于激发被试者的情感。利用图神经网络所提取的特征能更好地提取在时间、空间上的信息特征，利用深度自编码器所学习到的脑电眼动融合特征比单纯的向量拼接更有效。并且可以得到更高的情绪分类准确率。

技术特征：

1.一种情绪识别方法，包括：

2.根据权利要求1所述的方法，其中，所述情绪识别模型的训练方法包括：

3.根据权利要求2所述的方法，其中，所述深度自编码模块由互为对称的编码器与解码器构成。

4.根据权利要求1所述的方法，其中，在所述利用脑电采集设备和眼动仪采集被试者在观看情绪诱发绘画素材期间的脑电信号和眼动数据之后，对所述脑电信号进行预处理，包括：

5.根据权利要求1所述的方法，其中，所述情绪诱发绘画素材的情绪类型包括：负面情绪、中性情绪、正面情绪；

6.一种情绪识别系统，包括：

7.根据权利要求6所述的系统，其中，所述情绪识别模型的训练方法包括：

8.根据权利要求7所述的系统，其中，所述深度自编码模块由互为对称的编码器与解码器构成。

9.根据权利要求6所述的系统，其中，所述系统还包括：预处理程序模块，用于：

10.根据权利要求6所述的系统，其中，所述情绪诱发绘画素材的情绪类型包括：负面情绪、中性情绪、正面情绪；

11.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述方法的步骤。

12.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。

技术总结
本发明实施例提供一种情绪识别方法、系统、电子设备和存储介质。该方法包括：利用脑电采集设备和眼动仪采集被试者在观看情绪诱发绘画素材期间的脑电信号和眼动数据；通过脑电信号在时间域、频率域的频谱确定用于反映脑电信号中不同频带随时间的能量变化的微分熵特征；将微分熵特征输入至情绪识别模型，通过情绪识别模型内的图神经网络模块处理微分熵特征得到脑电拓扑；将脑电拓扑与眼动数据拼接输入至情绪识别模型内的深度自编码模块，输出情绪融合特征；利用情绪识别模型内的多层感知机确定融合特征的情绪分类结果。本发明实施例使用绘画便于激发被试者的情感。能更好地提取在时间、空间上的信息特征，可以得到更高的情绪分类准确率。

技术研发人员：吕宝粮,刘伟,罗帅
受保护的技术使用者：上海零唯一思科技有限公司
技术研发日：
技术公布日：2024/1/13