一种心理状态智能分析方法、系统、电子设备及产品与流程

本发明属于情绪识别，具体涉及一种心理状态智能分析方法、系统、电子设备及产品。

背景技术：

1、在企业管理中，关键岗位工作人员（后文简称其为“关键人员”）的心理状态（如包括压力、焦虑及抑郁等）对工作绩效、团队氛围乃至企业的长远发展具有深远影响。当前，为实现对关键人员心理状态的有效监测，面部情绪识别技术逐渐被应用于企业管理，用于分析员工的情绪变化，以为其提供心理状态的健康管理支持。现有的面部情绪识别技术主要基于图像处理及深度学习等方法，通过分析面部情绪特征，判断情绪状态（如高兴、愤怒或悲伤等），进而推测员工的情绪趋势。但是，在使用现有技术过程中，发明人发现现有技术中至少存在如下问题：

2、首先，现有技术在情绪识别精度方面存在不足，特别是在复杂工作场景下，情绪识别的效果容易受到光照、表情细微变化及遮挡等多种因素影响，同时，单纯依赖面部表情的数据源不足以反映员工的真实情绪状态，导致情绪识别结果与实际情况偏差较大，情绪识别准确度低。其次，现有技术主要对情绪状态进行简单识别，但缺乏对情绪状态与长期心理状态的动态关联分析，难以全面反映关键人员的心理状态变化，且由于情绪状态的瞬时变化和心理状态的积累性变化并非线性关系，无法通过简单的情绪识别直接推导出心理状态，导致现有技术对心理状态的预测准确性较低。最后，目前大部分现有技术依赖于历史数据进行情绪状态的静态分析，缺乏前瞻性的预警机制，无法在心理状态出现明显变化前提供预警支持，难以实现对员工心理问题的早期识别和干预。

技术实现思路

1、本发明旨在至少在一定程度上解决上述技术问题，本发明提供了一种心理状态智能分析方法、系统、电子设备及产品。

2、为了实现上述目的，本发明采用以下技术方案：

3、第一方面，本发明提供了一种心理状态智能分析方法，包括：

4、实时采集指定人员的多模态监测数据，并对所述多模态监测数据进行特征提取处理，得到多模态特征信息；

5、对所述多模态特征信息进行加权融合处理，得到所述指定人员的当前融合后情绪特征，并根据所述当前融合后情绪特征得到所述指定人员的当前情绪标签；

6、获取当前时刻前一指定历史时段的所有历史情绪标签，并根据所有历史情绪标签及所述当前情绪标签得到情绪标签时序数据；

7、将所述情绪标签时序数据输入预设的情绪与心理状态映射模型，以便基于所述情绪与心理状态映射模型得到所述指定人员的心理状态预测值；

8、根据所述心理状态预测值，对所述指定人员进行心理状态异常检测，并在所述心理状态预测值为异常时对所述指定人员进行心理状态异常预警。

9、在一个可能的设计中，基于预设的多通道卷积神经网络对所述多模态监测数据进行特征提取处理、对所述多模态特征信息进行加权融合处理以及根据所述当前融合后情绪特征得到所述指定人员的当前情绪标签；所述多通道卷积神经网络包括依次连接的输入层、多通道卷积层、特征融合层、全连接层和输出层，基于所述多通道卷积神经网络对所述多模态监测数据进行特征提取处理，得到多模态特征信息，对所述多模态特征信息进行加权融合处理，得到所述指定人员的当前融合后情绪特征，并根据所述当前融合后情绪特征得到所述指定人员的当前情绪标签，包括：

10、基于所述输入层接收所述多模态监测数据，并将所述多模态监测数据一一对应地输入所述多通道卷积层中的多个卷积通道；

11、基于所述多通道卷积层中的多个卷积通道独立处理各模态监测数据，得到多模态特征信息；

12、基于所述特征融合层将所述多模态特征信息进行加权融合处理，得到所述指定人员的当前融合后情绪特征；

13、基于所述全连接层对所述当前融合后情绪特征进行分类，以便得到所述指定人员的当前情绪标签；

14、基于所述输出层输出所述当前情绪标签。

15、在一个可能的设计中，所述多模态监测数据包括面部图像数据、声音数据和体态数据，对应地，所述多模态特征信息包括根据所述面部图像数据提取得到的面部情绪特征、根据所述声音数据提取得到的声音情绪特征以及根据所述体态数据提取得到的体态情绪特征；对应地，所述指定人员的当前融合后情绪特征为：

16、 femotion= ω1· fface+ ω2· fvoice+ ω3· fposture；

17、式中， fface为所述面部情绪特征， fvoice为所述声音情绪特征， fposture为所述体态情绪特征， ω1、 ω2和 ω3为预设的与所述多模态特征信息对应的权重；

18、所述当前情绪标签为：

19、。

20、在一个可能的设计中，所述情绪与心理状态映射模型采用长短时记忆网络。

21、在一个可能的设计中，基于所述情绪与心理状态映射模型得到所述指定人员的心理状态预测值时，所述方法还包括：

22、通过注意力机制计算所述情绪标签时序数据中各情绪标签的注意力权重；

23、利用各情绪标签的注意力权重对所述情绪标签时序数据进行加权平均处理，得到全局的情绪特征表示；

24、将所述全局的情绪特征表示输入所述情绪与心理状态映射模型中的全连接层，以便得到所述指定人员的心理状态预测值。

25、在一个可能的设计中，所述心理状态预测值为：

26、；

27、式中， wp和 bp分别为所述情绪与心理状态映射模型中全连接层的预设的权重和偏置；为预设的激活函数； hatt为所述全局的情绪特征表示。

28、第二方面，本发明提供了一种心理状态智能分析系统，用于实现如上述任意一项所述的一种心理状态智能分析方法；所述心理状态智能分析系统包括：

29、特征信息获取模块，用于实时采集指定人员的多模态监测数据，并对所述多模态监测数据进行特征提取处理，得到多模态特征信息；

30、情绪标签获取模块，与所述特征信息获取模块通信连接，用于对所述多模态特征信息进行加权融合处理，得到所述指定人员的当前融合后情绪特征，并根据所述当前融合后情绪特征得到所述指定人员的当前情绪标签；

31、心理状态预测模块，与所述情绪标签获取模块通信连接，用于获取当前时刻前一指定历史时段的所有历史情绪标签，并根据所有历史情绪标签及所述当前情绪标签得到情绪标签时序数据；还用于将所述情绪标签时序数据输入预设的情绪与心理状态映射模型，以便基于所述情绪与心理状态映射模型得到所述指定人员的心理状态预测值；

32、异常预警模块，与所述心理状态预测模块通信连接，用于根据所述心理状态预测值，对所述指定人员进行心理状态异常检测，并在所述心理状态预测值为异常时对所述指定人员进行心理状态异常预警。

33、第三方面，本发明提供了一种电子设备，包括：

34、存储器，用于存储计算机程序指令；以及，

35、处理器，用于执行所述计算机程序指令从而完成如上述任意一项所述的一种心理状态智能分析方法的操作。

36、第四方面，本发明提供了一种计算机程序产品，包括计算机程序或指令，所述计算机程序或所述指令在被计算机执行时实现如上述任意一项所述的一种心理状态智能分析方法。

37、第五方面，本发明提供了一种计算机可读存储产品，所述计算机可读存储产品上存储有指令，当所述指令在计算机上运行时，执行如上述任意一项所述的一种心理状态智能分析方法。

38、本发明的有益效果为：

39、本发明公开了一种心理状态智能分析方法、系统、电子设备及产品，可提高情绪识别的精确性和心理状态评估的准确性，同时可实现对人员心理状态异常的预警。本发明可将面部情绪特征、体态情绪特征及声音情绪特征等多模态监测数据融合，并基于多模态监测数据进行心理状态智能分析和预警，通过结合情绪的多样化特征信息，增强情绪识别的精度；同时，本发明通过预测模型准确识别心理状态的趋势，为企业关键人员提供更全面的心理健康管理和早期预警支持，进而提高对关键人员异常心理状态的提前干预能力，有助于管理层在指定人员出现心理问题的早期阶段进行干预，从而保障企业和员工的健康发展。

40、本发明的其他有益效果将在具体实施方式中进一步进行说明。