基于情感识别的情感交流方法与流程

本发明属于情感识别，具体涉及一种基于情感识别的情感交流方法。

背景技术：

1、目前，情感表达障碍的患者(如自闭症患者、精神障碍患者等)面临情感沟通上的困难。现有技术方案主要依赖语音识别、脑机接口技术和情感识别技术。这些技术方案通常集中于语言表达或外部生理特征的分析。

2、现有技术的主要缺陷在于：情感识别的准确性较低，尤其对于面部表情或语音表达有限的患者，情感识别精度较差。且大多数方案仅依赖单一信号来源，无法全面理解患者的情感状态。

技术实现思路

1、本发明提供了基于情感识别的情感交流方法解决上述提到的技术问题，具体采用如下的技术方案：

2、一种基于情感识别的情感交流方法，包含：

3、采集患者的多模态生物信号；

4、对采集的多模态生物信号进行预处理；

5、基于预处理后的多模态生物信号获取多模态融合特征值；

6、基于预处理后的多模态生物信号获取情感强度特征；

7、基于多模态融合特征值，通过训练好的分类模型输出情感分类结果；

8、基于情感分类结果和情感强度特征确定反馈策略。

9、进一步地，所述采集患者的多模态生物信号的具体方法为：

10、采集患者的脑电信号、肌电信号和面部表情数据。

11、进一步地，所述对采集的多模态生物信号进行预处理的具体方法为：

12、对脑电信号、肌电信号和面部表情数据进行降噪处理。

13、进一步地，所述基于预处理后的多模态生物信号获取多模态融合特征值的具体方法为：

14、根据下述公式计算脑电状态特征值；

15、

16、其中，eeeg是脑电状态特征值，psdi是每个频段的功率谱密度，ai是各个频段的权重系数；

17、根据下述公式计算肌电状态特征值；

18、

19、其中，eemg是肌电状态特征值，|emgi|是肌电信号的幅度，bi是每个肌电信号的权重系数；

20、根据下述公式计算表情状态特征值；

21、

22、其中，eface是表情状态特征值，aui是面部动作单元的强度，ci是每个面部动作单元在不同情感状态中的权重；

23、通过下述公式计算出多模态融合特征值：

24、efea＝w1*eeeg+w2*eemg+w3*eface

25、其中，efea是融合后的多模态融合特征值，w1,w2,w3分别为对应的权重系数。

26、进一步地，根据患者的实际情况，确定权重系数w1,w2,w3，以计算多模态融合特征值；

27、在采集数据对分类模型进行训练时，通过统一预设的权重系数w1,w2,w3，以计算多模态融合特征值。

28、进一步地，所述基于预处理后的多模态生物信号获取情感强度特征的具体方法为：

29、根据下述公式计算脑电情感强度特征；

30、

31、其中，ieeg为脑电情感强度特征，p(fi)为不同频段fi的功率谱密度；

32、根据下述公式计算肌电情感强度特征；

33、

34、其中，iemg为肌电情感强度特征，emgj表示第j时刻肌电信号幅度，n是信号采样点数：

35、根据下述公式计算表情情感强度特征；

36、

37、其中，iface为表情情感强度特征，auk表示第k个面部动作单元的强度，wk是该动作单元对应的权重值；

38、通过下述公式计算出情感强度特征：

39、itotal＝k1*ieeg+k2*iemg+k3*iface

40、其中，itotal是融合后的情感强度特征，k1，k2，k3分别为对应的权重。

41、进一步地，所述基于情感分类结果和情感强度特征确定反馈策略的具体方法为：

42、通过显示装置向沟通者显示与情感分类结果和情感强度特征相匹配的图像内容；

43、通过触觉装置向沟通者输出与情感分类结果和情感强度特征相匹配的触觉指示。

44、进一步地，所述图像内容包含图像、颜色和动态图案中的一种或多种。

45、进一步地，所述触觉装置为供用户佩戴的智能手环，智能手环能够输出与情感分类结果和情感强度特征相匹配的不同等级的震动或不同等级的温度。

46、进一步地，所述基于情感分类结果和情感强度特征确定反馈策略的具体方法还包含：

47、通过语音装置向患者播放与情感分类结果和情感强度特征相匹配的语音内容。

48、本发明的有益之处在于所提供的基于情感识别的情感交流方法，通过创新的多模态脑机接口技术与情感识别技术相结合，能够综合脑电、肌电和面部表情等多种信号，提供更加精准的情感识别和沟通。该技术不仅提升了情感沟通的准确性和互动性，还突破了传统情感识别技术的局限，特别适用于无法言语的患者，为情感表达障碍患者提供了更自然、有效的情感沟通手段。

技术特征：

1.一种基于情感识别的情感交流方法，其特征在于，包含：

2.根据权利要求1所述的基于情感识别的情感交流方法，其特征在于，包含：

3.根据权利要求2所述的基于情感识别的情感交流方法，其特征在于，包含：

4.根据权利要求2所述的基于情感识别的情感交流方法，其特征在于，包含：

5.根据权利要求4所述的基于情感识别的情感交流方法，其特征在于，包含：

6.根据权利要求2所述的基于情感识别的情感交流方法，其特征在于，包含：

7.根据权利要求1所述的基于情感识别的情感交流方法，其特征在于，包含：

8.根据权利要求7所述的基于情感识别的情感交流方法，其特征在于，包含：

9.根据权利要求7所述的基于情感识别的情感交流方法，其特征在于，包含：

10.根据权利要求7所述的基于情感识别的情感交流方法，其特征在于，包含：

技术总结
本发明公开了一种基于情感识别的情感交流方法，包括：采集患者的多模态生物信号；对采集的多模态生物信号进行预处理；基于预处理后的多模态生物信号获取多模态融合特征值；基于预处理后的多模态生物信号获取情感强度特征；基于多模态融合特征值，通过训练好的分类模型输出情感分类结果；基于情感分类结果和情感强度特征确定反馈策略。本发明的基于情感识别的情感交流方法，通过创新的多模态脑机接口技术与情感识别技术相结合，能够综合多种生物信号，提供更加精准的情感识别和沟通。该技术不仅提升了情感沟通的准确性和互动性，还突破了传统情感识别技术的局限，特别适用于无法言语的患者，为情感表达障碍患者提供了更自然、有效的情感沟通手段。

技术研发人员：崔正哲,李鹏,万小姣,杨岭,王少尉,姚志安
受保护的技术使用者：浙江迈联医疗科技有限公司
技术研发日：
技术公布日：2025/4/7