一种基于VR技术的情绪调节方法

本发明涉及vr，特别是一种基于vr技术的情绪调节方法。

背景技术：

1、在日常生活和工作当中，人们往往伴随着巨大的压力，由于现实生活中，当发现自己由于各种压力，导致工作效率极低时，而当天的工作却不得不在当天内完成，人们往往需要一个有效的途径去释放自己的压力，调节情绪，从而提高自己的工作效率。

2、传统的情绪调节方法，发泄的途径比较单一，主要都是通过高声呐喊，或者发声哭泣来宣泄情绪，该方法对用户使用体验不是很好，对用户的隐私的透明度过高，当发泄的人数增多，碍于面子等因素，致使人们去发泄角的意愿降低。同时发泄角的互动性比较差，不能根据不同的情况对用户提供不同的具有针对性的宣泄场景。并且，在发泄当中对墙壁的涂鸦，对运行器械，如沙袋、棉垫的损耗，需要更换，不利于节约成本。

技术实现思路

1、本发明的目的是为了解决上述问题，设计了一种基于vr技术的情绪调节方法。

2、实现上述目的本发明的技术方案为，进一步，在上述基于vr技术的情绪调节方法中，该所述方法包括以下步骤：

3、获取体验者基本的传感器数据，采集用户当前脑电信号、心电信号，得到用户当前的情绪信号数据；

4、搭建深度学习网络进行特征提取，得到脑电特征和心电特征数据，采用情绪识别模型对所述脑电特征和心电特征数据进行信号分类，得到分类结果；

5、将得到的分类结果与vr场景进行匹配，并呈现到vr设备当中；

6、采用vr设备，让用户在vr场景中进行交互体验；

7、采集用户体验情绪信号，包括体验前用户的情绪信号、体验中用户的情绪信号、体验后用户的情绪信号；

8、对所述用户体验情绪信号进行评估，同时评估体验当中前中后的情绪变化，生成体验报告。

9、进一步，在上述基于vr技术的情绪调节方法中，所述获取体验者基本的传感器数据，采集用户当前脑电信号、心电信号，得到用户当前的情绪信号数据，包括：

10、采用脑电图仪获取体验者脑电信号，通过放置在体验者头皮的电极能够检测出微弱的脑电信号，然后进行放大处理和数字化，将数据记录下来，得到脑电信号数据集；

11、采用心电信号监测设备获取体验者心电信号，通过放置在体验者身体上的需要放置10个电极片，获取心电信号数据，得到心电信号数据集。

12、进一步，在上述基于vr技术的情绪调节方法中，所述搭建深度学习网络进行特征提取，包括：

13、使用深度学习网络对采集到的脑电信号进行特征提取，得到脑电特征；

14、对心电信号预处理与特征提取，得到心电特征。

15、进一步，在上述基于vr技术的情绪调节方法中，所述使用深度学习网络对采集到的脑电信号进行特征提取，包括：

16、通过对电极彩色图像的形态学处理，可以提取出电极的像素坐标，结合相机组联合标定的结果及相关优化策略可以获取到电极的最佳空间位置，运用奇异值分解算法将所有电极点统一到一个坐标系；

17、使用相机组从5个角度对电极帽进行拍摄，保证每个电极至少被一个角度的相机组捕获；先从上下左右四个角度对电极帽进行拍摄，之后对电极帽顶部进行俯拍，捕获所有电极点；

18、通过缩放卷积神经网络层自动提取脑电情绪信号的类时频特征，通过脑电通道增强模块对各个脑电物理通道重新赋予重要性权重，增强与情绪识别任务相关的脑电通道，同时对与其不相关的脑电通道进行抑制。

19、进一步，在上述基于vr技术的情绪调节方法中，所述对心电信号预处理与特征提取，包括：

20、对心电信号预处理，去除噪声，通过采用haar小波基，对心电信号采集过程中产生的噪声干扰进行处理，基线滤波技术为离散的小波变换去噪，降低低频率的基线漂移；

21、采用小波变换算法，利用经典的mallat快速算法，对心电信号进行分解，然后再对分解后的信号进行重构；

22、通过分析心电信号小波变换的尺度和信号频率间的关系，发现心电信号的各个特征波和噪声的频谱在不同频段上具有不同的分布，来检测qrs波群，在某一尺度或某几个尺度内搜索小波变换模极大值对之间的过零点,确定r波位置，再在r波前后寻找局部模极大值对确定q波和s波；

23、心电信号的特征处理，采用提取心电信号当中的r峰的特征位置信息，主要提取的特征参数有qrs波群，j点及st间期的参数，r波的检测主要是为其他特征参数的提取提供基准，同时也常被用于计算心率及rr间期；q波和s波的检测主要用于计算j点和qrs波群起点；j点主要用于提取st间期；qrs波群起点常和j点共同用于计算qrs波群持续时间。

24、进一步，在上述基于vr技术的情绪调节方法中，所述采用情绪识别模型对所述脑电特征和心电特征数据进行信号分类，包括：

25、搭建情绪识别模型，将网络中分成两个分支，一个分支使用卷积模块用于处理脑电特征，一个分支用于处理心电特征；

26、整个网络模型包含两个卷积层、两个最大池化层，两个gru层、两个dbn层和两个全连接层，并且在全连接层之后各有一个dropout层防止过拟合的发生，其中两个卷积层均以relu作为激活函数，卷积核为3×3，最大池化层大小为2×2，步长为2×2，gru层的激活函数为tanh输出维度为128，dbn网络的中间层的激活函数为sigmoid、输出层激活函数为relu函数；

27、对搭建好的情绪识别模型进行训练。

28、进一步，在上述基于vr技术的情绪调节方法中，所述对搭建好的情绪识别模型进行训练，包括：

29、将收集到的脑电信号和心电信号数据，通过预处理模块获取到出有效地数据，并将信号数据转换成二维向量，输入到网络中；

30、使用卷积层和池化层来提取数据的局部特征，并保留数据的空间结构，并对池化层之后进行采样，最大池化可以对特征图进行采样，减少输出节点的数量，得到分辨率更高的特征图，增强网络的鲁棒性，将多个卷积层和池化层组成一个卷积模块，用于处理不同的特征层，卷积模块的输出作为后续层的输入；

31、从处理后的信号提取到特征，包括时域特征、频域特征、小波变换特征；进行卷积操作之后，得到特征图，对特征图进行池化操作，对输出的特征进行平均池化操作，在网络中全连接层中将两分支合并在一起，在其连接在一起之后输出两种特征的融合后的结果。

32、进一步，在上述基于vr技术的情绪调节方法中，所述将得到的分类结果与vr场景进行匹配，包括：

33、获取情绪识别模型输出的分类结果，根据结果的概率的高低以得分的高低表现出来，将0到1的概率值转换成模糊函数，通过映射区间映射到0到100的分数区间中，得到不同情绪的程度的细化得分；

34、在进行更细致化的程度分类之后，并且通过获取用户表单所填的内容的情绪结果进行加权，进而得出用户的确切的情绪，对细致化的情绪结果与场景进行匹配；

35、将场景通过vr头显等设备呈现给用户，通过给予不同情绪状态的用户相对应的已构建好的场景，包括焦虑情绪场景、愤怒情绪场景、紧张情绪场景、悲伤情绪场景。

36、其有益效果在于，获取体验者基本的传感器数据，采集用户当前脑电信号、心电信号，得到用户当前的情绪信号数据；搭建深度学习网络进行特征提取，得到脑电特征和心电特征数据，采用情绪识别模型对所述脑电特征和心电特征数据进行信号分类，得到分类结果；将得到的分类结果与vr场景进行匹配，并呈现到vr设备当中；采用vr设备，让用户在vr场景中进行交互体验；采集用户体验情绪信号，包括体验前用户的情绪信号、体验中用户的情绪信号、体验后用户的情绪信号；对所述用户体验情绪信号进行评估，同时评估体验当中前中后的情绪变化，生成体验报告；本发明采集脑电信号和心电信号能更加客观的判断用户情绪反应，通过情绪识别模型对用户情绪进行快速识别，采用vr技术匹配情绪调节场景，可以根据每个人的需求和背景提供个性化的情境，创建逼真的环境和情境，使用户感觉自己身处其中，更加隐私、效率更高、互动性强。