一种可用于情绪状态监测及调节的头戴式耳机

本发明涉及一种可用于情绪状态监测及调节的头戴式耳机。特别是涉及一种基于边缘计算技术和深度学习算法的一种可用于情绪状态监测及调节的头戴式耳机。

背景技术：

1、情绪健康是我们身心健康的重要组成部分。它影响着我们的思考、决策、社交和整体幸福感。维持情绪健康不仅有助于提高生活质量，还能帮助我们更好地应对压力和挑战。

2、监测情绪状态对于有效管理情绪健康至关重要。而使用脑电(eeg)信号作为一种监测工具，可以提供更准确、客观的情绪数据。通过eeg信号监测，我们可以更好地理解自己的情绪反应模式。这种技术可以帮助我们追踪情绪变化，并在需要时及时采取适当的措施，例如进行情绪调整、寻求支持或寻求专业帮助。

3、边缘计算，是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。其应用程序在边缘侧发起，产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。近年来，边缘计算技术的快速发展，使得在日常可穿戴设备上运行轻量级深度学习模型成为了可能。从使用可穿戴设备对使用者的情绪状态进行监测角度来说，使用边缘计算技术在可穿戴设备中运行深度学习算法来处理使用者的eeg脑电信号数据可以更加科学、准确地评估使用者的情绪状态，同时很好的对使用者的隐私数据进行保护，满足隐私保护方面的需求。

4、深度学习技术是一种基于神经网络的机器学习方法，通过多层次的神经网络结构，可以自动学习和提取数据中的特征，从而实现高精度的数据分析和模式识别。在分析eeg信号进行情绪监测方面，深度学习技术发挥重要作用。通过训练深度神经网络模型，可以将脑电信号与情绪之间建立有效的联系。深度学习模型能够自动学习脑电信号中的复杂空间和时间模式，可以有效提高情绪监测的准确性和效率。此外，深度学习模型可以结合多种神经网络架构，如卷积神经网络(cnn)、循环神经网络(rnn)等，从而更好地捕捉脑电信号的时序特征。这种时序建模能力可以提升情绪监测的时效性和动态性。

技术实现思路

1、本发明所要解决的技术问题是，提供一种可用于情绪状态监测及调节的头戴式耳机。

2、本发明所采用的技术方案是：一种可用于情绪状态监测及调节的头戴式耳机，包括集成在头戴式耳机上的eeg信号采集模块(1)、情绪监测模块(2)以及情绪调节模块(3)，其特征在于，所述的eeg信号采集模块(1)从头戴式耳机的使用者大脑采集eeg信号；所述的情绪监测模块(2)提出一个时-频域特征联合学习框架tffjl-framework，分析采集到的eeg信号，持续监测使用者的情绪效价值；所述的情绪调节模块(3)根据情绪监测模块(2)的识别结果控制头戴式耳机的发声单元发出特定频率的声波对使用者的情绪进行调节。

3、所述的eeg信号采集模块(1)，包括有：用于为供电的供电模块(11)、用于采集eeg信号的脑电采集电极(12)、用于eeg信号数模转换的生物电信号数模转换器(13)、用于控制eeg信号采集并传输给情绪监测模块(2)的mcu处理器(14)，所述的供电模块(11)使用头戴式耳机的耳机线供电，通过电压转换芯片得到各模块上的不同芯片所需的不同工作电压，为各个模块供电；所述的脑电采集电极(12)集成在头戴式耳机的头梁上，共8个，分布的位置为10～20国际标准导联的电极分布中的t7、t8、c3、cz、c4、pz、cp1、cp2，电极通过导线连接到生物电信号数模转换器(13)，采集不同脑区的eeg信号；所述的生物电信号数模转换器(13)内置可编程增益放大器(pga)、内部基准、片上振荡器，对eeg信号进行数模转换；所述的mcu处理器(14)基于cortex-m7内核，工作频率400mhz，使用spi总线与生物电信号数模转换器(12)通讯，负责控制生物电信号数模转换器(12)以固定的采样频率f＝500hz采集eeg信号并通过spi总线传输给mcu处理器(14)，传输完毕后mcu处理器(14)将eeg信号通过can总线传输给情绪监测模块(2)。

4、所述的情绪监测模块(2)使用一颗集成了多核cortex-a76内核和多核cortex-a55内核cpu以及嵌入式神经网络处理器的通用型soc芯片作为核心处理器，核心处理器中部署了一个提出的时-频域特征联合学习框架tffjl-framework来学习使用者的eeg信号中与情绪相关的时频特征，得到使用者一段时间内的情绪效价值时间序列，监测使用者情绪状态，随后通过can总线将情绪效价值时间序列传输给情绪调节模块(3)。

5、所述的时-频域特征联合学习框架tffjl-framework是一个双分支并行深度学习框架，提出了一个频域特征学习分支flb、一个时域特征学习分支tlb以及一个门控回归模块grm，频域特征学习分支flb和时域特征学习分支tlb并行运算分别学习eeg信号中与情绪相关的频域特征和时域特征，门控回归模块grm利用门控机制融合频域特征和时域特征并得出最终的情绪效价值时间序列监测结果。

6、提出的频域特征学习分支flb负责学习eeg信号的频域特征，由频带功率提取模块、格拉姆场变换模块、频率通道卷积模块以及高级语义特征学习模块串联构成，所述的频带功率提取模块使用welch功率谱密度提取法对eeg信号进行频带功率提取，频带功率提取的窗口大小为2秒，步长为0.25s，得到8个电极的eeg信号的δ频带(0.3-5hz)、θ频带(5-8hz)、α频带(8-12hz)、β1频带(12-18hz)、β2频带(18-30hz)以及γ频带(30-45hz)、的频带功率，即若干帧48维的频域特征序列；所述的格拉姆场变换模块对这若干帧频域特征序列逐帧进行格拉姆角场变换，将一维的序列信息变换为二维的图像信息，格拉姆角场变换算法的具体步骤如下：

7、1)将eeg信号的频带功率序列中的某一帧数据x＝{x1,x2,...,x48}归一化到区间[-1,1]，归一化后的数据记为x′＝{x′1,x′2,...,x′48}。

8、2)将归一化的数据转换为极坐标，包含极角σi＝cos-1xi′和极轴ri＝ti/n，xi′代表该数据点的归一化值，ti代表序列位置。

9、3)定义两个序列点之间的内积为<xi,xj>＝cos(σi+σj)，使用内积计算得到格拉姆矩阵为：

10、

11、这个带有自定义内积的矩阵就是格拉姆角场变换算法的结果，这是一个48×48的方阵，最后将48维的频域特征序列变换为48×48×1维的图像数据；所述的频率-空间卷积模块对格拉姆场变换模块输出的图像数据进行卷积操作，频率-空间卷积模块依次包括：

12、1)一个数据输入层，输入数据即格拉姆场变换模块输出的图像数据；

13、2)一个频域卷积层，由30个二维卷积核构成，该层提取eeg信号的频域特征，因此根据eeg信号的六个频带以及格拉姆矩阵的数据排布，卷积核大小设计为6×6，卷积步长设计为6×6，采用prelu作为激活函数其中λ1为通过训练得到的参数，该层对每个通道在格拉姆矩阵中对应的6×6矩阵进行卷积，提取频域特征；

14、3)一个批量归一化层，对数据进行批量归一化操作，加速模型训练过程，减轻过拟合程度；

15、4)一个空间卷积层，由30个二维卷积核构成，该层提取eeg信号的空间特征，因此根据eeg信号采集的电极数量和空间模式，卷积核大小设计为8×1，卷积步长设计为1×1，采用prelu作为激活函数其中λ2为通过训练得到的参数；

16、5)一个批量归一化层，对数据进行批量归一化操作，加速模型训练过程，减轻过拟合程度；

17、6)一个dropout层，以概率p1随机选择上一层的神经元使其不输出，p1＝0.25；

18、7)一个flatten层，将多维数据一维化，得到高级语义特征序列。

19、频率空间卷积模块通过卷积提取包含在图像数据中的频率特征和空间特征，最终得到高级语义特征序列；

20、所述的高级语义特征学习模块由一个带sigmoid门控机制的lstm网络和一个带sigmoid门控机制的tcn网络并联组成，lstm网络和tcn网络分别对高级语义特征序列进行学习，得到学习结果后通过一个sigmoid门控函数得到学习结果的门控权重，将门控权重与学习结果相乘得到最终学习结果，将lstm网络和tcn网络的最终学习结果相加得到频域特征学习分支flb学习到频域特征。

21、提出的时域特征学习分支tlb负责学习eeg信号的时域特征，该分支由时间-空间卷积模块和高级语义特征学习模块串联构成，所述的时间-空间卷积模块模块直接对原始eeg信号进行卷积操作，时间-空间卷积模块依次包括：

22、1)一个数据输入层，输入原始eeg信号；

23、2)一个多时间尺度卷积层，由45个尺寸不同的二维卷积核构成，该层提取eeg信号的时域特征，因此根据eeg信号的采样频率f，设计了1×0.5f、1×0.25f、1×0.125f三种大小各15个卷积核，卷积步长设计为1×1，采用prelu作为激活函数其中λ3为通过训练得到的参数，三种大小的卷积核并行对eeg信号进行卷积，提取不同时间尺度的eeg信号特征；

24、3)一个注意力融合层，先对多时间尺度卷积层输出的三种尺寸的张量沿width维度拼接，然后使用15个大小为1×1、步长1×1的卷积核为每一个特征值赋予一个注意力权重。

25、4)一个批量归一化层，对数据进行批量归一化操作，加速模型训练过程，减轻过拟合程度；

26、5)一个空间卷积层，由30个二维卷积核构成，该层提取eeg信号的空间模式，因此根据eeg信号采集的电极数量和空间模式，卷积核大小设计为8×1，卷积步长设计为1×1，采用prelu作为激活函数其中λ4为通过训练得到的参数；

27、6)一个批量归一化层，对数据进行批量归一化操作，加速模型训练过程，减轻过拟合程度；

28、7)一个flatten层，将多维数据一维化，得到高级语义特征序列。

29、时间-空间卷积模块通过卷积提取包含在图像数据中的时间特征和空间特征，最终得到高级语义特征序列；

30、所述的高级语义特征学习模块由一个带sigmoid门控机制的lstm网络和一个带sigmoid门控机制的tcn网络并联组成，lstm网络和tcn网络分别对高级语义特征序列进行学习，得到学习结果后将学习结果与一个sigmoid门控函数相乘得到学习结果的门控权重，将门控权重与学习结果相乘得到最终学习结果，将lstm网络和tcn网络的最终学习结果相加得到时域特征学习分支tlb学习到时域特征。

31、提出的门控回归模块grm由门控层和回归层组成，时-频域特征联合学习框架tffjl-framework的两个分支对eeg信号进行学习后得到eeg信号的时域特征和频域特征，门控层将时域特征和频域特征分别与sigmoid门控函数相乘得到对应的门控权重，将时域特征和频域特征分别与对用的门控权重相乘然后求和得到融合结果，将融合结果输入到由一个由全连接层组成的回归层中，回归得到使用者一段时间内的情绪效价值时间序列。

32、所述的情绪调节模块(3)使用基于cortex-m3内核的mcu作为处理器，使用can总线与情绪监测模块(2)通讯，当情绪监测模块(2)发送的使用者的情绪效价值低于-1，即这段时间使用者处于消极情绪时，控制头戴式耳机的发声单元发出特定频率的声波对使用者的消极情绪进行调节，直至使用者的情绪效价值达到大于+1的水平，即具有较强的积极情绪。

33、头戴式耳机由头梁、耳罩组成，采用金属一体式机身，所述的头梁将耳机的发声单元固定在头两侧，同时eeg信号采集模块(1)和情绪监测模块(2)集成于头梁中，eeg信号采集模块(1)的脑电采集电极(12)安装于头梁下表面，头梁采用塑料外壳，下表面为记忆海绵，确保脑电采集电极(12)可以紧贴头皮；所述的耳罩为皮革材质，采用包耳式设计，发声单元和情绪调节模块(3)集成在耳罩中。