一种基于可穿戴装置的情绪识别系统及方法

本发明涉及智能穿戴和情感计算技术领域，尤其涉及一种基于可穿戴装置的情绪识别系统及方法。

背景技术：

近年来，可穿戴设备的研究越来越广泛，用于情绪监测的设备也越来越多。情绪对人类健康有重大影响。了解和调节自我情绪是一个重要的健康问题。人的情绪分为两类：正向情绪和负向情绪。处于正向情绪，身心更健康，处于负向情绪，伴随着更高概率的疾病，严重者甚至有抑郁倾向。在生理心理学研究中，人的情绪状态与生理信号有很强的相关性，这是因为生物医学信号由于受自主神经系统的控制而具有自然的情绪反应。利用生物医学信号进行情绪识别，可以方便地从传感器获取信号，这就为实时监测人的情绪提供了可能性。在基于生理信号的正负向情绪识别中，常会选择心电信号、皮电信号、脑电信号等中的一种或多种作为输入。

在生理信号中，心电信号易采集，受干扰相对较小，皮电信号和神经系统相关，能在一定程度上反映主体的压力、情绪等。在心电采集设备中，湿电极可能引发过敏反应，不利于日常检测，皮电采集位置使得日常穿戴不方便。因而，发明一种可用于日常穿戴的多功能腕带，特别是在不增加现有腕带复杂度的情况下，同时融合心电信号、皮电信号，实现准确性高、鲁棒性强的情绪预测功能，十分有必要。

技术实现要素：

为了克服现有技术存在的缺陷与不足，本发明的第一目的在于提供了一种皮电心电一体化采集装置，该装置通过共用检测心电信号、皮电信号的电极，在日常穿戴时对心电信号、皮电信号同时检测，进而识别用户的情绪。

本发明的第二目的在于提供了一种基于可穿戴装置的情绪识别系统。

本发明的第三目的在于提供了一种基于可穿戴装置的情绪识别方法。

为了达到上述第一目的，本发明采用以下技术方案：

一种皮电心电一体化传感装置，包括：用于获取采集信号的带状采集器，用于传输采集信号的无线传输模块，其中采集信号包括皮电信号、心电信号；

所述带状采集器由导电外层、绝缘夹层、导电内层形成分层结构，所述绝缘夹层分别与导电外层、导电内层连接，所述带状采集器还设有正极、负极、参考电极；

所述导电内层隔断分为两部分，形成第一导电块、第二导电块，所述第一导电块、第二导电块分别与绝缘夹层耦合，所述正极设置在第一导电块，所述参考电极设置在第二导电块，所述正极、参考电极的末端向接触导电外层方向延伸的区域周围形成绝缘块，所述负极设置在所述导电外层的任意外边缘处；

所述带状采集器通过共用正极、参考电极对心电信号和皮电信号进行采集。

作为优选的技术方案，所述第一导电块和第二导电块在导电内层对称设置。

作为优选的技术方案，所述皮电心电一体化传感装置还包括魔术贴，魔术贴设置在绝缘夹层两端边缘部分，其中魔术贴包括魔术贴勾面和魔术贴毛面，魔术贴勾面固定设置在绝缘夹层一端内侧边缘部分，魔术贴毛面固定设置在绝缘夹层另一端外侧边缘部分；

所述绝缘夹层长度长于导电层。

一种用于制备上述的皮电心电一体化传感装置的方法，包括以下步骤：

材料准备步骤：裁剪绝缘布、导电布、片胶、魔术贴，所述导电布裁成第一导电布、第二导电布、第三导电布，所述第一导电布与第二导电布尺寸相同，所述第一导电布、第二导电布用于形成导电内层，所述第三导电布用于形成导电外层，所述片胶用于连接导电外层、绝缘夹层、导电内层，所述魔术贴裁剪为魔术贴勾与魔术贴毛面；

铆合暗扣步骤：通过打孔形成暗扣槽，在第一导电布的正中间打孔形成第一暗扣槽，在第二电布的正中间打孔形成第二暗扣槽，在第三导电布的正中间打孔形成第三暗扣槽，所述第一扣槽用于铆合正极，所述第二暗扣槽用于铆合参考电极，所述第三暗扣槽用于铆合负极，在所述第三导电布上的第三暗扣槽位置的偏左和偏右处各打孔形成空孔，所述空孔用于避开内部导电布上的暗扣电极，在导电布的暗扣槽上铆合相应的暗扣电极；

导电外层贴合绝缘夹层步骤：将第三导电布热压在绝缘布上面，所述第三导电布与所述绝缘布之间放置片胶，所述导电布与绝缘布的长边两侧须留有间隙；

绝缘夹层贴合内层导电层步骤：将第一导电布、第二导电布热压在绝缘布反面，其中热压位置以第三导电布上的空孔位置为中心；

魔术贴贴合绝缘夹层步骤；将魔术贴勾面固定连接在绝缘布内侧边缘部分，将魔术贴毛面固定在绝缘布外侧边缘部分。

为了达到上述第二目的，本发明采用以下技术方案：

一种基于可穿戴装置的情绪识别系统，包括：上述的皮电心电一体化传感装置和终端处理器；

所述皮电心电一体化传感装置用于同时采集心电信号、皮电信号，将心电信号、皮电信号通过无线传输模块发送至所述终端处理器；

所述终端处理器用于根据心电信号、皮电信号进行情绪识别得到情绪标识。

作为优选的技术方案，所述终端处理器设有数据预处理模块、特征提取模块和情绪评估模块；

所述数据预处理模块，用于对心电信号、皮电信号依次进行分割处理、去噪处理、滤波处理得到心电预处理信号、皮电预处理信号；

所述特征提取模块，用于提取心电预处理信号的小波特征、心率特征、hrv特征，提取皮电预处理信号的时域特征、频域特征；

所述情绪评估模块，用于将心电预处理信号的小波特征、心率特征、hrv特征与皮电预处理信号的时域特征、频域特征进行拼接得到拼接特征数据，基于拼接特征数据结合情绪识别网络输出情绪识别标识。

为了达到上述第三目的，本发明采用以下技术方案：

一种基于可穿戴装置的情绪识别方法，包括以下步骤：

信号源采集步骤：将皮电心电一体化传感装置穿戴至用户手腕处，通过魔术贴改变弯曲程度进行贴合皮肤，利用皮电心电一体化传感装置同时采集心电信号、皮电信号；

数据预处理步骤：对心电信号、皮电信号依次进行分割处理、去噪处理、滤波处理得到心电预处理信号、皮电预处理信号；

特征提取步骤：提取心电预处理信号的小波特征、心率特征、hrv特征，提取皮电预处理信号的时域特征、频域特征；

情绪评估步骤：将心电预处理信号的小波特征、心率特征、hrv特征与皮电预处理信号的时域特征、频域特征进行拼接得到拼接特征数据，基于拼接特征数据结合情绪识别网络输出情绪识别标识。

作为优选的技术方案，所述数据预处理步骤，具体包括以下步骤：

按照预设时间长度t对心电信号、皮电信号分割为等长的心电分割信号、皮电分割信号，以便于后续处理；

将心电分割信号、皮电分割信号输入低通滤波器进行去除肌电干扰，通过输入高通滤波器进行去除基线漂移，从而得到心电预处理信号、皮电预处理信号。

作为优选的技术方案，所述特征提取步骤，具体包括以下步骤：

首先对心电预处理信号进行特征提取，通过小波变换后提取其最大值、最小值、均值、方差、信息熵、排列熵作为小波特征；

基于r峰值检测算法计算得到心率序列，并把心率的最大值、最小值、均值、方差输出为心率特征，所述心率序列的峰峰值间隔的最大值、最小值、范围大小、方差输出为心率变异性特征；

对皮电预处理信号计算最大值、最小值、范围大小、相位信号个数，输出为时域特征，同时通过小波变换后提取其最大值、最小值、均值、方差、信息熵、排列熵，输出为频域特征。

作为优选的技术方案，所述情绪评估步骤，具体包括以下步骤：

将心电预处理信号的小波特征、心率特征、hrv特征与皮电预处理信号的时域特征、频域特征进行拼接得到拼接特征数据；

将拼接特征数据输入n层级联的高层生理特征提取网络得到高层生理特征数据；

将高层生理特征数据经过池化层和全连接层计算，输出得到情绪识别标识；

所述高层生理特征提取网络具体由第一残差块和第二残差块组成，第一残差块包括第一卷积层模块和第一注意力层，第二残差块包括第二卷积层模块和第二注意力层，所述第一注意力层用于对第一卷积层模块输出的通道进行加权输出，所述第二注意力层用于对第二卷积层模块输出的通道进行加权输出。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明把心电信号、皮电信号采集所用电极一体化集成在腕带结构中，在不增加腕带复杂度的情况下同时获得人体的心电信号、皮电信号，增加了日常可穿戴性及便捷性。

(2)本发明同时融合心电信号、皮电信号，实现准确性高、鲁棒性强的情绪预测功能，并且具有很强的抗干扰能力及稳定性。

(3)本发明通过魔术贴改变带状采集器弯曲成环状的大小，进而贴合用户手腕大小，使得同时采集的心电信号、皮电信号具有更低的噪声，使得情绪识别结果更加精确。

(4)本发明采用了一维深度神经网络，通过残差模块结合通道注意力机制，解决了小样本数据集的网络分类问题。

(5)本发明通过对特征提取模块处理后的数据进行拼接特征，结合一维深度神经网络，减少了手工特征提取的复杂度，达到更高的情绪预测效果。

附图说明

图1是本发明实施例1中皮电心电一体化传感装置的结构示意图；

图2是本发明实施例1中带状采集器的结构示意图；

图3是本发明实施例2中基于可穿戴装置的情绪识别系统的结构示意图；

图4是本发明实施例2中基于可穿戴装置的情绪识别系统的情绪识别过程示意图；

图5是本发明实施例2中的情绪识别网络结构示意图；

图6是本发明实施例3中基于可穿戴装置的情绪识别方法的步骤流程图；

图7是本发明实施例4中的心电、皮电正负向情绪数据集采集过程流程图。

具体实施方式

在本公开的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。

此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在该词前面的元素或者物件涵盖出现在该词后面列举的元素或者物件及其等同，而不排除其他元素或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。

在本公开的描述中，需要说明的是，除非另有明确的规定和限定，否则术语“安装”、“相连”、“连接”应做广义理解。例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本公开中的具体含义。此外，下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本实施例提供了一种皮电心电一体化传感装置，该装置包括：用于获取采集信号的带状采集器，用于传输采集信号的无线传输模块；其中采集信号包括皮电信号、心电信号。

在本实施例中，无线传输模块采用蓝牙模块，可根据实际情况可替换为wifi、rfid等无线传输模块。

如图2所示，带状采集器由导电外层、绝缘夹层、导电内层形成分层结构，导电外层与导电内层中间为绝缘夹层，绝缘夹层分别与导电外层、导电内层连接，带状采集器还设有三个电极，分别为正极、负极、参考电极；其中导电内层分为两部分，导电内层隔断形成第一导电块和第二导电块，第一导电块、第二导电块分别与绝缘夹层耦合，正极设置在第一导电块，参考电极设置在第二导电块，正极、参考电极的末端向接触导电外层方向延伸的区域周围通过挖空处理形成绝缘块，使得正极、参考电极仍与绝缘夹层接触，正极、参考电极不与导电外层接触，进而导电外层在正极、参考电极周围不导通，进而减少正极和参考电极电位对。负极设置在导电外层的任意外边缘处，为了采集干扰更小的信号，负极选择设置在离正极和参考电极较远处的导电外层上。

在本实施例中，导电外层与导电内层通过正极、参考电极连通，其余部分不导通，其中第一导电块和第二导电块在导电内层对称设置，进而减少正极和参考电极电位对各自电极的影响，减少干扰，提高采集数据的准确度。

实际应用时，心电信号通过正极、负极、参考电极的信号得到，即正极和负极之间的电位差，参考电极用来减少工频干扰。皮电信号通过正极和参考电极的信号得到，即正极和参考电极之间的电导。通过共用正极、参考电极，可以同时对心电信号和皮电信号进行采集，从而达到采集信号的一体化。

实际应用时，带状采集器的三个电极均采用铜镀氯化银的电极暗扣，电极暗扣与设置在导电内层、导电外层上的暗扣槽相扣合，进而使电极连接在导电外层或者导电内层上。绝缘夹层使用绝缘布，具体为高密鲨鱼皮，成分为49％的锦纶和51％的氨纶，每平方米重200克，弹力指数为高弹，柔软指数、厚度指数适中；导电内层和导电外层使用导电布，具体为银纤维四面弹针织布料，组织结构为纬编四面弹，成分为75％的银纤维和25％的氨纶，每平方米重100克，电阻小于2欧/厘米。绝缘夹层采用片胶分别与导电外层、导电内层贴合，其中片胶具体采用tpu热熔胶模。

此外，上述材料参数设置不构成对本发明技术方案的限制，其它参数的材料亦可以作为本发明技术方案的替换技术手段。

在本实施例中，在不穿戴的情况下带状采集器是带状结构，带状采集器通过弯曲形成圆弧状的腕带结构，进而作为环状的腕带穿戴，在带状采集器的相对两端的末端位置设置紧固部件使带状采集器穿戴在手腕上。

为了使带状采集器能够根据用户手腕大小调整距离并贴合穿戴的手腕，皮电心电一体化传感装置还包括魔术贴，魔术贴设置在绝缘夹层两端边缘部分，其中魔术贴包括魔术贴勾面和魔术贴毛面，魔术贴勾面固定设置在绝缘夹层一端内侧边缘部分，魔术贴毛面固定设置在绝缘夹层另一端外侧边缘部分。实际应用时，绝缘夹层长度长于导电内层，绝缘夹层超出导电内层的两端边缘部分用于贴合魔术贴。

在本实施例中，带状采集器采用以下方法进行制备：

材料准备步骤：将绝缘布裁剪成190*60mm，将导电布裁成两块为55*55mm的第一导电布和第二导电布，一块190*60mm的第三导电布，将片胶裁成导电布一样大小，魔术贴勾面尺寸为60*20mm，魔术贴毛面尺寸为60*20mm；

铆合暗扣步骤：在两块55*55mm导电布的正中间打孔2mm形成第一暗扣槽、第二暗扣槽，第一暗扣槽、第二暗扣槽分别用于铆合正极、参考电极，在190*60mm导电布的正中间打孔2mm形成第三暗扣槽，该第三暗扣槽用于铆合负极，在190*60mm导电布正中间的第三暗扣槽位置的偏左45mm和偏右45mm处各打孔20mm，通过偏离正中间打孔避开内部导电布上的暗扣电极，进而避免内部导电布上的暗扣电极接触到导电外层，在导电布的暗扣槽上铆合相应的暗扣电极；

导电外层贴合绝缘夹层步骤：将190*60mm导电布热压在绝缘布上面，导电布与绝缘布之间放置片胶；其中，导电布与绝缘布长边的两侧须留有间隙，给魔术贴预留贴合位置。

绝缘夹层贴合内层导电层步骤：将两块55*55mm导电布热压在绝缘布反面，热压位置以大导电布20mm的孔径为中心；

魔术贴贴合绝缘夹层步骤；将魔术贴勾面固定连接在绝缘布内侧边缘部分，将魔术贴毛面固定在绝缘布外侧边缘部分。

此外，魔术贴与绝缘布之间具体采用双面胶实现固定连接，上述距离参数、面积参数的设置不构成对本发明技术方案的限制，其它距离参数、面积参数亦可以作为本发明技术方案的替换技术手段。

本实施例还提供了一种检测方法，该检测方法用于测试制备后的带状采集器是否正常工作，该检测方法具体包括以下步骤：

用户同时穿戴好带状采集器和标准电极，采集20组心电、皮电信号，每组分别包含带状采集器所获取的采集信号和标准电极；

比较带状采集器和标准电极采集的心电信号的心电质量系数的相关性，当各个心电信号图信号的相关性系数在0.8以上，即可表明制备后的带状采集器测量心电信号有效；其中心电信号的心电质量系数包括原始心电图、心率信号图、psd系数等。

比较带状采集器和标准电极采集的皮电信号的信号图的相关性，当各个皮电信号图信号的相关性系数在0.8以上，即可证明本发明的带状采集器测量皮电信号有效。

实施例2

如图3所示，本实施例提供了一种基于可穿戴装置的情绪识别系统，该系统设有皮电心电一体化传感装置和终端处理器；

在本实施例中，皮电心电一体化传感装置采用实施例1提供的皮电心电一体化传感装置，用于同时采集心电信号、皮电信号，将心电信号、皮电信号通过无线传输模块发送至终端处理器。

如图4所示，终端处理器用于根据心电信号、皮电信号进行情绪识别得到情绪标识。终端处理器设有数据预处理模块、特征提取模块和情绪评估模块，其中数据预处理模块，用于对心电信号、皮电信号依次进行分割处理、去噪处理、滤波处理得到心电预处理信号、皮电预处理信号；特征提取模块，用于提取心电预处理信号的小波特征、心率特征、hrv特征，提取皮电预处理信号的时域特征、频域特征；情绪评估模块，用于将心电预处理信号的小波特征、心率特征、hrv特征与皮电预处理信号的时域特征、频域特征进行拼接得到拼接特征数据，基于拼接特征数据结合情绪识别网络输出情绪识别标识。

在本实施例中，情绪标识包括第一标识、第二标识。实际应用时，第一标识用于评价用户的情绪处于快乐、开心等正向情绪，第二标识用于评价用户的情绪处于悲伤、失落等负向情绪。

在本实施例中，基于拼接特征数据结合情绪识别网络输出情绪识别标识具体为将拼接特征数据输入高层生物特征提取网络得到高层生理特征数据，将高层生理特征数据经过池化层和全连接层计算得到情绪识别标识；其中，情绪识别网络通过池化层分别与高层生物特征提取网络、全连接层连接组成。

实际应用时，分割处理具体为将心电信号、皮电信号按照预设时间长度分割为等长的心电分割信号、皮电分割信号。去噪处理具体采用低通滤波器进行去除肌电干扰，滤波处理具体采用高通滤波器进行去除基线漂移，将心电分割信号、皮电分割信号输入低通滤波器和高通滤波器后得到心电预处理信号、皮电预处理信号。

如图5所示，情绪评估模块中采用的高层生物特征提取网络具体为n层级联的高层生理特征提取网络，即cnn+senet+resnet网络，其中加入了注意力层，该注意力层具体为se_resnet模块，具体的，n层级联的高层生理特征提取网络由第一残差块和第二残差块组成，第一残差块包括第一卷积层模块和第一注意力层，第一卷积层模块设有3个卷积层，第二残差块包括第二卷积层模块和第二注意力层，第二卷积层模块设有2个卷积层，其中第一注意力层用于对第一卷积层模块输出的通道进行加权输出，第二注意力层用于对第二卷积层模块输出的通道进行加权输出；

实际应用时，网络输入数据经过第一卷积层模块后得到的第一卷积输出数据，第一卷积输出数据与网络输入数据的维度不一样，因此第一残差块在映射部分使用下采样保持与输出维度一致，而第二残差块在映射区使用恒等映射。网络输入数据经过两个残差块后，最后经池化层和全连接层输出情绪识别处理结果。

在本实施例中，训练时，卷积核尺寸主要选择为13，填充宽度padding为6，步长为1，尽量保持输入输出维度不变。卷积过程的通道数先依次递增为32,64,128，再减少至64，最后使用全连接层进行二分类，全连接层中添加dropout为0.2。在每次卷积过程后加激活函数relu和batchnorm，并在每层卷积层中加入偏置量bias，降低过拟合。另外可通过减少网络层数，对输入加入白噪声，提高效果。

其中，网络的层数、卷积核尺寸、填充宽度、步长、激活函数等的选择不构成对本发明技术方案的限制，其它数值或函数选择亦可以作为本发明技术方案的替换技术手段。

实施例3

如图6所示，本实施例公开了一种基于可穿戴装置的情绪识别方法，该方法包括以下步骤：

步骤s1、信号源采集步骤：将皮电心电一体化传感装置穿戴至用户手腕处，通过魔术贴改变弯曲程度进行贴合皮肤，利用皮电心电一体化传感装置同时采集心电信号、皮电信号；

步骤s2、数据预处理步骤：对心电信号、皮电信号依次进行分割处理、去噪处理、滤波处理得到心电预处理信号、皮电预处理信号；

步骤s3、特征提取步骤：提取心电预处理信号的小波特征、心率特征、hrv特征，提取皮电预处理信号的时域特征、频域特征；

步骤s4、情绪评估步骤：将心电预处理信号的小波特征、心率特征、hrv特征与皮电预处理信号的时域特征、频域特征进行拼接得到拼接特征数据，基于拼接特征数据结合情绪识别网络输出情绪识别标识。

在本实施例中，信号源采集步骤，具体包括以下步骤：

步骤s101、穿戴在用户手腕处的皮电心电一体化传感装置通过魔术贴改变弯曲程度，提高贴合皮肤，使正极和参考电极贴合穿戴手腕处的皮肤，进而得到噪声更低的心电信号、皮电信号，其中心电信号包括穿戴手腕处的正极、参考电极和负极三点的电导，皮电信号包括穿戴手腕处的正极和参考电极两点的电导；

步骤s102、将采集到的心电信号、皮电信号通过无线传输模块传输至数据预处理模块。

在本实施例中，数据预处理步骤，具体包括以下步骤：

步骤s201、按照预设时间长度t对心电信号、皮电信号分割为等长的心电分割信号、皮电分割信号，以便于后续处理；

步骤s202、将心电分割信号、皮电分割信号输入低通滤波器进行去除肌电干扰，通过输入高通滤波器进行去除基线漂移，从而得到心电预处理信号、皮电预处理信号。

在本实施例中，特征提取步骤，具体包括以下步骤：

步骤s301、首先对心电预处理信号进行特征提取，通过小波变换后提取其最大值、最小值、均值、方差、信息熵、排列熵作为小波特征；

步骤s302、基于r峰值检测算法计算得到心率序列，并把心率的最大值、最小值、均值、方差输出为心率特征，心率序列的峰峰值间隔的最大值、最小值、范围大小、方差输出为心率变异性特征；实际应用时，r峰值检测算法采用了心率计算公式，该心率计算公式具体为：

其中，rr-intervals为r峰值间隔，以秒表示；

步骤s303、对皮电预处理信号计算最大值、最小值、范围大小、相位信号个数，输出为时域特征，同时通过小波变换后提取其最大值、最小值、均值、方差、信息熵、排列熵，输出为频域特征。

实际应用时，心电信号的小波特征20个、心率特征6个、心率变异性特征10个与皮电信号的时域特征6个和频域特征6个，则每个样本含有48个特征，当级数level取值为1，小波种类为‘db2’时，效果最佳，小波变换公式如下：

其中τ控制时间，α控制频率，wt(α,τ)表示对信号进行小波处理后的小波特征。实际应用时，基于wt(α,τ)，可以获取信号的频率幅值变化，还可以得到信号的频率随着时间的变化关系，这样就做到了时频分析。

在本实施例中，情绪评估步骤，具体包括以下步骤：

步骤s401、将心电预处理信号的小波特征、心率特征、hrv特征与皮电预处理信号的时域特征、频域特征进行拼接得到拼接特征数据；

步骤s402、将拼接特征数据输入n层级联的高层生理特征提取网络得到高层生理特征数据；

步骤s403、将高层生理特征数据经过池化层和全连接层计算，输出得到情绪识别标识。

实际应用时，情绪识别网络由n层级联的高层生理特征提取网络、池化层、全连接层构成，池化层分别与n层级联的高层生理特征提取网络、全连接层连接。

此外，n层级联的高层生理特征提取网络可以选取支持向量机、k邻近算法、决策树、极致梯度提升、卷积网络、残差网络等网络结构；

实际应用时，n层级联的高层生物特征提取网络中的损失函数使用多分类交叉熵损失函数，令p＝[p0,p1,…,pc-1]是一个概率分布，即样本标签的矩阵表示，其多分类交叉熵损失函数，具体为：

其中pi表示样本属于第i类的概率。

实施例4

如图7所示，本实施例公开了一种用于实施例3中的n层级联的高层生理特征提取网络的预训练方法，该方法具体包括以下步骤：

首先给测试用户穿戴好设备，连接多导生理仪；

左手食指调整力度，找到舒服坐姿，保持不动状态，受试者闭眼休息三分钟；

为测试用户播放带有情绪标签的视频，同时采集心电、皮电信号；

视频播放完毕后，再闭眼休息三分钟，重复上述步骤，直至采集超过预设数量的测试用户，得到多组心电信号、皮电信号数据，在本实施例中，预设数量设置为30个，因此得到60组心电信号、皮电信号数据。

按照预设时间长度分割一段数据样本，为每个样本标注情绪标签，建立数据集，划分数据集。实际应用时，预设时间长度t设置为5秒，在训练过程中，测试集占比设置为0.2。

首先给定不同参数范围，训练n层级联的高层生理特征提取网络时，采用网格搜索验证法得到最佳参数，进行预测测试集的情绪标签，与真实的测试集情绪标签比较，当情绪标签识别结果达到预设测试正确率阈值时，模型训练完毕。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。