缺失脑电模态下的工作负荷识别方法

本发明涉及生理信号识别领域，尤其涉及一种缺失脑电模态下的工作负荷识别方法。

背景技术：

1、工作负荷(也称为认知负荷、脑力负荷)是指人体在工作状态下脑力资源的占用率。人体不同程度的工作负荷会使其表现出不同的认知能力，过高的工作负荷会降低整体的工作效率，增加出错的可能性，甚至可能会导致猝死等重大事故。过低的工作负荷可能会导致工作效率低下、注意力不集中、以及降低工作人员的警觉性等问题。因此在民航飞行、航空航天等复杂的、对安全性要求较高的环境中对操作员的工作负荷进行有效识别并及时提供反馈至关重要，可以一定程度上避免从事特种职业的人员因为工作负荷过大而导致的操作失误问题，对保障社会正常运转和人民群众的生命财产安全具有重要意义。

2、近年来随着可穿戴传感器的发展，越来越多维度(模态)的生理数据能够被用于工作负荷的识别。使用多维度(模态)传感器数据进行工作负荷识别有多方面的好处：(1)多种维度的传感器数据之间的信息能够互补，比如脑电信号(eeg)能够表征大脑的活动，心电信号(ecg)能够表征心脏的一些生理活动，融合这两种信号能够覆盖更加全面的受试者的各种生理信息；(2)使用多模态信号对工作负荷进行识别对于噪声更加鲁棒，一种维度的传感器数据的数据被噪声污染后，还有其他维度的数据可以使用。因此现有的一些工作负荷识别方法开始尝试使用多模态数据来识别工作负荷。

3、然而由于便捷性等原因，脑电在现实生活条件下难以获取。脑电采集设备分为干电极和湿电极，干电极和湿电极在实际使用中都存在各自的问题。干电极直接与头皮进行接触，不需要其他电解质，但是在实际情况下容易受到运动伪影的干扰，并且佩戴时间长了之后头部容易出现疼痛的情况。湿电极需要在头皮和传感器之间注入电解质，这就导致佩戴湿电极设备的时候需要较长时间，也不便于实际使用。更糟糕的是无论是干电极和湿电极都需要在一旁放置放大器(由于脑电信号较为微弱，放大器往往体积较大)，这也是一个阻碍脑电实际落地的因素。因此，在实际条件下工作负荷识别面临的问题是除了脑电以外的生理信号难以对受试者的工作负荷进行表征，脑电在日常使用场景下又难以进行部署。因此推理过程中脑电模态缺失的问题是一个亟需解决的问题。

4、解决上述问题最简单的方法为使用后融合(late fusion)的方式，每个模态之间使用一个网络进行特征提取，将没有缺失模态的模型预测结果进行融合。然而这样的做法没有利用任何缺失数据的模型信息，往往不能取得较好的效果。在后融合的基本思想之上，一些研究者尝试通过多任务来进一步提升训练集中的多模态数据的利用率。另一种方法尝试基于知识蒸馏的思想将教师模型(输入为完整的多模态的模型)中的知识迁移到学生模型(输入为缺失某一种模态的模型)中去，使得学生模型不必输入所有模态就能获得比较好的效果。最后还有一种类型的算法基于生成模型，这种类型的方法通过将其他测试可用的模态翻译不可用的模态，补全缺失的模态，使得测试的时候能够获得比较好的效果。现有的生成模型往往直接生成缺失的脑电特征，这往往优化困难，从而导致结果较差。

技术实现思路

1、本发明针对现有基于生成模型的模态缺失算法的不足，提出了一种缺失脑电模态下的工作负荷识别方法，以实现优化其他模态的特征和脑电模态特征之间的互信息，减少融合特征的冗余性，使用自编码器保留融合特征的关键特征，进一步提升了工作负荷识别模型的识别精度。

2、本发明采用的技术方案为：

3、缺失脑电模态下的工作负荷识别方法，该方法包括：

4、步骤1，设置工作负荷识别模型，其包括生理信号特征提取网络、脑电特征生成模块、特征融合模块和分类器；

5、其中，生理信号特征提取网络用于不同模态的生理信号的信号特征；

6、脑电特征生成模块的输入为非脑电信号的生理信号的信号特征，获取不同模态之间的交互信息特征，再融合所有交互信息特征得到其输出特征，即生成的脑电信号特征；

7、特征融合模块用于对生理信号特征提取网络输出的非脑电信号的信号特征和生成的脑电信号特征进行去冗余的特征融合，得到用于输入分类器的多模态去冗特征；

8、分类器用于输出工作负荷类别的分类概率；

9、步骤2，基于采集的训练数据集对工作负荷识别模型进行训练，以得到训练好的工作负荷识别模型；

10、训练时，总损失函数为脑电特征生成模块的损失函数、特征融合模块的损失函数和分类损失的加权和；其中，脑电特征生成模块的损失函数包括重建损失和交互信息损失。

11、进一步的，生理信号特征提取网络提取不同模态的生理信号的信号特征具体包括：

12、基于预置的时间窗口尺寸对样本的生理信号进行切割处理，将生理信号切割为若干个信号片段；对每个片段输入到卷积神经网络中进行降维，得到每个片段的编码表示；再将所有片段的编码表示组成的生理信号编码输入到transformer编码器中进行特征提取，得到样本的时域特征；

13、基于注意力机制对样本的生理信号进行频域特征提取，得到样本的频域特征；

14、对时域特征和频域特征进行拼接融合，得到样本的不同模态的生理信号的信号特征。

15、进一步的，脑电特征生成模块包括：模态特征转换模块和transformer编码器；

16、模态特征转换模块用于对输入的每一种模态的生理信号的信号特征进行特征变换，再将变换后的特征输入transformer编码器；

17、transformer编码器用于计算任意两种模态的信号特征之间的交互信息特征；

18、对transformer编码器输出的所有交互信息特征相加得到脑电特征生成模块的输出；

19、其中，模态特征转换模块包括级联的第一线性层、relu激活函数层，批量归一化层和第二线性层。

20、进一步的，脑电特征生成模块的交互信息损失为：模态间的互信息的相反数的总和；脑电特征生成模块的重建损失为：样本的生理信号特征提取网络提取的脑电信号特征与生成的脑电信号特征之差的平方和。

21、进一步的，特征融合模块包括：编码器和解码器；

22、其中，编码器的输入包括：输入脑电特征生成模块的各生理信号的信号特征和脑电特征生成模块输出的生成的脑电信号特征，即多模态的信号特征fi；其中，下标i为样本编号；

23、对输入编码器的多模态的信号特征进行拼接后，再经自编码器后得到去冗余后的低维度特征hi；

24、使用解码器对低维度特征hi进行重建，以重建还原得到输入编码器的多模态的信号特征

25、根据公式计算特征融合模块的损失函数，其中，n表示样本数。

26、本发明提供的技术方案至少带来如下有益效果：

27、本发明首先对原始的多模态(包含脑电)数据进行简单的预处理，然后利用对不同的生理信号模态进行时域特征和频域特征的提取，使得特征包含的特征更加的全面；为了使得在推理过程中能够获得脑电的特征，本发明设计了一种脑电特征生成模块，通过增大脑电特征和其他特征之间的互信息使得生成的难度更低，从而使得模型在缺失脑电模态时也能拥有丰富的特征；为了减少融合特征中的冗余特征，使用了自编码器对特征进行降维。由于脑电设备的不方便的特点，本发明能够帮助基于脑电开发的工作负荷识别模型在实际应用中进行部署，保障工作负荷识别模型的应用落地。