基于多分支注意力特征融合的跨时段脑纹识别方法及系统

本发明属于注意力特征融合网络的域泛化脑纹识别，具体涉及一种基于多分支注意力特征融合的跨时段脑纹识别方法及系统。

背景技术：

1、深度学习技术的飞速进步带来了许多领域的创新，在生物特征识别领域与非侵入式脑电图(eeg)信号的结合使得基于eeg信号的生物身份识别技术得以应用。eeg特征具有持续性、实时性和隐私性，难以伪造或模仿，这为身份认证和安全验证提供了新的方向。

2、脑电身份识别在实际应用上面临着多项技术和实际应用上的挑战，其中之一是跨时段数据泛化能力弱的问题。由于每次采集数据佩戴脑电帽的位置不同，存在通道位置偏移现象，即在不同时间和不同场景下电极位置存在变化，导致脑电信号的不一致性，即训练所用时间段与测试时间段的脑电信息不服从相同分布，进而影响身份识别的准确性。将深度学习网络泛化到训练分布之外的数据也被称为域泛化问题，域泛化的目标是将多个源域上训练的模型能够很好地泛化到不可见的目标域。

3、此外，对于复杂的脑电信号，传统深度学习网络通常只采用一种固定卷积核，忽略了不同被试、不同时域间数据分布的差异。

技术实现思路

1、本发明的一个目的是针对现有技术的不足，提出一种基于多分支注意力特征融合的跨时段脑纹识别方法来学习跨域不变特征，从而提取身份信息用来泛化。首先，我们根据不同时段采集的不同被试的脑电数据选取三组最佳卷积核、特征图纬度和对应的dropout值，并赋予3个可学习参数作为特征权重。然后，在深度可分离卷积开始前，引入基于压缩激励机制的注意力模块seblock，对生成每个通道、每个获取的时域特征所对应的最佳权重矩阵。最后，对于输入的被试数据进行跨时段域间融合，在多个源域数据中进行数据和标签混合，提取出域不变表征。

2、第一方面，本发明提供一种基于多分支注意力特征融合的跨时段脑纹识别方法，其包括以下步骤：

3、步骤一、数据采集。

4、对多个目标对象分别进行多个时段的脑电数据采集，得到训练集；各目标对象分别对应不同的类别。

5、步骤二、搭建跨时段脑纹识别模型。

6、跨时段脑纹识别模型包括多路径模块和跨时段脑纹识别模型。跨时段脑纹识别模型包括特征融合正则化模块和对比学习模块。所述的多路径模块包括多个自适应特征提取网络，每个自适应特征提取网络包含一个2d卷积层和基本神经网络。不同自适应特征提取网络的2d卷积层使用不同大小的2d卷积核。

7、所述的基本神经网络包括深度卷积层和可分离卷积层。每个原始样本经过多路径模块均生成输出特征和预测值；输出特征和预测值各自均作为一个原始特征c表示原始特征对应的类别，c＝1,2,...,c。c为类别数。

8、所述的特征融合正则化模块中设有搅动层；搅动层对每个原始特征分别进行搅动处理，得到与原始特征数量相同并一一对应的多个特征对不同的特征分别进行多次融合，得到与原始特征数量相同并一一对应的多个融合特征

9、步骤三、训练跨时段脑纹识别模型。训练跨时段脑纹识别模型的损失函数中包含原始特征与特征之间，以及原始特征与融合特征之间的正对样本间均方误差损失。

10、步骤四、将被测者采集得到的脑电数据输入跨时段脑纹识别模型，跨时段脑纹识别模型在各目标对象中选择出被测者的身份。

11、作为优选，步骤三中，训练跨时段脑纹识别模型的损失函数如下：

12、

13、其中，为预测标签与真实标签的交叉熵损失，为对比损失，为融合样本正则化损失，λ为权重。

14、作为优选，交叉熵损失的表达式如下：

15、

16、其中，yi表示样本是否属于第i个类别，长度为类别数c；fθ(·)为多路径模块的类别预测操作；xi为源域样本；

17、作为优选，融和样本正则化损失表达式如下：

18、

19、其中，和分别表示自适应特征提取网络的输出特征、其对应的预测值的正则化损失，λfeature和λlogit分别表示两个正则化损失对应权重。两个正则化损失采用计算正则化损失表达式获得：

20、

21、其中，分别代表未融合和融合后的正对样本间均方误差损失；

22、正对样本间均方误差损失的表达式为：

23、

24、

25、其中，n为样本数；为该批次训练中样本i在自适应特征提取网络的输出特征或预测值；为该批次训练中样本j在自适应特征提取网络的输出特征或预测值经过特征搅动处理后所得特征；样本i与样本j是标签均为c的两个不同样本；表示对进行样本融合后与初始样本形成的对应样本。

26、作为优选，对比损失表达式如下：

27、

28、其中，f(·)为类别预测操作；a为锚样本，其为任意一个原始样本；p为正样本，其为与锚样本同类的不同样本；n为负样本，其为与锚样本不同类的样本；||·||为欧氏距离运算；α为约束参数。

29、作为优选，所述的多路径模块中的自适应特征提取网络的数量为三个。

30、作为优选，所述的多路径模块还包括注意力机制模块；每个自适应特征提取网络的2d卷积层的输出特征均进入注意力机制模块。注意力机制模块获取与输入的特征对应的权重。注意力机制模块包括依次相连的一个全局池化层和两个全连接层。

31、作为优选，所述的注意力机制模块在获取不同特征权重的同时，还分别输入不同通道的所有特征，获取不同通道对应的权重。

32、作为优选，所述的深度卷积层采用大小为通道数×1的卷积核对特征图学习空间滤波器；可分离卷积层采用大小为1×1的卷积核对特征图进行逐点卷积。

33、作为优选，所述的搅动层由多层感知机组成。

34、作为优选，特征采用mixup融合方法获得，其表达式如下：

35、

36、其中，γ为在beta分布中随机采样的数值；

37、作为优选，步骤一中所得脑电数据经过预处理；所述的预处理包括降采样、通道选择、滤波处理、重参考处理和数据切分。

38、第二方面，本发明提供一种基于多分支注意力特征融合的跨时段脑纹识别系统，其用于执行前述的基于多分支注意力特征融合的跨时段脑纹识别方法；该跨时段脑纹识别系统包括脑电采集模块和脑纹识别模块。脑电采集模块用于采集脑电信号；脑纹识别模块用于通过跨时段脑纹识别模型对被测者的脑电信号进行识别。

39、第三方面，本发明提供一种计算机设备，其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；所述存储器存储计算机程序；所述处理器执行前述的一种基于多分支注意力特征融合的跨时段脑纹识别方法。

40、第四方面，本发明提供一种可读存储介质，存储有计算机程序；所述计算机程序被处理器执行时用于实现前述的一种基于多分支注意力特征融合的跨时段脑纹识别方法。

41、本发明的有益效果如下：

42、1.本发明针对不同时段不同被试为基本神经网络提供多种卷积核，动态提取跨时段被试特征，可以捕获不同尺度的特征，更全面地捕获信号的时间动态。脑电信号在不同实验、不同时间段可能会存在一些变化，比如电极位置变化、噪声水平变化等。使用多个卷积核有助于提高模型的鲁棒性，使其能够适应这些变化，提取域不变特征，从而实现基于跨时段脑电信号的身份预测。

43、2.本发明中引入的自注意力机制可以在时序数据中识别关键特征，帮助模型动态地调整不同卷积核的权重，以适应分布差异的不同域数据。多卷积核和自注意力机制的组合可以显著提高模型的域泛化性能，更好地适应不同域的数据分布。同时，数据增强技术在跨时段脑电中的应用能够增加模型对不同领域数据的泛化能力，减轻不同时段的脑电数据之间的分布差异。

44、3.本发明通过压缩激励机制，帮助模型识别和放大与任务相关的通道信息、时域信息特征，减少对冗余信息的过度响应，从而提高特征的鲁棒性和可解释性。此外，在不同时间段或通道配置下，压缩激励模块可以更好地适应数据的变化，提高模型泛化能力。

45、4.本发明通过mixup数据增强方法，通过不同时段的原始被试数据的线性组合，生成许多混合的虚拟样本，提高模型的鲁棒性，减少过拟合，以及帮助模型更好地适应新的数据分布。