基于脑源域ROI重要性的MI解码方法

本发明属于运动想象脑电信号(mi-eeg)识别。主要涉及：基于脑源成像的源信号估计；基于随机森林的感兴趣区域(roi)重要性量化；roi重要性增强的偶极子特征图成像；以及基于二维可分离卷积和门控递归卷积单元融合结构的特征提取及识别。

背景技术：

1、脑机接口(bci)建立了大脑和外部设备之间有效的信息交互，增强了对大脑活动的认知，实现了“机识脑”、“脑控机”。mi-eeg识别是bci系统中一类“机识脑”典型任务，在康复机器人、辅助机器人等领域得到了广泛应用。然而，mi-eeg的低信噪比、非平稳性对其特征提取和识别带来了巨大挑战。

2、近年来，深度学习算法在mi-eeg识别任务中得到了广泛应用。然而，因头皮电极数量有限，导致eeg的空间分辨率低，难以充分反映脑区的实际活动，限制了mi任务的识别精度。脑源成像技术(esi)通过求解脑电逆问题，用大量等效电流偶极子重塑大脑源活动，实现了头皮eeg信号从传感器域到脑源域的转换，克服了eeg低空间分辨率的难题。基于esi的方法一定程度上提高了mi的识别精度，但大量偶极子引起数据维度的激增，增加计算资源的消耗。为此，专家学者研究了不同roi的选择方法，在保证mi识别精度的同时降低计算资源的消耗。然而，大脑皮层是一个各区域相互协作的整体，直接剔除部分贡献度相对较小的roi，会导致部分重要特征信息的丢失，且难以保证空间信息的完整性，从而影响mi的识别精度。此外，受试者在执行mi任务时，不同roi的激活强度及对mi识别的贡献度各异，且随受试者不同而改变。目前的方法缺乏对roi贡献度个性化的考虑，所以，有必要研究具有roi重要性的偶极子特征表示及轻量化神经网络融合识别方法，以提高mi识别精度，同时降低计算资源的消耗。

技术实现思路

1、针对现存技术的不足之处，本发明提出了一种基于脑源域roi重要性的mi解码方法。首先，利用esi技术及短时傅里叶变换，获得了roi综合偶极子源估计的时频分析，提出一种基于随机森林的roi重要性量化方法，对综合偶极子时频信息个性化处理；其次，结合等距方位投影算法和最近邻插值算法，利用roi综合偶极子的空间位置信息，生成roi重要性增强的偶极子时-频-空特征图序列(erdfis)；同时，将二维可分离卷积和门控递归卷积单元相融合，提出了一种轻量化神经网络融合识别方法，其中二维可分离卷积用于提取erdfis的空-频特征，门控递归卷积单元则用于提取erdfis中丰富的时间信息，充分挖掘具有易鉴别性的时-频-空特征，以提高mi的识别精度。

2、本发明的具体实现包括以下步骤：

3、步骤1mi-eeg信号预处理。

4、原始mi-eeg数据记为和分别表示电极数量和采样点数。首先，通过基线校正方法获得无噪声信号；然后，构建4-40hz的带通滤波器，获取仅与mi任务相关的信息，记为ef，用于后续的源估计。

5、步骤2基于esi的脑源逆变换。

6、首先，假设前向模型为：

7、ef＝fes+v  (1)

8、其中，表示包含个采样点的个偶极子源信号，表示测量噪声，为从openmeeg的bem中获得的领导场矩阵。

9、采用l2最小二乘法求解如下优化问题：

10、

11、其中,||·||表示欧氏范数，κ表示正则化系数，λ表示权重矩阵。可得源估计值为

12、

13、然后，使用sloreta算法保证的平滑性和一致性，即

14、

15、h＝ft(fft+κλ)-1f  (5)

16、其中，表示第i个偶极子在第j个采样点上的源估计。

17、步骤3综合偶极子位置信息的确定。

18、采用brainstorm中destrieux分区划分方式，得到148个roi区域，则偶极子源估计信号重新表示为

19、

20、其中，是第τ个roi的偶极子序列矩阵，是第τ个roi中的偶极子数量，τ＝1,2,…,148。将每个roi视为一个立方体，其中心的三维坐标可计算为

21、

22、其中，和分别表示第τ个roi在x、y、z轴上的最大值和最小值。然后，选择最接近(xτ,yτ,zτ)的偶极子三维空间坐标作为第τ个roi的综合偶极子的位置信息。

23、步骤4综合偶极子序列的确定。

24、将各个roi中所有偶极子序列的平均定义为该roi的综合偶极子序列，记为进而，将所有roi的综合偶极子序列矩阵表示为

25、

26、并用近似刻画整个大脑区域的神经活动。

27、步骤5综合偶极子序列的时频分析。

28、采用短时傅里叶变换方法对每个综合偶极子序列进行处理以提取时-频信息，即，

29、

30、其中，g(·)为窗口函数，m为窗口长度，n为窗口移动步长，k为窗口移动步数，m＝0,1,…,m-1,k＝0,1,…,k-1。最后，得到时频谱xτ∈rm×k。进一步，从中提取4-40hz时频谱，即，

31、

32、其中，fs为采样频率，

33、步骤6roi重要性量化。

34、根据公式(10)获得每个综合偶极子的时频信息后求取其在4-40hz的平均能量值，即，

35、

36、然后，将pτ传入随机森林法计算roi的重要性值

37、步骤7roi重要性增强偶极子特征表示。

38、将4-40hz时频张量细分成带宽为2hz的子频带张量相应的能量值计算为

39、pσ[i,τ,k]＝xσ[i,τ,:,k]txσ(i,τ,:,k)  (12)

40、其中，是试验次数，σ＝1,2,…,j，j是子频带的个数。然后，利用roi重要性值增强综合偶极子的时频特征pσ，即，

41、

42、步骤8子频段特征图序列生成。

43、采用等距方位投影算法将roi综合偶极子的位置信息从三维空间投影到二维平面，保留任意两个相邻roi之间的相对位置信息。然后，将二维平面划分成32×32的网格，以确定每个综合偶极子的离散位置坐标。最后，利用最近邻插值算法生成具有roi重要性增强的

44、erdfis u∈ri×k×h×w×j，其中，h＝32,w＝32。

45、步骤9轻量化融合神经网络erdfis。

46、步骤9.1基于二维可分离卷积的空-频特征提取：首先，设计逐深度卷积块，各卷积核相互独立，仅对应一张子频带图，提取各子频带图的特征信息，得到与各子频带对应的j个空-频特征，其过程表示为

47、

48、其中，od和u分别表示逐深度卷积的输出特征图和输入形式，表示j个尺寸为h×w的卷积核，表示卷积操作，k＝0,1,2,…,k-1。

49、然后，构建逐点卷积块，从od中进一步挖掘各子频带间耦合的特征信息，即，

50、

51、其中，op表示逐点卷积的输出特征图。

52、步骤9.2基于门控递归卷积单元的时间特征提取与解码：设计参数较少的门控递归卷积单元，提取erdfis中包含的时间特征。具体地，所提出的轻量化融合神经网络的配置如表1所示，主要包括逐深度卷积、逐点卷积和门控递归卷积单元层。

53、表1. 2dscg详细的网络参数

54、

55、

56、表1中，输入图像的大小为“23×32×32×13”，其中，“23”表示子频带图的数量，“13”表示子频带图像序列的时间长度。“(kerns3×3)×23”表示32个尺寸为3×3的卷积核。下采样层由最大池化层max-pool构成。门控递归卷积单元层包含64个单元，最后的特征输入到全连接层和softmax层，完成分类结果输出。

57、与现有技术相比，本发明具有以下优点：

58、(1)本发明方法考虑了roi的个性化特征——重要性，且利用综合偶极子来表示roi，既降低了数据维度，又最大程度的保证了roi空间位置分布不变。

59、(2)本发明方法基于rf算法求得roi的重要性值，以增强mi相关时频信息，结合roi综合偶极子位置信息，使用最近邻插值算法生成综合偶极子特征图序列，其涵盖了偶极子的时-频-空信息以及roi的个性化特征。

60、(3)设计了融合二维可分离卷积和门控递归卷积单元的轻量化融合神经网络，以实现roi综合偶极子时-频-空综合特征的提取和分类，同时实现了模型的轻量化与识别的精确化。

61、在公开数据集竞赛2a中，9个受试者的平均准确率达到了89.89％，与现有采用最相关部分roi或全部roi的方法相比，本发明方法具有明显的优势。