基于混合神经网络的脑电信号分类方法

本发明属于人机交互智能。

背景技术：

1、脑机接口技术是心理学、神经科学、认知科学、生物医学、数学等多学科交叉融合的领域，各个学科的发展都对bci技术的发展有着至关重要的作用。脑机接口技术是一种在人脑与计算机等电子设备之间建立控制指令传输并且不需要外周神经与肢体参与的科学技术，在近十年来脑机接口技术得到了显著的进步与飞速的发展，应用的领域也在进一步扩大。脑机接口技术的基本原理是通过信号采集设备从人类的大脑皮层采集脑电信号经过放大、滤波、降噪等处理，然后对处理后的信号进行特征提取，再通过这些特征对于脑电信号进行分类，最后将分类结果转换为控制指令控制外部设备。

2、因此，如果能够利用bci技术开展智能辅助驾驶的研究，解码驾驶员的驾驶意图用来控制车辆，那么不仅有助于智能辅助驾驶系统的完善与发展，同时还提升了驾驶的安全性。

技术实现思路

1、本发明的目的是在准确的分类后，将脑电信号转换为数字信号并形成用来控制车辆的控制指令，实现脑电信号对于汽车控制辅助驾驶的基于混合神经网络的脑电信号分类方法。

2、步骤是：

3、s1、构建融合熵矩阵：

4、将预处理后的数据分割为500ms信号片段，对于每段数据进行边际谱熵与模糊熵的计算：

5、s11、边际谱熵如下：

6、对imf分量进行希尔伯特变换得到如下等式：

7、    （1）

8、其中pv为柯西主值；

9、得到的解析式为

10、（2）

11、上式中代表瞬时幅值，代表瞬时相位；

12、希尔伯特变换的瞬时频率定义为：

13、  （3）

14、综上，分解前的信号表示为变换后的imf的和值形式为：

15、（4）

16、则，希尔伯特谱定义为：

17、 （5）

18、希尔伯特边际谱熵如下：

19、  （6）

20、s12、模糊熵如下：

21、对于给定的维时间序列：，定义相空间维数，并对序列进行相空间重构：

22、；

23、其中，为均值，公式如下：

24、；

25、定义为向量和之间的距离，也是两个向量之间对应元素的最大差值；

26、（9）；

27、其中，且；

28、引入模糊隶属函数：

29、；

30、借助模糊隶属函数得到两个向量和之间的相似度如下：

31、   （11）

32、其中为指数函数，和分别表示指数函数的宽度与梯度；

33、对所有的取平均得到：

34、  （12）

35、将相空间维数设为，重复上述步骤，得到；

36、最后，序列长度为的时间序列的模糊熵如下：

37、  （13）

38、通常时间序列的序列是有限的，所以模糊熵估计为：

39、   （14）

40、模糊熵的值主要和有关，为相空间维数，为相似度容限；

41、将边际谱熵与模糊熵进行融合，构建融合熵矩阵；

42、s2、训练混合神经网络模型：

43、l0：这一层为输入层，该层的输入为步骤s1中构建的融合熵矩阵的训练集；输入的融合熵矩阵表示为，其中为脑电采集装置的导联数，表示为频率点数；用表示第层中第个图的的输出值，再用来表示第层中第个图的的输入值：

44、  （15）

45、其中为激活函数，其表达式如下：

46、    （16）

47、表达式中的为超参数，由模型训练得到最优数值；

48、l1：        （17）

49、      （18）

50、  （19）

51、其中，为l1层的输入矩阵，为卷积核的大小，代表第个卷积核中第个神经元与输入矩阵所对应位置的连接权值，为l1层的偏置，为矩阵经过激活函数后的输出，为经过组归一化的l1层的最终输出；

52、l2：   （20）

53、该层为混合神经网络的第二部分，由一层卷积层和一层池化层构成，其中为l2层的输入矩阵，为该层卷积核的大小，为l2层第t个卷积核中的位置与对应位置的连接权值，为l2层的偏置；

54、l3：   （21）

55、该层由一层卷积层构成，其中为l3层的输入矩阵，为卷积核的纵向大小，为卷积核的横向大小，为l3层第t个卷积核中的位置与对应位置的连接权值，为l3层的偏置；

56、l4：  （22）

57、该层为混合神经网络的第四部分，由一层卷积层和一层池化层构成，为卷积核的纵向大小，为卷积核的横向大小，为l4层第t个卷积核中的位置与对应位置的连接权值，为l4层的偏置；

58、l5：  （23）

59、该层为混合神经网络的第五部分，由一层卷积层和一层池化层构成；为卷积核的纵向大小，为卷积核的横向大小，为l5层第t个卷积核中的位置与对应位置的连接权值，为l5层的偏置；

60、l6：（24）

61、  （25）

62、  （26）

63、 （27）

64、 （28）

65、  （29）

66、  （30）

67、  （31）

68、  （32）

69、  （33）

70、  （34）

71、该层为混合神经网络中的双向lstm层，和为该层的激活函数，为正向lstm层中的细胞状态；为反向lstm层中的细胞状态，分别为正向lstm中输入门，遗忘门以及输出门的偏置；分别为反向lstm中的输入门，遗忘门以及输出门的偏置，是正向lstm中的权值；是反向lstm中的权值；

72、l7：（35）

73、该层为混合神经网络中的全连接层，和分别为双向lstm层输出矩阵的纵向维度和横向维度，为对应中的连接权值，为该层的偏置；

74、l8：    （36）

75、该层为最终分类层，其中为函数生成的条件概率，它表示在给定输入的情况下，最终分类为类别的条件概率；

76、s3、测试集的数据分类：

77、将测试集的数据输入到步骤s2中最终的分类模型中，对于测试数据分为停车、左转、右转、加速以及常态驾驶五中类别，得到神经网络模型的分类准确率。

78、本发明从脑电提取方法中进行了改进，提取更有效的脑电信号，并将卷积神经网络与双向lstm进行融合连接，选取脑电信号的边际谱熵和模糊熵进行融合所构成的融合熵矩阵作为输入大大提高了分类的准确率，并且将混合神经网络的模型进行优化得到了更好的分类效果。同时将神经网络的分类结果转化为对汽车的控制指令，可以实现在紧急状况下对于车辆进行脑电控制，实现停车、左转、右转、加速以及常态驾驶五种控制状态。为驾驶员及同行人员的安全提供了保障。