脑电波解码系统及其训练方法、脑机接口设备

本发明属于生理信号分析，更具体地，涉及一种脑电波解码系统及其训练方法、脑机接口设备。

背景技术：

1、脑电图(eeg)具有较高的时间分辨率，被广泛应用于脑机接口来解码人类的心理状态。例如，运动想象(mi)就是是基于eeg的一个经典范式，它指想象执行一个动作，已被广泛应用于医学领域，其可建立残疾或中风患者与外部设备之间的通信，如控制假体和外骨骼、神经康复和脑控轮椅。

2、近年来，基于eeg的分类算法得到了广泛的研究，可以大致分为基于传统特征的分类算法和基于深度学习的分类算法。基于传统特征的算法依赖于从eeg信号中手工提取的特征进行分类，而基于深度学习的算法使用深度神经网络来自动学习eeg特征，实现了端到端训练。前者严重依赖于领域专家知识，其分类性能通常较差且耗时。而后者虽然在近年来取得良好性能，但面临着耗时或运行能耗高的挑战，这使得在实际应用的硬件部署变得困难。

3、脉冲神经网络(snns)被认为是第三代人工神经网络(anns)，由于其计算范式在理论上存在稀疏和低功率操作，在过去几年中引起了大量研究。与ann相比，snn可以更好地捕获基于eeg的脉冲时间编码，且运行能耗低。现有的基于snn的分类方法包括将传统特征和snn分类器相结合，这些算法要么使用非常复杂的模型架构，要么计算耗时，为神经形态硬件上的算法部署带来困难。

4、综合以上几点，考虑实施算法的时间消耗、能量消耗和硬件部署难度，急需设计一种应用于eeg分类的轻量级端到端snn模型，以实现低耗时、低能耗、高精度的分类。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种脑电波解码系统及其训练方法、脑机接口设备，其目的在于搭建轻量级的解码系统，以实现低耗时、低能耗、高精度的分类。

2、一种脑电波解码系统，用于根据用户的脑电波信号集输出相关的分类结果，包括：

3、空间卷积层，具有cin个输入通道和cout个输出通道，用于获取脑电波信号集并进行通道重组，得到cout个第一信号每个第一信号从第i个输出通道输出，式中，为可训练的权重，t为输入各通道的脑电波采样点数量；cin＞1，cout＞1，t＞1，i为通道索引，i＝1，…，cout；

4、时间卷积层，用于分别对第一信号进行时域滤波，得到对应的第二信号为可训练的权重，l为滤波窗口长度，l＜t，中第t个元素为以第一信号的第t个元素为起始位置的滤波窗口内的元素与权重相乘后求和所得结果，t＝1，2，…，t；

5、脉冲神经元层，每个神经元获取一个第二信号并转化为脉冲序列

6、速率解码层和全连接层，所述速率解码层用于将每个脉冲序列si转换为对应的脉冲速率特征zi，脉冲速率特征zi为对脉冲序列si中各元素求平均，所述全连接层用于整合脉冲速率特征集z并得到各分类的预测结果ok＝wk′·z，式中，为可训练权重，k为分类索引，k＝1，2，…，class，class为类别数，脉冲速率特征集z中第i个元素为zi；或，所述全连接层用于整合脉冲序列集s并得到各分类的预测序列脉冲序列集s中第i个行向量为si，所述速率解码层用于将每个分类中的预测序列o′k转换为对应的预测结果ok，预测结果ok为对预测序列o′k中各元素求平均；以预测序列o′k中数值最大的分类作为最终分类结果。

7、在其中一个实施例中，通道cout与通道cin满足：1.5cin≤cout≤3.0cin。

8、在其中一个实施例中，输入各通道的脑电波的采样频率fs满足：fs∈{128hz，256hz}。

9、在其中一个实施例中，滤波窗口跨越的时间长度大于fs为脑电波采样频率。

10、在其中一个实施例中，在时间卷积层中，当所述滤波窗口内的元素数量不足l时，向所述滤波窗口的末尾补0以使所述滤波窗口内的元素数量等于l。

11、在其中一个实施例中，在时间卷积层中进行时域滤波计算时，以步长为1沿所述第一信号移动所述滤波窗口，每移动一次所述滤波窗口，则进行一次相乘求和计算。

12、在其中一个实施例中，所述脑电波解码系统用于根据用户的脑电波信号集得到运动想象的分类结果，所述运动想象包括对外部设备的运动控制。

13、一种脑电波解码系统的训练方法，包括：

14、利用带有分类标签的脑电波信号集对脑电波解码系统进行反向传播训练以使所述脑电波解码系统的分类结果收敛至预期；

15、其中，所述脑电波解码系统为如上述的脑电波解码系统。

16、一种脑机接口设备，包括脑电波解码系统和驱动系统，其中，

17、所述脑电波解码系统为根据上述的训练方法训练所得的脑电波解码系统，所述脑电波解码系统用于根据用户的脑电波信号集输出相关的分类结果；

18、所述驱动系统用于基于所述脑电波解码系统输出的分类结果驱动外部设备运动。

19、在其中一个实施例中，还包括脑电波采集端子，用于与用户的头部接触以采集用户的脑电波信号集并输入所述脑电波解码系统。

20、总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

21、本发明构建的脑电波解码系统，只需要设置空间卷积层、时间卷积层、脉冲神经元层、速率解码层和全连接层五个部分，框架简单，为轻量级的结构设计，本发明中计算量较小，因此，所需计算耗时和耗能均不高，且通过实验证明，该解码系统相比于常规的分类结构，具有更低的能耗和更高的分类精度。

22、进一步地，卷积层输出通道数cout为脑电波信号输入通道数cin满足1.5cin≤cout≤3.0cin，可以提高脑电波信号空间分辨率。

23、进一步地，脑电波采样频率fs取{128hz，256hz}，在保证信号频谱完整的同时获得尽量高的时间分辨率。

技术特征：

1.一种脑电波解码系统，用于根据用户的脑电波信号集输出相关的分类结果，其特征在于，包括：

2.根据权利要求1所述的脑电波解码系统，其特征在于，通道cout与通道cin满足：1.5cin≤cout≤3.0cin。

3.根据权利要求1所述的脑电波解码系统，其特征在于，输入各通道的脑电波的采样频率fs满足：fs∈{128hz,256hz}。

4.根据权利要求1所述的脑电波解码系统，其特征在于，滤波窗口跨越的时间长度大于fs为脑电波采样频率。

5.根据权利要求1所述的脑电波解码系统，其特征在于，在时间卷积层中，当所述滤波窗口内的元素数量不足l时，向所述滤波窗口的末尾补0以使所述滤波窗口内的元素数量等于l。

6.根据权利要求1所述的脑电波解码系统，其特征在于，在时间卷积层中进行时域滤波计算时，以步长为1沿所述第一信号移动所述滤波窗口，每移动一次所述滤波窗口，则进行一次相乘求和计算。

7.根据权利要求1所述的脑电波解码系统，其特征在于，所述脑电波解码系统用于根据用户的脑电波信号集得到运动想象的分类结果，所述运动想象包括对外部设备的运动控制。

8.一种脑电波解码系统的训练方法，其特征在于，包括：

9.一种脑机接口设备，其特征在于，包括脑电波解码系统和驱动系统，其中，

10.如权利要求9所述的脑机接口设备，其特征在于，还包括脑电波采集端子，用于与用户的头部接触以采集用户的脑电波信号集并输入所述脑电波解码系统。

技术总结
本发明涉及一种脑电波解码系统及其训练方法、脑机接口设备，属于生理信号分析技术领域。系统包括空间卷积层、时间卷积层、脉冲神经元层、速率解码层和全连接层，其中，空间卷积层用于获取脑电波并进行通道重组，以提升空间分辨率，时间卷积层用于提取跟任务相关的时序信号并滤除混叠在信号当中的噪声干扰，脉冲神经元层用于将滤波信号转换为稀疏的脉冲，速率解码层用于将脉冲序列转换为单个脉冲速率特征，全连接层用于对各通道信号进行整合，得到分类结果。本发明构建的脑电波解码系统，框架简单，为轻量级的结构设计，计算量较小，所需计算耗时和耗能均不高，有利于在实际应用的硬件部署。

技术研发人员：伍冬睿,张鹤锐
受保护的技术使用者：华中科技大学
技术研发日：
技术公布日：2024/3/11