一种大脑皮层电信号解码的方法和装置与流程

本发明涉及神经工程与人工智能的交叉技术领域，更具体地，涉及一种大脑皮层电信号解码的方法和装置。

背景技术：

对于很多病患者，例如患有脑卒中病的患者，他们的正常的神经-肌肉通路已经被阻断，但是他们的大脑功能却是完好的。所以，除了正常的神经-肌肉通路之外，提供一种通信方法来向外部世界传递大脑信息和命令是非常有意义的。由于脑头皮层电信号的交互自然性和非侵入性特征，大多数脑机接口系统选择大脑皮层电信号作为输入。

基于脑电波(electroencephalogram，简称为eeg)的脑机接口可以被认为是一种复杂的模式识别系统，包括几个关键步骤：信号采集，预处理，特征提取，分类，外部设备控制和反馈。其中最大的挑战是eeg解码，旨在将原始的大脑皮层电信号转化为大脑的指令。当大脑皮层电信号被正确解码时，可用于控制外部设备，如康复设备和其他设备。

然而，传统的eeg解码方法无法获得令人满意的结果，其中一个原因是在通过大脑皮层电信号获取用于解码的信息的过程中，无法以一种统一的、有效的表示方法来表示大脑皮层电信号在多个模态上所携带的信息，从而某些模态上有用的信息，例如空间信息和时域信息，被忽略，导致其无法在大脑皮层电信号解码上取得很好的效果，限制了许多脑机接口系统的使用效率和效用。

技术实现要素：

为了克服上述问题或者至少部分地解决上述问题，本发明提供一种大脑皮层电信号解码的方法和装置。

根据本发明的一个方面，提供一种大脑皮层电信号解码的方法，包括：将大脑皮层电信号转换成脑电视频图，每帧的大脑皮层电信号对应一帧的脑电视频图；通过光流法，并根据每相邻两帧的脑电视频图获取对应的一帧的脑电光流图；根据脑电光流图，确定大脑的指令。

其中，将大脑皮层电信号转换成脑电视频图，包括：在用于采集大脑皮层电信号的电极与两维平面上的点之间建立一一对应的投射关系；基于投射关系，将大脑皮层电信号中每一电极采集的电信号的信息投射到两维平面上的对应的点，获得对应的基础脑电平面图；基于插值法，将基础脑电平面图转换为对应的脑电视频图。

其中，基于投射关系，将大脑皮层电信号中每一电极采集的电信号的信息投射到两维平面上的对应的点，获得对应的基础脑电平面图之前，还包括：将大脑皮层电信号通过频域滤波器进行滤波处理。

其中，根据脑电光流图，确定大脑的指令，包括：将脑电光流图输入到经训练的深度神经网络模型，输出预设指令集中每一指令对应的概率；将概率最大的指令作为大脑的指令。

其中，深度神经网络模型包括：卷积神经网络、递归神经网络和多个全连接层；深度神经网络模型的输入口为卷积神经网络的输入口，卷积神经网络的输出口连接至递归神经网络的输入口，多个全连接层依次连接，且第一个全连接层的输入口连接至递归神经网络的输出口，最后一个全连接层的输出口作为深度神经网络模型的输出口。

其中，卷积神经网络包括多个卷积层、多个池化层和一个dropout层，每一卷积层使用relu作为激活函数；递归神经网络包括多个递归神经单元，每一递归神经单元中包括长短期记忆网络。

本发明的另一方面，提供一种大脑皮层电信号解码的装置，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行上述的方法。

本发明的又一方面，提供一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使计算机执行上述的方法。

本发明的又一方面，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机程序，该计算机程序使计算机执行上述的方法。

本发明提供的一种大脑皮层电信号解码的方法和装置，通过将大脑皮层电信号转换成脑电视频图，其中每帧的大脑皮层电信号对应一帧的脑电视频图；通过光流法，并根据每相邻两帧的脑电视频图获取对应的一帧的脑电光流图；根据脑电光流图，确定大脑的指令。从而在通过大脑皮层电信号获取解码信息的过程中，将空间信息和时域信息统一、有效的表示在解码信息中，将携带多个模态信息的解码信息用于对大脑皮层电信号解码，能保证在对大脑皮层电信号解码上取得很好的效果和解码的准确率，提高了脑机接口系统的使用效率和效用。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的大脑皮层电信号解码的方法的流程图；

图2为根据本发明实施例的用于大脑皮层电信号采集的电极分布的示意图；

图3为根据本发明实施例的脑电视频图与脑电光流图的示例图；

图4为根据本发明实施例的电极与两维平面上的点之间的一一对应的投射关系的示意图；

图5为根据本发明实施例的深度神经网络模型的结构的示意图；

图6为根据本发明实施例的大脑皮层电信号解码的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的一个实施例中，参考图1，提供一种大脑皮层电信号解码的方法，包括：s11，将大脑皮层电信号转换成脑电视频图，每帧的大脑皮层电信号对应一帧的脑电视频图；s12，通过光流法，并根据每相邻两帧的脑电视频图获取对应的一帧的脑电光流图；s13，根据脑电光流图，确定大脑的指令。

具体的，通过大脑皮层电信号采集装置实时采集大脑皮层电信号，这种采集装置通常是在大脑皮层设置多个电极作为采集点，比如常用的国际标准电极布局，如图2所示，并每隔预设时间采集一次多个采集点的电信号，将每次采集的大脑皮层电信号称为每帧的大脑皮层电信号，每帧的大脑皮层电信号包括了同一时间的多个采集点的电信号。

大脑皮层电信号反映了大脑皮层对应位置的电位，利用大脑皮层不同位置的不同电位，将电位与位置关系体现到脑电视频图中，这样，一帧的大脑皮层电信号转换成对应的一帧的脑电视频图，脑电视频图体现了大脑皮层电信号的空间信息；相邻两帧的脑电视频图由相邻两帧的大脑皮层电信号对应转换得到，相邻两帧的大脑皮层电信号即连续的两次采集的多个采集点的电信号。

使用光流法根据相邻帧的脑电视频图计算出相应的脑电光流图，光流法的计算过程可以使用计算机视觉中的gunnerfarneback算法来完成，并通过映射为hsv(hue，saturation，value)颜色空间最终转换为脑电光流图。如图3所示，这样得到的脑电光流图可反映时间维度上的变化，因此保留了人脑皮层电信号时域上的信息，脑电光流图(图3右侧的一组图)相比于脑电视频图(图3左侧的一组图)，大脑皮层电信号微小的变化可导致脑电光流图之间较大的差别，而脑电视频图之间则无法体现出这种差别。

脑电光流图以统一的形式表示了多个模态的信号，将难以处理的人脑皮层电信号转换成了可以很方便处理的图像，使得可以很好的适合于目前许多计算机深度学习中的高级算法，通过脑电光流图，通过深度学习方法即可确定大脑的指令。

本实施例通过将大脑皮层电信号转换成脑电视频图，其中每帧的大脑皮层电信号对应一帧的脑电视频图；通过光流法，并根据每相邻两帧的脑电视频图获取对应的一帧的脑电光流图；根据脑电光流图，确定大脑的指令。从而在通过大脑皮层电信号获取解码信息的过程中，将空间信息和时域信息统一、有效的表示在解码信息中，将携带多个模态信息的解码信息用于对大脑皮层电信号解码，能保证在对大脑皮层电信号解码上取得很好的效果和解码的准确率，提高了脑机接口系统的使用效率和效用。

基于以上实施例，将大脑皮层电信号转换成脑电视频图，包括：在用于采集大脑皮层电信号的电极与两维平面上的点之间建立一一对应的投射关系；基于投射关系，将大脑皮层电信号中每一电极采集的电信号的信息投射到两维平面上的对应的点，获得对应的基础脑电平面图；基于插值法，将基础脑电平面图转换为对应的脑电视频图。

具体的，根据采集时所使用的电极布局，将每一个电极所在三维空间上的点投射到两维平面上的一个点上，从而建立电极与两维平面上的点之间的一一对应的投射关系，如图4所示。可以借用地理科学中的等距方位投影算法进行投射，这种方法得到的点在两维平面中的距离与三维空间中的距离更加匹配。

基于投射关系，将每帧的大脑皮层电信号中每一电极采集的电信号的信息投射到两维平面上的对应的点，例如，使用两维平面上的点的不同灰度来体现对应的电极采集的电信号的高低，从而获得的基础脑电平面图中与电极对应的点具有不同灰度。

由于用于采集电信号的电极数量有限，基础脑电平面图中反映出的信息有限且并不直观，通过插值法将基础脑电平面图转换为对应的脑电视频图，即基于基础脑电平面图中相邻两点的灰度值，通过相关算法计算在相邻两点之间空间灰度的变化规律，并依此填充，完成从基础脑电平面图到脑电视频图的转换。

本实施例通过将大脑皮层电信号转换成脑电视频图，在脑电视频图中体现了大脑皮层电信号的空间信息。

基于以上实施例，基于投射关系，将大脑皮层电信号中每一电极采集的电信号的信息投射到两维平面上的对应的点，获得对应的基础脑电平面图之前，还包括：将大脑皮层电信号通过频域滤波器进行滤波处理。

具体的，可使用五个对应于脑活动的频域滤波器对大脑皮层电信号进行滤波，其中所过滤的频率分别为(α:8-13hz,β:14-30hz,γ:31-51hz,δ:0.5-3hz,θ:4-7hz)，以获取相应的频域信息。

基于以上实施例获得的脑电光流图，有以下优点：

(1)统一形式表征了多模态信息

将大脑皮层电信号通过频域滤波器进行滤波处理后，将大脑皮层电信号转换成脑电视频图，再由脑电视频图转换成脑电光流图，使脑电光流图同时具备了频域信息、空间信息和时域信息。而且在转换过程中是满射，不丢失任何信息。

(2)提高了信噪比

从信息论的角度考虑，传统的信号分析中忽略了电极之间的位置关系，基于以上实施例获得脑电光流图的过程中，固定住电极之间的位置之后，整体解空间变小了，也即信息的熵变小了，但同时因为电极信号到脑电视频图是满射，最终获得的脑电光流图的总体信息量保持不变，于是，信噪比就提高了。

(3)可充分体现出大脑皮层电信号的局部特征

基于以上实施例获得脑电光流图的过程中，保留了电极之间的位置关系，电极之间的位置关系体现出局部特征，而且电极采集出来的信号本身也就是局部信号转换的结果；因为脑电视频图也有功能区，导致脑电视频图和脑电光流图明显具有局部性。

由于以上脑电光流图的优点，脑电光流图的图像特征非常适合近些年受到广泛关注的深度神经网络，使用深度神经网络对脑电光流图进行识别，能进一步提高对大脑皮层电信号解码的准确率。

基于以上实施例，根据脑电光流图，确定大脑的指令，包括：将脑电光流图输入到经训练的深度神经网络模型，输出预设指令集中每一指令对应的概率；将概率最大的指令作为大脑的指令。

具体的，脑电光流图可以很好的适合于目前许多计算机深度学习中的高级算法，本实施例中，将脑电光流图输入到经训练的深度神经网络模型，深度神经网络模型可基于脑电光流图的图像特征，给出指令集中每个指令对应的概率，再基于每个指令对应的概率大小判断大脑的指令。

本实施例通过深度神经网络模型基于脑电光流图的图像特征判断大脑的指令，提高了对大脑皮层电信号解码的准确率。

基于以上实施例，深度神经网络模型包括：卷积神经网络、递归神经网络和多个全连接层；深度神经网络模型的输入口为卷积神经网络的输入口，卷积神经网络的输出口连接至递归神经网络的输入口，多个全连接层依次连接，且第一个全连接层的输入口连接至递归神经网络的输出口，最后一个全连接层的输出口作为深度神经网络模型的输出口。

具体的，如图5，深度神经网络模型包括卷积神经网络、递归神经网络和多个全连接层，其中，卷积神经网络的入口作为深度神经网络模型的入口，脑电光流图输入到卷积神经网络，并将卷积神经网络的输出输入到递归神经网络，再将递归神经网络得到的输出输入到多个全连接层，本实施例中使用了两层全连接层，其中第一层全连接层使用relu作为激活函数，而第二层使用softmax作为激活函数，并输出解码为各个指令的归一化概率值。

基于以上实施例，卷积神经网络包括多个卷积层、多个池化层和一个dropout层，每一卷积层使用relu作为激活函数；递归神经网络包括多个递归神经单元，每一递归神经单元中包括长短期记忆网络。

具体的，如图5，卷积神经网络的结构为：一个卷积层、一个池化层、一个卷积层、一个池化层、一个卷积层、一个池化层以及一个dropout层依次连接，所有的卷积层使用relu作为激活函数；递归神经网络包括多个递归神经单元，递归神经单元对每帧的脑电光流图进行学习，递归神经单元使用长短期记忆网络(longshorttermmemory，简称为lstm)或门控循环单元(gatedrecurrentunit，简称为gru)作为节点类型，优选lstm，并在具体实施方法中连续包括两个128个节点的长短期记忆网络层。

基于以上实施例，如图6所示，将未经处理的大脑皮层电信号作为原始脑电信号，大脑皮层电信号解码的流程依次为将原始脑电信号经过频域滤波器滤波处理，以获得大脑皮层电信号的频域信息，在经过投射和差值处理得到脑电视频图，使脑电视频图具有大脑皮层电信号的空间信息，在将相邻帧的脑电视频图转换为脑电光流图，使脑电光流图具有时域信息，这样，获得的脑电光流图具有多个模态的信息，可以很好的适合于目前许多计算机深度学习中的高级算法；最后将脑电光流图输入到卷积神经网络，在通过递归神经网络获得最终的解码结果，即大脑的指令。

作为本发明的又一实施例，提供一种大脑皮层电信号解码的装置，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行上述各方法实施例所提供的方法，例如包括：将每帧的大脑皮层电信号转换成每帧的脑电视频图；通过光流法，并根据相邻帧的脑电视频图获取对应的脑电光流图；根据脑电光流图，确定大脑的指令。

作为本发明的又一个实施例，提供一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：将每帧的大脑皮层电信号转换成每帧的脑电视频图；通过光流法，并根据相邻帧的脑电视频图获取对应的脑电光流图；根据脑电光流图，确定大脑的指令。

作为本发明的又一个实施例，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机程序，该计算机程序使该计算机执行上述各方法实施例所提供的方法，例如包括：将每帧的大脑皮层电信号转换成每帧的脑电视频图；通过光流法，并根据相邻帧的脑电视频图获取对应的脑电光流图；根据脑电光流图，确定大脑的指令。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过计算机程序指令相关的硬件来完成，前述的计算机程序可以存储于一计算机可读取存储介质中，该计算机程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。