一种基于运动想象的上肢外骨骼控制方法及系统与流程

本发明涉及康复医疗与运动想象脑电分类技术，特别是涉及一种基于运动想象的上肢外骨骼控制方法及系统。

背景技术：

近年来，康复型上肢外骨骼作为一种辅助的治疗设备，通过智能人机接口，可对处于不同康复期的脑卒中患者提供不同强度、不同模式的训练。脑机接口技术(brain-computer interface，BCI)利用脑电信号(electroencephalogram，EEG)可以实现人脑与计算机或其它电子设备的通讯和控制，已经大量应用于康复训练中。作为一种人机交互的控制手段，脑机接口技术不仅和其它传统控制方式(表面肌电信号和力反馈)一样可以辨识患者运动意图，还可以帮助神经肌肉系统瘫痪但思维正常的患者实现与外界的交互。

传统的运动想象分类方法先手工提取EEG时频特征信息，然后采用机器学习的方法建立EEG特征和运动想象之间的映射关系。但由于脑电信号的信噪比低，脑机接口面临的主要问题之一是分类率低，一些基于传统方法(特征提取和分类模块分离)对左、右手运动想象分类的研究得出的识别率还未能高于80％。因此，如何对脑电信号进行有效地特征提取和分类，已成为运动想象辨识的重要研究内容。例如，山东大学的“一种基于卷积神经网络的P300脑电信号检测方法”专利申请文件(201510445894.X)提出了一种基于卷积神经网络的P300脑电信号检测方法，它通过卷积神经网络对P300脑电信号进行特征提取，并进一步进行检测。但是其存在很大不足，一是方法中的卷积核设置为一般图像识别中的矩阵，会使卷积运算后的特征中同时混杂空间和时间信息；二是P300脑电信号属于诱发脑电，需要外界刺激产生，不如运动想象脑电(自发脑电)具有实际操作性；三是通过P300脑电信号的检测，只能作为一个开关指令，而通过运动想象可以进行多类别的识别，输出多种控制指令。

深度学习中的卷积神经网络(convolutional neural network，CNN)是一种多层感知器的变种，已被广泛运用于语音识别和图像识别领域。基于局部感受野和权值共享的概念，CNN能大大降低网络结构的复杂度，减少权值的数量。由于CNN直接面向原始信号，可以提取更广泛、更深层、更具有区别度的特征信息。因此，可以有效避免传统方法中将特征提取和解码模块分离而导致特征提取过程中信息丢失的问题。已有相关专利将CNN应用于诱发脑电(如201510445894.X)，但仍没有将其应用于运动想象脑电的分类。诱发脑电和自发脑电两者产生的模式不同，导致不同的基本特性，因此分类的过程、表现不同。并且，脑电信号是一种将时间和空间特征结合的信号，现有基于CNN的二维图像识别方法并不适用，需针对性地设置卷积核大小和网络结构。

技术实现要素：

为了克服已有脑电信号由于信噪比低导致分类识别率较低、体验效果较差的不足，本发明提供一种分类识别率较高、体验效果良好的基于运动想象的上肢外骨骼控制方法及系统。

本发明解决其技术问题所采用的技术方案是：

一种基于运动想象的上肢外骨骼控制方法，所述控制方法包括以下步骤：

1)被试根据显示屏中的左箭头或下箭头提示进行相应的运动想象，即左手运动想象和脚运动想象，产生的原始脑电信号进行预处理；

2)针对脑电信号的时-空特性，设计了一种5层的CNN结构，第1层为输入层，第2层为卷积层，第3层为降采样层，第4、5层为全连接层，第3层的输出和第4、5层构成分类部分；根据脑电信号时间和空间特征相结合的特性，将卷积核设置为向量，而非一般图像识别中的矩阵，不使卷积运算后的特征中同时混杂两种信息；

将预处理后的原始脑电信号输入所述CNN结构，对脑电信号进行特征提取和分类，输出识别结果；

3)上肢外骨骼控制器根据输出识别结果获得驱动器控制信号，驱动上肢外骨骼并带动前臂做相应运动；如果分类结果为左手运动想象，则上肢外骨骼做伸动作，如果分类结果为脚运动想象，则上肢外骨骼做屈动作。

进一步，所述步骤2)中，所述第1层中，每个输入样本为的输入矩阵，其中28代表通道数，60表示每个通道中的时间采样点；

所述第2层中，对原始输入样本进行空间滤波，因此该层与输入层之间的连接是局部连接。；在该层使用8种滤波器，每种滤波器去卷积输入矩阵就得到不同特征的映射，即得到8个特征图；卷积核的大小设置为[28×1]，每个特征图的大小为(1×60)；卷积核设置为向量；

所述第3层中，对脑电信号在时间上的特征提取，针对第2层中每个特征图使用5种滤波器，因此在经过此部分的映射后，第3层共有40个特征图，卷积核的大小设置为[1×10]，每个特征图的大小为(1×6)；设置卷积步长与卷积核长度相同；

所述第4层，配合第3层和输出层组成分类部分，因此该层前后都是全连接，神经元个数定为100个；

所述第5层为输出层，包含2个神经元，代表了二分类问题，即左手运动想象或脚运动想象。

再进一步，所述步骤1)中，被试通过左箭头或下箭头的提示信号，进行左手运动想象和脚运动想象，分别控制上肢外骨骼的伸动作和屈动作。

更进一步，所述步骤1)中，所述预处理包括放大、A/D转换和滤波步骤，滤波频率段为8-30Hz。

一种基于运动想象的上肢外骨骼控制系统，所述控制系统包括原始脑电信号采集单元、预处理模块、CNN分类模块和上肢外骨骼控制器，所述原始脑电信号采集单元采集的原始脑电信号通过预处理模块进行处理，然后输入CNN分类模块中的特征提取模块和分类模块对脑电信号进行特征提取和分类，输出识别结果；上肢外骨骼控制器根据输出结果获得驱动器控制信号，驱动上肢外骨骼并带动前臂做相应运动；如果分类结果为左手运动想象，则上肢外骨骼做伸动作，如果分类结果为脚运动想象，则上肢外骨骼做屈动作。

所述上肢外骨骼包括两条气动肌肉、气动肌肉固定件、后臂金属连杆、前臂金属连杆、电位器、电位器固定件、连接绳、尼龙关节和四个大小可调的碳纤维护腕；两条气动肌肉作为驱动器，所述驱动器的固定端和气动肌肉固定件通过螺丝固定，所述驱动器的活动段通过连接绳相连；气动肌肉固定件与后臂金属连杆相固定；连接绳与尼龙关节的一段相固定，两条气动肌肉通过拉伸连接绳带动尼龙关节旋转；尼龙关节和前臂金属连杆相连，尼龙关节运动时，前臂金属连杆跟着同步运动；电位器用来实时反馈角度信号，输入给显示屏上的模拟反馈条使其运动，同时作为分类模型的输出值，结合期望值评估分类表现；电位器的外壳和电位器固定件相连，电位器的转柄和尼龙关节相连。

本发明的技术构思为：不同的运动想象(如想象左手、右手、脚、舌的运动)，会使大脑皮层的对应区域的脑电信号产生变化。如想象单侧手运动时，在特定频率段大脑对侧的运动感觉区的mu节律和beta节律能量减小，而同侧的运动感觉区mu节律和beta节律能量增大，这种现象被称为事件相关去同步(event-related desynchronization，ERD)和事件相关同步(event-related synchronization，ERS)。脚、舌的运动也会在大脑皮层的相应区域产生类似现象。基于运动想象的脑机接口系统可以对这些不同的ERD/ERS模式进行分类，从而获得上肢外骨骼的控制信号。

根据脑电信号时间和空间特征相结合的特性，创新地采用基于深度学习理论的卷积神经网络对单次运动想象脑电信号进行特征提取和分类，输出指令进行上肢外骨骼的实时控制。该方法可以有效的解决脑电信号因信噪比低导致分类率低的问题，分类识别率可以达到90％以上；将该方法应用到上肢外骨骼中，控制方式更加灵活、自然，操作更加简单，从而达到良好的体验效果。

本发明的一种基于运动想象的上肢外骨骼控制方法及系统，适用于手部、肢体残障人士的康复训练，以及基于脑机接口控制的智能家居、娱乐游戏、军事训练等方面。

本发明的有益效果主要表现在：

(1)采用基于深度学习理论的卷积神经网络对单次运动想象脑电信号进行特征提取和分类，有效的解决脑电信号因信噪比低导致分类率低的问题；

(2)根据脑电信号时间和空间特征相结合的特性，将卷积核设置为向量而非一般图像识别中的矩阵，不使卷积运算后的特征中同时混杂两种信息；

(3)将该方法应用到上肢外骨骼中，控制方式与诱发脑电控制相比，更加灵活、自然，操作更加简单，从而达到良好的体验效果。

附图说明

图1是本发明整体方法流程图；

图2是单次运动想象时序图；

图3是CNN分类模块的框架图；

图4是上肢外骨骼的结构图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图4，一种基于运动想象的上肢外骨骼控制方法，包括如下步骤：被试(2)根据显示屏中的箭头提示进行相应的运动想象，产生的原始脑电信号通过预处理模块(3)进行处理，并输入CNN分类模块(4)；CNN分类模块(4)进行脑电信号的特征提取和分类，输出识别结果；上肢外骨骼控制器(5)根据输出结果获得驱动器控制信号，驱动上肢外骨骼并带动前臂做相应运动。

一种基于运动想象的上肢外骨骼控制系统，包括原始脑电信号采集单元、预处理模块(3)、CNN分类模块(4)和上肢外骨骼控制器(5)，被试(2)根据显示屏(1)中的左箭头或下箭头提示进行相应的运动想象(左手运动想象和脚运动想象)，产生的原始脑电信号通过预处理模块(3)进行处理，包括放大、A/D转换、滤波步骤，然后输入CNN分类模块(4)中的特征提取模块(41)和分类模块(42)对脑电信号进行特征提取和分类，输出识别结果；上肢外骨骼控制器(5)根据输出结果获得驱动器控制信号，驱动上肢外骨骼(6)并带动前臂做相应运动；如果分类结果为左手运动想象，则上肢外骨骼(6)做伸动作，如果分类结果为脚运动想象，则上肢外骨骼(6)做屈动作。

运动想象脑电数据采集设备采用荷兰BioSemi公司的ActiveTwo64通道脑电信号采集系统。根据10/20系统法采集28个通道的脑电数据，分别为FC5、FC3、FC1、FCz、FC2、FC4、FC6、C5、C3、C1、Cz、C2、C4、C6、CP5、CP3、CP1、CPz、CP2、CP4、CP6、P5、P3、P1、Pz、P2、P4和P6。参考电极安置在左耳乳突处；接地电极由CMS和DRL两个独立电极替代。设置采样频率为1000Hz，高通滤波1Hz，低通滤波100Hz，工频陷波50Hz。在安置电极前，需用酒精擦拭皮肤，并使用导电膏降低电极与头皮之间的阻抗。

所述显示屏(1)可以为显示器、平板或其他显示设备。

如图2所示，基于箭头提示的单次运动想象时序过程如下：每次运动想象持续8秒，前两秒显示屏(1)显示空白，之后在显示屏(1)中央出现一个“+”字，并发出声音提示，提醒被试运动想象即将开始；从4秒到8秒，显示屏(1)上的“+”字变为随机产生的向左或向下的箭头，被试根据箭头指向想象左手运动或脚运动。每次运动想象间有2-5秒的随机间隔；每35次运动想象之间有3分钟的休息时间，以防止被试疲劳。

所述被试(2)为无脑损伤或脑部疾病的健康成年人。

所述预处理模块(3)包括放大、A/D转换、滤波步骤；滤波频率段为8-30Hz；为获得最强的ERD/ERS模式，截取每次运动想象的第4-7秒脑电信号进行处理；定义数据分段的开窗长度为50毫秒，因而每个输入样本将由一个28通道×60时间采样点(3s时间段×1000Hz采样率÷50ms开窗长度)的矩阵组成；

如图3所示，针对脑电信号的时-空特性，设计了一种5层的CNN结构，第1层为输入层，第2层(卷积层)和3层(降采样层)构成特征提取模块，第3层的输出(特征值)和第4、5层(全连接层)构成分类部分。各层形容如下：

L1：该层为输入层，每个输入样本为28×60的输入矩阵，其中28代表通道数，60表示每个通道中的时间采样点；

L2：该层为卷积层(第1隐含层)，主要作用是对原始输入样本进行空间滤波，因此该层与输入层之间的连接是局部连接。在该层使用8种滤波器，每种滤波器去卷积输入矩阵就得到不同特征的映射，即得到8个特征图。卷积核的大小设置为[28×1]，每个特征图的大小为(1×60)。卷积核设置为向量而非一般图像识别中的矩阵，其原因是不使卷积运算后的特征中混杂两种信息，只包含空间特征；

L3：该层为降采样层(第2隐含层)，主要作用是对脑电信号在时间上的特征提取，因此也加入了局部连接和权值共享的理念。针对L2层中每个特征图使用5种滤波器，因此在经过此部分的映射后，L3层共有40个特征图。卷积核的大小设置为[1×10]，每个特征图的大小为(1×6)。设置卷积步长与卷积核长度相同的原因是为了减少参数防止过拟合，在实现卷积操作的同时实现降采样；

L4：该层为全连接层(第3隐含层)，作用是配合前一层和输出层，组成分类部分，因此该层前后都是全连接。神经元个数定为100个；

L5：该层为输出层，包含2个神经元，代表了二分类问题(左手运动想象或脚运动想象)。

CNN的训练过程主要采用的是反向传播算法，即输入训练数据，先前向计算各神经元的激活值，然后再反向计算误差，并对误差求各个权值和偏置的梯度，并据此调整各个权值和偏差。定义网络中的一个神经元为n(l,m,j)，其中l表示层数，m表示该层中的第m个特征图，j表示该特征图中的第j个神经元。各层中每个神经元的输入和输出表示为：和并且

其中，f()是激活函数。前两层隐含层(L2和L3)采用双曲正切函数作为激活函数：

f(x)＝atanh(bx) (2)

其中，a＝1.7159，后两层全连接层采用Sigmoid函数作为激活函数：

网络各层神经元数据间的传递关系如下：

L1：N通道×T时间采样点，可以表示为I_N，T，其中N为通道数，T为采样点。

L2：在卷积层中，上一层的特征图被一个可学习的卷积核进行卷积，然后通过一个激活函数，就可以得到输出特征图：

其中，为[28×1]的卷集核，为偏置。

L3：该层与第二层类似：

其中，为[1×10]的卷积核，为偏置。

L4：L3层的所有神经元全连接该层所有的神经元：

其中，为L3层神经元到L4层神经元的连接权值，b⁴(j)为偏置。

L5：L4层的所有神经元全连接该层所有的神经元：

其中，w⁵(i)为L4层神经元到L5层神经元的连接权值，b⁵(j)为偏置。

为了保证网络能有效的进行训练和收敛，需进行网络权值和偏置的初始化。本文中网络的连接权值和偏置被初始化在一个[±1/n(l,m,i)_Ninput]的区间内均匀分布，其中n(l,m,i)_Ninput为第l层，第m个特征图中与第i个神经元相连的前层神经元个数。第L2和L3层的学习率γ被定义为

其中，为第l层，第m个特征图中共享权值的神经元个数。第L4和L5层的学习率γ被定义为

梯度下降法被用来调节连接权值和偏置，使最终的误差达到最小。最大迭代次数设置为10000。

如图4所示，所述上肢外骨骼(6)由两条气动肌肉(61)、气动肌肉固定件(62)、后臂金属连杆(63)、前臂金属连杆(64)、电位器(65)、电位器固定件(66)、连接绳(67)、尼龙关节(68)和四个大小可调的碳纤维护腕(69)组成；两条气动肌肉(61)作为驱动器，固定端(611)和气动肌肉固定件(62)通过螺丝固定，活动段(612)通过连接绳(67)相连；气动肌肉固定件(62)与后臂金属连杆(63)相固定；连接绳(67)与尼龙关节(68)的一段相固定，两条气动肌肉(61)通过拉伸连接绳(67)带动尼龙关节(68)旋转；尼龙关节(68)和前臂金属连杆(64)相连，尼龙关节(68)运动时，前臂金属连杆(64)跟着同步运动；电位器(65)用来实时反馈角度信号，输入给显示屏(1)上的模拟反馈条使其运动，同时，可以作为分类模型的输出值，结合期望值评估分类表现；电位器(65)的外壳和电位器固定件(66)相连，电位器(65)的转柄和尼龙关节(68)相连；两段金属连杆可以根据受试者手臂长短的不同进行调节，前臂金属连杆(64)的可调范围为25厘米到30厘米，后臂金属连杆(63)的可调范围为20厘米到25厘米；四个大小可调的碳纤维护腕(69)用来进行上肢外骨骼(6)的固定。作为一个自由度的机械本体，使用者肩部需要有个固定的角度值(0°到180°)，而肘关节角度范围为0°到90°(平均人体测量数值)。整个上肢外骨骼系统(6)重2.1千克。

所述上肢外骨骼控制器(5)根据CNN分类模块(4)的输出结果获得驱动器控制信号，方法如下：两条气动肌肉(61)与尼龙关节(68)相连，带动其旋转；两条气动肌肉(61)的初始气压值为P₀，收缩率为ε₀，收缩力F₀，长度为L₀；当一个气压信号ΔP输入，两条气动肌肉(61)的气压值分别变为P₀+ΔP和P₀-ΔP，收缩率变为ε_a和ε_b，收缩力变为F_a和F_b，长度变为L₀-ΔL和L₀+ΔL，其中，这时，上肢外骨骼(6)的尼龙关节(68)由于力矩的不平衡而旋转，直到力矩新平衡的建立；两条气动肌肉(61)的收缩力F_a和F_b可以由以下公式得到：

F_a＝(P₀+ΔP)[a(1-ε_a)²-b] (10)

F_b＝(P₀-ΔP)[a(1-ε_b)²-b] (11)

其中，D₀为气动肌肉初始外径，θ₀为气动肌肉纤维初始编织角；则新平衡力矩可以表示为：

M＝(F_a-F_b)×R (12)

根据公式(10)-(12)，气压信号ΔP可以由以下公式得到：

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。