一种基于BCI的高级机械臂控制系统及其实现方法与流程

本发明属于智能机器人技术领域，尤其是一种基于bci的高级机械臂控制系统及其实现方法。

背景技术：

有很多残疾人虽然四肢完全瘫痪，无法满足正常日常生活需求，但是，这些人群的大脑和整个神经网络依然可以正常工作。为了实现这一类人能够有正常生活的诉求，同时缓解社会的经济压力和护理工作量，融合了现代各种高新技术可极大地缓解窘迫的现状。科研人员也越来越多的将其他技术应用到脑科学研究，特别是关于脑机接口设备的研发和应用。机器人可以在一定环境下解决护理问题，同时满足患者的生活需求，并能帮助提升其信心，具有巨大的社会价值。

与当前主流的通过按钮和声控或者其他控制策略来控制机器人的方式不同，基于bci的高级机械臂控制系统是非侵入式系统，脑机接口是一种从人头皮采集脑电信号并分析，是一种更为方便、安全和有效的控制方式，再加之高性价比，越来越受到研发人员和市场的欢迎。脑科学研究有多种检测脑活动的方式，其中基于稳态视觉诱发电位的脑-机接口可以很好地应用于人体，是患者能够会更加舒适、有效的体验日常生活。

基于bci(脑-机接口)的机器人控制系统已经被广泛应用于机器人、轮椅等各种现代自控领域中。通过采集脑电信号并分析，控制外部设备实现一定的目的，可以使四肢运动受损者实现正常的生活。中国专利文献“腰部可穿戴功能辅助机器臂”(专利申请号201510130861.6)提供了一种腰部可穿戴功能辅助机器臂，用来辅助帮助正常人和老年人的作业，减少劳动强度。中国专利文献“用眼动信号控制上假肢运动的控制系统和控制方法”(专利申请号201110215580.2)设计了一套基于眼动信号控制上假肢运动的控制系统。中国专利文献“一种假手柔顺抓取操作的串行多模态脑控方法”(专利申请号201510988443.0)设计了一种假手柔顺抓取物体的方法，受试通过视觉刺激识别要实现的动作，在此基础上通过采集4种面部表情所产生的脑电信号，处理后产生控制上肢机器臂的控制指令进而控制假手完成4种既定的动作。但是，上述专利普遍存在安全性差、控制方式不灵活且操作复杂等问题。

技术实现要素：

本发明的目的在于克服现有技术的不足，提出一种设计合理、安全可靠且控制方式灵活方便的基于bci的高级机械臂控制系统及其实现方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于bci的高级机械臂控制系统，包括机器视觉子系统、脑-机接口子系统和机械臂子系统；所述脑-机接口子系统和机器视觉子系统通过tcp/ip与机械臂子系统进行通信，所述机器视觉子系统通过照相方式识别和定位目标物件的坐标，所述脑-机接口子系统采集稳态视觉诱发电位产生的头皮脑电信号并对其进行实时分析、特征提取、在线解码人的控制意图并生成计算机可识别的控制命令，所述机器臂子系统根据控制命令进行操作。

所述脑-机接口子系统采用高频ssvep-bci子系统，该子系统包括计算机主机、计算机显示器和脑电信号获取模块，该计算机主机与脑电信号获取模块、计算机显示器相连；所述计算机主机中内置有脑电信号处理模块和视觉刺激模块，视觉刺激模块产生刺激界面并通过计算机显示器呈现出来进行视觉刺激；脑电信号获取模块安装在电极帽上并通过电极与使用者大脑皮层相连用于采集脑电信号，脑电信号获取模块采集的脑电信号被送入到脑电信号处理模块进行相应的信号处理并形成控制命令。

所述电极为9个，其分布符合国际10-20系统，参考电极为头顶，接地电极位于fpz和fz连线的中点，所有电极阻抗低于10kω。

所述脑电信号获取模块采用便携式脑电放大器，其数据采样率为1000hz，并进行在线50hz工频陷波。

所述机器臂子系统包括机械臂和机器人控制器，该机器人控制器与脑-机接口子系统和机器视觉子系统相连接并接收机器人控制命令，所述机器人控制器与机械臂相连接实现对机械臂的控制功能，机械臂将动作信息反馈给脑-机接口子系统，所述机械臂固定在一台安装有滚轮的光学平台上。

所述机器视觉子系统包括照相机和安装在计算机主机内的机器视觉图像处理模块，照相机对目标物件进行拍照并将数据传送给机器视觉图像处理模块，该视觉图像处理模块通过图像预处理、图像分割、特征提取和物体识别实现目标物件的定位功能。

一种基于bci的高级机械臂控制系统的实现方法，包括以下步骤：

步骤1、将机器视觉子系统、脑-机接口子系统和机械臂子系统连接在一起；

步骤2、脑-机接口子系统将刺激界面投射到计算机显示屏上，刺激界面包括命令和相对应的刺激频率；

步骤3、机器视觉子系统对目标物件拍照并识别和定位目标物件的坐标；

步骤4、使用者集中注意力观察计算机显示器上的以特定频率闪烁的目标块一段时间，大脑皮层所诱发出的脑电信号经过脑电信号获取模块采集，并通过脑电信号处理模块对其进行特征提取并解码使用者的意图，然后通过机器视觉子系统定位，将使用者的意图与机器臂的控制命令一一映射起来，进而完成对机器臂的控制；

步骤5、机器臂子系统根据使用者注意力的集中程度做出相应的反馈，同时机械臂拾取相应目标对象并将其放置在所需位置；

步骤6、返回步骤4并重复执行，进行下一次目标块识别任务，选择新的目标进行抓取。

所述刺激界面包含4个命令，呈现2×2排列，从左往右，第一行为矩形和圆形，第二行为三角和返回，前三个命令分别用于机械臂操作相应的物体，剩下的命令允许用户撤销上一次操作；四个命令对应的刺激频率分别为30、31、32、33hz。

所述步骤3的具体实现包括以下处理过程：图像采集处理、图像灰度处理、中值滤波处理、二值化处理、消除小物体处理、图像分割处理以及检测物体边界并定位。

所述步骤4的具体处理过程如下：

⑴脑-机接口子系统对采集到的脑电信号进行降采样处理，降采样频率为250hz；

⑵脑-机接口子系统对采集到的脑电信号进行线性趋势的滤出,并在此基础上进行50hz的工频率波；

⑶脑-机接口子系统对ssveps的振幅谱和信噪比进行了分析；

(4)脑-机接口子系统采用过滤库规范相关分析，对4类高频ssvep进行分类，采用以下加权相关系数作为目标识别的特征：

其中n是子带的指数，子带分量的权重定义如下：

w(n)＝n^-a+b，n∈[1n]

其中a和b是最大化分类性能的常数，参考信号的频率与最大被认为是ssvep的频率；

(5)脑-机接口子系统选择特征值最大时所对应的刺激频率的图片为使用者所注视的目标；

(6)脑-机接口子系统根据检测出的目标进行相应的视觉反馈提示，将相应的目标块用红色的方框框起来，同时将反馈结果传输给机器视觉子系统定位目标，并通过tcp/ip与机械臂子系统进行通信，实现操作功能。

本发明的优点和积极效果是：

1、本发明的控制系统将机器视觉、脑-机接口和机械臂有机地结合在一起，通过机器视觉识别和定位目标物件的坐标，通过脑-机接口采集稳态视觉诱发电位产生的头皮脑电信号并对其进行实时分析、特征提取，从而在线解码人的控制意图生成计算机可识别的控制信号并控制机械臂进行操作，实现精准的多目标化的控制功能，具有安全、高效可靠的特点。

2、本发明的视觉诱发电位脑-机接口的刺激频率在30hz左右，频率比较高，能够提升使用者的舒适度。

3、本发明所构建的稳态视觉诱发电位脑-机接口不需要训练就可以帮助使用者进行实时的操作控制，节省培训所需要的时间。

4、本发明可实现精准的多目标化的控制，从而衍生更多的控制模式，其控制方式灵活，满足不同的用户需要。

5、本发明在使用时，使用者可以用眼睛选择某一具体的物体，只需要选择目标，机器人就可以帮助患者实现对应物体的抓取和放置，操作简单。

附图说明

图1为本发明的系统连接示意图；

图2a是人机交互界面所显示的命令状态示意图；

图2b是人机交互界面所显示的频率状态示意图；

图3是机器视觉子系统的图像处理算法流程图；

图4是脑-机接口子系统控制命令生成过程示意图。

具体实施方式

以下结合附图对本发明实施例做进一步详述。

一种基于bci的高级机械臂控制系统，如图1所示，包括机器视觉子系统、脑-机接口子系统和机械臂子系统。所述机器视觉子系统用于识别和定位目标物件的坐标。所述脑-机接口子系统采集稳态视觉诱发电位产生的头皮脑电信号并对其进行实时分析、特征提取，从而在线解码人的控制意图生成计算机可识别的控制信号。所述机器臂子系统能够根据使用者要求移动到相应的位置并在物理约束范围内实现空间内任意物体的抓取。脑-机接口子系统和机器视觉子系统通过tcp/ip与机械臂子系统进行通信，传输控制命令，使机械臂子系统实现人的意图。下面对三个子系统分别进行说明：

所述脑-机接口子系统采用高频ssvep-bci子系统(高频稳态视觉诱发电位脑-机接口子系统)，该子系统包括计算机主机、计算机显示器和脑电信号获取模块，该计算机主机与脑电信号获取模块、计算机显示器相连。所述计算机主机中内置有脑电信号处理模块和视觉刺激模块，计算机主机内的视觉刺激模块产生刺激界面并通过计算机显示器呈现出来进行视觉刺激；脑电信号获取模块安装在电极帽上并通过电极与使用者大脑皮层相连用于采集脑电信号，脑电信号获取模块采集的脑电信号被送入到脑电信号处理模块进行相应的信号处理，最后将识别结果输入机械臂子系统。

在本实施例中，计算机主机采用戴尔工作站，计算机显示器采用华硕27英寸、刷新频率120hz、分辨率1920×1080显示器。所述脑电信号获取模块采用博睿康公司的便携式脑电放大器，采样率为1000hz，并在此基础上进行50hz陷波。便携式脑电放大器只记录顶枕区9个电极(pz、po5、po3、poz、po4、po6、o1、oz、o2)，电极分布符合国际10-20系统，参考电极为头顶，接地电极位于fpz和fz连线的中点，所有电极阻抗低于10kω。

计算机主机内的视觉刺激模块采用matlab的psychtoolbox工具包编写，其利用采样正弦编码方法在计算机显示器上实现所需的闪烁频率，并将刺激界面投射到刺激屏幕上。计算机显示器上的用户界面包含4个命令，呈现2×2排列(如图2a所示)，前三个命令分别用于机械臂操作相应的物体，剩下的命令允许用户撤销上一次操作。四个命令对应的刺激频率分别为30、31、32、33hz(如图2b所示)。计算机主机内的脑电信号处理模块能够对脑电信号特征进行提取并获得特征的最大值所对应的刺激频率的图片为使用者所注视的目标，形成控制命令并传输给机械臂子系统。在本实施例中，脑-机接口子系统和机器视觉子系统运行于同一台计算机上，并通过tcp/ip与机械臂子系统连接在一起，实现实时的信息交互功能。

所述机器视觉子系统包括照相机和机器视觉图像处理模块，照相机对目标物件进行拍照并将数据传送给机器视觉图像处理模块，该视觉图像处理模块安装在计算机主机内，通过图像预处理、图像分割、特征提取和物体识别，实现目标物件的识别功能。

机器臂子系统包括机械臂和机器人控制器，所述机器人控制器与脑-机接口子系统和机器视觉子系统相连接并接收机器人控制命令，该控制命令与机器臂的动作命令一一映射。所述机器人控制器与机械臂相连接实现对机械臂的控制功能，机械臂将动作信息反馈给脑-机接口子系统。所述机械臂固定在一台安装有滚轮的光学平台上，能够根据使用者要求移动到相应的位置。

基于bci的高级机械臂控制系统的实现方法，包括以下步骤：

步骤1、将机器视觉子系统、脑-机接口子系统和机械臂子系统连接在一起，并将脑电测量电极安放在使用者顶枕区，电极分布符合国际10-20系统，在头顶处安放参考电极，在fpz和fz连线的中点处安放接地电极。

步骤2、脑-机接口子系统将刺激界面投射到刺激屏幕上。刺激界面包含4个命令，呈现2×2排列，从左往右，第一行为矩形和圆形，第二行为三角和返回。前三个命令分别用于机械臂操作相应的物体，剩下的命令允许用户撤销上一次操作。四个命令对应的刺激频率分别为30、31、32、33hz。

步骤3、机器视觉子系统对目标物件拍照并识别和定位目标物件的坐标。处理

本步骤的具体实现方法如图3所示，包括图像采集处理、图像灰度处理、中值滤波处理、二值化处理、消除小物体处理、图像分割处理以及检测物体边界并定位，最终实现识别和定位目标物件的坐标功能。

步骤4、使用者集中注意力观察计算机显示器上的以特定频率闪烁的目标块一段时间，大脑皮层所诱发出的脑电信号经过脑电信号获取模块采集，并通过脑电信号处理模块对其进行特征提取并解码使用者的意图，然后通过机器视觉子系统定位，将使用者的意图与机器臂的控制命令一一映射起来，进而完成对机器臂的控制。

本步骤的具体实现方法为：

步骤41、脑-机接口子系统对采集到的脑电信号进行降采样处理，降采样频率为250hz；

步骤42、脑-机接口子系统对采集到的脑电信号进行线性趋势的滤出，并在此基础上进行50hz的工频率波；

步骤43、脑-机接口子系统对ssveps的振幅谱和信噪比进行了分析；

步骤44、脑-机接口子系统采用过滤库规范相关分析(filterbankcanonicalcorrelationanalysis，fbcca)，fbcca方法对4类高频ssvep进行分类。其具体处理方法如图所示，采用以下加权相关系数作为目标识别的特征：

其中n是子带的指数。子带分量的权重定义如下：

w(n)＝n^-a+b，n∈[1n](2)

其中a和b是最大化分类性能的常数。参考信号的频率与最大被认为是ssvep的频率。

步骤45、脑-机接口子系统选择特征值最大时所对应的刺激频率的图片为使用者所注视的目标。

步骤46、脑-机接口子系统根据检测出的目标进行相应的视觉反馈提示，将相应的目标块用红色的方框框起来，同时将反馈结果传输给机器视觉子系统定位目标，并通过tcp/ip与机械臂子系统进行通信，实现抓取目标。

步骤5、机器臂子系统根据使用者注意力的集中程度做出相应的反馈，同时机械臂拾取相应目标对象并将其放置在所需位置。

步骤6、返回步骤4并重复执行，进行下一次目标块识别任务，选择新的目标进行抓取。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。