基于眼电信号识别的机器人控制系统及该系统的设计方法
【专利摘要】一种基于眼电信号识别的机器人控制系统及该系统的设计方法，其中设计方法包括：步骤1：利用Cortex?M3系列CPU设计人体眼电信号采集单元，用于眼电信号采集与该信号的预处理；步骤2：对采集并预处理过的受试者眼电信号，设计信号特征提取单元，以提取眼电信号中相关特征并对眼部运动进行识别；步骤3：根据提取到的眼电信号相关特征，运用模糊控制理论，设计基于眼电信号的智能机器人运动控制单元。本发明通过对眼电信号的采集处理，充分考虑到老年人以及残障人士在控制方式上的特殊需要，避免了由传统控制方式控制的机器人给老人或残疾人带来的身体负担。
【专利说明】
基于眼电信号识别的机器人控制系统及该系统的设计方法
技术领域
[0001]本发明涉及到机器人控制系统，尤其是关于一种基于眼电信号识别的助老助残智能移动机器人控制系统及其设计方法。
【背景技术】
[0002]当今，随着世界各国相继进入老龄化，社会上出现了越来越多的脑卒中或中风病患者，并且先天性或者后天性的残疾病人的数量也在逐年增长。这些老年人或者中风患者在日常生活中丧失了基本的行动能力，所以助老助残现在已经成为较为重要的社会问题。
[0003]近年来，社会上已经出现了一些助老助残的服务机器人，比如遥控机器人、声控机器人等。但由于此类机器人均需要使用者有良好的肢体运动能力及语言表达能力，而老年人及中风患者通常由于脑组织退化或损伤，导致他们在运动、感觉和意识等功能上有一定障碍甚至是基本丧失了这些功能。所以采用传统的智能机器人有时不仅不能帮到老年人或中风患者，反而会给他们带来很大的身体负担。所以生物信号已经逐渐被运用到康复援助设备中，用以提高使用者的生活质量。
[0004]经研究表明，人的眼睛收到损伤的概率较低，且中风病人或者老年人即使身体移动困难，但是眼部活动也会较为正常，所以若采用眼电信号控制机器人，则会大大降低机器人控制的局限性。但国内对眼电信号在控制智能机器人方面的研究还比较空白，故本发明提供了一种基于眼电信号识别的助老助残智能移动机器人控制系统的设计方法。
【发明内容】
[0005]本发明的目的是提供一种基于眼电信号识别的助老助残智能移动机器人控制系统及其设计方法，解决现有技术中存在的机器人控制方法局限性大，不能完全适用于老人或中风患者等由于脑组织退化或损伤，在运动或语言功能上有障碍的人的问题。这种方法简单便捷，在一定程度上增加了智能机器人在控制方法上的多样性，而且实用性强。
[0006]本发明的技术解决方案是:
[0007]—种基于眼电信号识别的机器人控制系统，包括:
[0008]人体眼电信号采集单元，用于眼电信号采集与该信号的预处理；
[0009]信号特征提取单元，对预处理后的信号提取LPC系数、ALPC系数为特征;将LPC系数与归一化极值组成组合特征、将ALPC系数与归一化极值组成组合特征;所述归一化极值指代将眼电信号进行幅度归一化后求取极大值和极小值；
[0010]眼部运动模式识别单元，根据眼电信号特征识别人眼动作；
[0011]智能机器人运动控制单元，根据眼部运动模式是识别单元的人眼动作识别结果，使得智能机器人的动作指令与人眼动作相对应。
[0012]所述的基于眼电信号识别的机器人控制系统，其进一步设计在于:所述人体眼电信号采集单元包括依次连接的AgCl医疗电极片、眼电信号前端放大电路、眼电信号滤波电路、眼电信号后级放大电路，将对眼电信号进行1000倍放大的同时进行滤波处理;AgCl医疗电极片有三片，具体分别贴附于眉骨中上部、下眼睑下部以及眼尾处。
[0013]所述的基于眼电信号识别的机器人控制系统，其进一步设计在于:所述眼部运动模式识别单元包括单片机以及与单片机连接的BP神经网络，完成针对连续多次眨眼信号的分类识别与眼球扫视信号的分类识别。
[0014]所述的基于眼电信号识别的机器人控制系统，其进一步设计在于:所述智能机器人运动控制单元包括Marvell Xscale PXA270处理器以及若干个设置于智能机器人的⑶S5516机器人舵机，所述Marvel I Xscale PXA270处理器根据眼部运动模式识别单元的识别结果向相应的CDS5516机器人舵机发出动作指令。
[0015]—种基于眼电信号识别的机器人控制系统的设计方法，其特征在于包括以下步骤:
[0016]步骤1:利用CorteX-M3系列CPU设计人体眼电信号采集单元，用于眼电信号采集与该信号的预处理；
[0017]步骤2:对采集并预处理过的受试者眼电信号，设计信号特征提取单元，以提取眼电信号中相关特征并对眼部运动进行识别；
[0018]步骤3:根据提取到的眼电信号相关特征，运用模糊控制理论，设计基于眼电信号的智能机器人运动控制单元。
[0019]所述的基于眼电信号识别的机器人控制系统的设计方法，其进一步设计在于:在步骤I中，眼电信号采集系统包括AgCl医疗电极片，眼电信号前端放大电路，眼电信号滤波电路，眼电信号后级放大电路，将对眼电信号进行1000倍放大的同时进行滤波处理。
[0020]所述的基于眼电信号识别的机器人控制系统的设计方法，其进一步设计在于:在步骤2中，对于已经检出单个周期的信号提取提取LPC系数、ALPC系数为特征、LPC系数与归一化极值组成组合特征、ALPC系数与归一化极值组成组合特征，以达到更好地描述该段信号的目标;其中，将眼电信号进行幅度归一化后求取极大值和极小值，为所述归一化极值。
[0021]所述的基于眼电信号识别的机器人控制系统的设计方法，其进一步设计在于:在眼电信号模式识别中，分别针对连续多次眨眼信号的分类识别与扫视信号的分类识别两部分独立进行，具体为:
[0022]受试者眼球向上运动；
[0023]受试者眼球向下运动；
[0024]受试者眼球向左运动；
[0025]受试者眼球向右运动；
[0026]受试者有意识眨眼一次；
[0027]受试者有意识连续眨眼两次；
[0028]受试者眼睛恢复正常状态。
[0029]所述的基于眼电信号识别的机器人控制系统的设计方法，其进一步设计在于:在步骤3中，令机器人的移动方向与人们视觉方向同向，系统采用CDS5516舵机提供动力来源，并配套使用Marvell Xscale PXA270处理器来进行对机械臂的驱动。
[0030]所述的基于眼电信号识别的机器人控制系统的设计方法，其进一步设计在于:在通过多种眼部运动方式来实现对智能移动机器人的控制中，设计控制命令具体为:
[0031]前进命令:受试者眼球向上运动；
[0032]后退命令:受试者眼球向下运动；
[0033]左转命令:受试者眼球向左运动；
[0034I右转命令:受试者眼球向右运动；
[0035]抓举命令:受试者有意识眨眼一次；
[0036]放下命令:受试者有意识连续眨眼两次；
[0037]停止命令:受试者眼睛恢复正常状态。
[0038]采用上述方案后，用户就能通过眼球运动的方式对智能机器人的前进，后退，左转，右转，抓举、放下、停止等运动进行实时有效控制。
[0039]本发明即一种基于眼电信号识别的助老助残智能移动机器人控制系统的设计方法具有以下优势:
[0040](I)本发明通过对眼电信号的采集处理，充分考虑到老年人以及残障人士在控制方式上的特殊需要，避免了由传统控制方式控制的机器人给老人或残疾人带来的身体负担；
[0041](2)本发明的眼电信号采集的数据实时性强、数据准确，能够灵敏的反映出用户的需求，实现对智能移动机器人系统的高效控制；
[0042](3)本发明的控制方法多样化，可以按照用户自身的行为习惯对控制方法进行修改定义，找到更符合用户本身需求的控制方式，更好的满足用户的需求；
[0043](4)本发明的操作方式简便、快捷、易于学习，用户在使用时能得到良好的的用户体验，非常能够满足老龄人以及残障人士的现实需求。
【附图说明】
[0044]为了更清楚地说明本发明实例或现有技术中的技术方案，下面将对实例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他附图。
[0045]图1为本发明实例基于眼电信号识别的机器人控制系统的整体框架结构示意图；
[0046]图2为本发明实例中贴片电极在人脸的位置；
[0047]图3为本发明实例中眼电信号调理框图；
[0048]图4为本发明实例中有意识眨眼信号波形图；
[0049]图5为本发明实例中眼球运动时信号的波形图；
[0050]图6为本发明实例中眼睛运动控制分类示意框图。
【具体实施方式】
[0051]下面结合附图详细说明本发明的优选实施例。
[0052]该基于眼电信号识别的助老助残智能移动机器人控制系统具体包括:
[0053]人体眼电信号采集单元，用于眼电信号采集与该信号的预处理；
[0054]信号特征提取单元，对预处理后的信号提取LPC系数、ALPC系数为特征;将LPC系数与归一化极值组成组合特征、将ALPC系数与归一化极值组成组合特征;归一化极值指代将眼电信号进行幅度归一化后求取极大值和极小值;眼部运动模式识别单元，根据眼电信号特征识别人眼动作；
[0055]智能机器人运动控制单元，根据眼部运动模式是识别单元的人眼动作识别结果，使得智能机器人的动作指令与人眼动作相对应；
[0056]人体眼电信号采集单元包括依次连接的AgCl医疗电极片、眼电信号前端放大电路、眼电信号滤波电路、眼电信号后级放大电路，将对眼电信号进行1000倍放大的同时进行滤波处理。如图2所示，AgCl医疗电极片有三片，具体分别贴附于眉骨中上部(位置1)、下眼睑下部(位置2)以及眼尾处(位置3)。
[0057]眼部运动模式识别单元包括单片机以及与单片机连接的BP神经网络，完成针对连续多次眨眼信号的分类识别与眼球扫视信号的分类识别。
[0058]智能机器人运动控制单元包括Marvell Xscale PXA270处理器以及若干个设置于智能机器人的CDS5516机器人舵机，Marvell Xscale PXA270处理器根据眼部运动模式识别单元的识别结果向相应的CDS5516机器人舵机发出动作指令。
[0059]该基于眼电信号识别的助老助残智能移动机器人控制系统的设计方法，包括以下步骤:
[0060]步骤1:利用CorteX-M3系列CPU设计人体眼电信号采集单元，主要用于眼电信号采集与信号的预处理，将对眼电信号进行1000倍放大的同时进行滤波处理；
[0061]步骤2:对采集并预处理过的受试者眼电信号，设计信号特征提取单元，提取LPC系数、ALPC系数为特征、LPC系数与归一化极值组成组合特征、ALPC系数与归一化极值组成组合特征，分别针对连续多次眨眼信号的分类识别与眼球运动信号的分类识别两部分独立进行，具体为:
[0062]受试者眼球向上运动；
[0063]受试者眼球向下运动；
[0064]受试者眼球向左运动；
[0065]受试者眼球向右运动；
[0066]受试者有意识眨眼一次；
[0067]受试者有意识连续眨眼两次；
[0068]受试者眼睛恢复正常状态。
[0069]步骤3:根据提取到的眼电信号相关特征，运用模糊控制理论，设计基于眼电信号识别的助老助残智能移动机器人运动控制单元。机器人控制系统采用CDS5516舵机提供动力来源，并配套使用Marvell Xscale PXA270处理器来进行对机械臂的驱动，在通过多种眼部运动方式来实现对智能移动机器人的控制中，设计控制命令具体为:
[°07°]前进命令:受试者眼球向上运动；
[0071]后退命令:受试者眼球向下运动；
[0072]左转命令:受试者眼球向左运动；
[0073I右转命令:受试者眼球向右运动；
[0074]抓举命令:受试者有意识眨眼一次；
[0075]放下命令:受试者有意识连续眨眼两次；
[0076]停止命令:受试者眼睛恢复正常状态。
[0077]下面结合附图和实施例，对实施例进行详细的描述:
[0078]首先，随机选出测试者，在附图2所示的脸部区域内贴上由AgCl贴片电极构成的眼电信号采集贴片，采集到的眼电信号输入信号处理电路，其中附图3给出了眼电信号处理电路的结构框架，主要包括电源模块、AD623放大器、高通滤波器、低通滤波器、主放大器以及STM32系列单片机A/D采样等部分，这些组件都被集成到一块电路板上进行使用。
[0079]眼电采集模块通过贴在眼部的贴片电极采集到眼电信号，由于人体的眼电信号非常小，所以需要先经过放大器放大。本系统采用AD623仪器放大器放大后，信号输入到带通滤波器，经过滤波器滤波，去除掉信号中频率过大和频率过小的部分，最后经过主放大器就能得到可以进行特征提取与模式识别的信号。
[0080]其次，模式识别系统首先要解决的问题是判别用户是有意识的眨眼还是眼球运动，附图4及附图5是经过处理的眨眼信号和眼球运动信号，通过多次测试发现在振幅和波动时间上，有意识眨眼信号和眼球运动信号的区别非常明显。可以通过时域分析方法对采集的信号进行信号特征提取后，然后使用预设阈值来实现对两种信号的区分，最终实现对有意识眨眼信号和眼球运动信号的准确识别。
[0081]再次当实现准确判别有意识眨眼信号和眼球运动信号后，我们就可以对有意识眨眼信号进行分类。由于有意识眨眼的信号波动时间有限，所以我们也可以对相同时间内电平脉冲的次数的判断，进而实现对一次眨眼和连续两次眨眼进行区分，最终对智能移动机器人进行有效控制。而在上、下、左、右四类眼球运动信号的分类是选择BP网络作为分类工具。
[0082]最后，附图6给出了机器人控制系统的具体命令:
[0083]前进命令:受试者眼睛向上扫视；
[0084]后退命令:受试者眼睛向下扫视；
[0085]左转命令:受试者眼睛向左扫视；
[0086]右转命令:受试者眼睛向右扫视；
[0087]抓举命令:受试者有意识眨眼一次；
[0088]放下命令:受试者有意识连续眨眼两次；
[0089]停止命令:受试者眼睛恢复正常状态。
[0090]通过眼睛运动方式、时间的不同，我们可以灵活控制智能移动机器人的的前进、后退等，实现对智能移动机器人系统运动驱动的高效准确控制。
[0091]以上是对本发明的具体描述。需要解释的是，本发明并不局限于上述实施方案，本领域技术人员可以在权利要求范围内作出各种变形和修改，这并不影响本发明的中心思想和核心思路及内容。
【主权项】
1.一种基于眼电信号识别的机器人控制系统，其特征在于包括: 人体眼电信号采集单元，用于眼电信号采集与该信号的预处理； 信号特征提取单元，对预处理后的信号提取LPC系数、ALPC系数为特征； 将LPC系数与归一化极值组成组合特征、将ALPC系数与归一化极值组成组合特征;所述归一化极值指代将眼电信号进行幅度归一化后求取极大值和极小值； 眼部运动模式识别单元，根据眼电信号特征识别人眼动作； 智能机器人运动控制单元，根据眼部运动模式是识别单元的人眼动作识别结果，使得智能机器人的动作指令与人眼动作相对应。2.根据权利要求1所述的基于眼电信号识别的机器人控制系统，其特征在于:所述人体眼电信号采集单元包括依次连接的AgCl医疗电极片、眼电信号前端放大电路、眼电信号滤波电路、眼电信号后级放大电路，将对眼电信号进行1000倍放大的同时进行滤波处理；其中，AgCl医疗电极片有三片，分别贴附于眉骨中上部、下眼睑下部以及眼尾处。3.根据权利要求1所述的基于眼电信号识别的机器人控制系统，其特征在于:所述眼部运动模式识别单元包括单片机以及与单片机连接的BP神经网络，完成针对连续多次眨眼信号的分类识别与眼球扫视信号的分类识别。4.根据权利要求1所述的基于眼电信号识别的机器人控制系统，其特征在于:所述智能机器人运动控制单元包括Marvell Xscale PXA270处理器以及若干个设置于智能机器人的⑶S5516机器人舵机，所述Marvel I Xscale PXA270处理器根据眼部运动模式识别单元的识别结果向相应的CDS5516机器人舵机发出动作指令。5.—种如权利要求1所述基于眼电信号识别的机器人控制系统的设计方法，其特征在于包括以下步骤: 步骤1:利用Cortex-M3系列CPU设计人体眼电信号采集单元，用于眼电信号采集与该信号的预处理； 步骤2:对采集并预处理过的受试者眼电信号，设计信号特征提取单元，以提取眼电信号中相关特征并对眼部运动进行识别； 步骤3:根据提取到的眼电信号相关特征，运用模糊控制理论，设计基于眼电信号的智能机器人运动控制单元。6.根据权利要求5所述的基于眼电信号识别的机器人控制系统的设计方法，其特征在于:在步骤I中，眼电信号采集系统包括AgCl医疗电极片，眼电信号前端放大电路，眼电信号滤波电路，眼电信号后级放大电路，将对眼电信号进行1000倍放大的同时进行滤波处理。7.根据权利要求5所述的基于眼电信号识别的机器人控制系统的设计方法，其特征在于:在步骤2中，对于已经检出单个周期的信号提取提取LPC系数、ALPC系数为特征、LPC系数与归一化极值组成组合特征、ALPC系数与归一化极值组成组合特征，以达到更好地描述该段信号的目标;其中，将眼电信号进行幅度归一化后求取极大值和极小值，为所述归一化极值。8.根据权利要求7所述的基于眼电信号识别的机器人控制系统的设计方法，其特征在于:在眼电信号模式识别中，分别针对连续多次眨眼信号的分类识别与扫视信号的分类识别两部分独立进行，具体为: 受试者眼球向上运动； 受试者眼球向下运动； 受试者眼球向左运动； 受试者眼球向右运动； 受试者有意识眨眼一次； 受试者有意识连续眨眼两次； 受试者眼睛恢复正常状态。9.根据权利要求7所述的基于眼电信号识别的机器人控制系统的设计方法，其特征在于:在步骤3中，令机器人的移动方向与人们视觉方向同向，系统采用CDS5516舵机提供动力来源，并配套使用Marvel I Xscale PXA270处理器来进行对机械臂的驱动。10.根据权利要求7所述的基于眼电信号识别的机器人控制系统的设计方法，其特征在于:在通过多种眼部运动方式来实现对智能移动机器人的控制中，设计控制命令具体为: 前进命令:受试者眼球向上运动； 后退命令:受试者眼球向下运动； 左转命令:受试者眼球向左运动； 右转命令:受试者眼球向右运动； 抓举命令:受试者有意识眨眼一次； 放下命令:受试者有意识连续眨眼两次； 停止命令:受试者眼睛恢复正常状态。
【文档编号】B25J11/00GK105904459SQ201610333368
【公开日】2016年8月31日
【申请日】2016年5月19日
【发明人】徐国政, 狄建强, 黄国健, 张彩霞
【申请人】南京邮电大学