一种基于稳态视觉诱发电位的脑控无人机编队控制方法

1.本技术涉及脑控无人机编队控制技术领域，尤其是一种基于稳态视觉诱发电位的脑控无人机编队控制方法。


背景技术：

2.在脑控无人机编队方面，目前，专利中尚无脑控无人机群编队控制系统；文献中有一篇脑控无人机群系统控制文献，文献1(karavas g k,larsson dt,artemiadis p.a hybrid bmi for control of robotic swarms:preliminary results[c]//2017ieee/rsj international conference on intelligent robots and systems(iros).ieee,2017:5065
‑
5075.)中实现了无人机编队(3架)的控制，采用手部控制无人机的升降，然后采用运动想象脑电信号控制无人机的缩放。
[0003]
在脑控无人机单机方面，专利中有脑控无人机单机的控制，有以下3个：1)，cn202010140554.7基于稳态视觉诱发电位脑
‑
机接口的脑控无人机方法；
[0004]
2)，cn201810580721.2一种基于运动想象的便携式脑控无人机系统及控制方法；3)，cn201910458225.4基于脑机接口的脑控无人机系统及其控制方法。
[0005]
目前尚无脑控无人机编队控制方法，其次，在文献方面，文献1实现了脑控无人机编队系统的控制，其缺点如下：1、机群中无人机数量少；2、无人机群编队命令较少，为2个，机群的缩小和放大；3、速度慢；4、运动维度单一，竖直方向的升降运动和水平方向的缩放运动；5、非纯脑控，手部控制竖直方向的运动，脑电信号控制水平方向的缩放运动。因此，针对上述问题提出一种基于稳态视觉诱发电位的脑控无人机编队控制方法。


技术实现要素：

[0006]
在本实施例中提供了一种基于稳态视觉诱发电位的脑控无人机编队控制方法用于解决目前尚无脑控无人机编队控制方法，其次，在文献方面，文献1实现了脑控无人机编队系统的控制，其缺点如下：1、机群中无人机数量少；2、无人机群编队命令较少，为2个，机群的缩小和放大；3、速度慢；4、运动维度单一，竖直方向的升降运动和水平方向的缩放运动；5、非纯脑控，手部控制竖直方向的运动，脑电信号控制水平方向的缩放运动的问题。
[0007]
根据本技术的一个方面，提供了一种基于稳态视觉诱发电位的脑控无人机编队控制方法，所述脑控无人机编队控制方法包括如下步骤：
[0008]
(1)控制系统选用，控制系统包括视觉刺激显示模块、脑电信号采集模块、脑电信号分析模块、上位机、下位机、定位系统；
[0009]
(2)无人机编队控制人员根据当前的无人机编队状态进行决策，当需要输出命令时，控制人员盯着决策命令对应的闪烁方块，持续时间t，将诱发对应的脑电信号；
[0010]
(3)脑电分析模块对采集到的脑电信号进行分析，得出当前时间t对应的脑电模式，进而得出此时控制人员的控制意图；
[0011]
(4)上位机根据控制人员的意图和无人机编队当前的位置、速度、姿态信息，由其
中的控制模块和控制算法得出当前时刻应该输出给无人机的位置、速度、角度等命令，最后，下位机接收上位机传输的无人机编队控制命令，将其转化为无人机底层机构执行命令并将指令传输给无人机，实现人的意图的执行，当无人机编队控制人员不需要输出命令时，无需盯着刺激模块的闪烁方块，此时将对应第14种脑电模式，输出“保持”命令，无人机将保持上一时刻的命令，并执行上一时刻的命令；直到无人机接收到命令1
‑
13，否则无人机命令将保持不变。
[0012]
进一步地，所述步骤(1)中视觉刺激显示模块实现视觉刺激的显示。
[0013]
进一步地，所述步骤(1)中脑电信号采集模块包括脑电放大器、脑电极、脑电帽以及脑电采集软件，脑电信号采样频率为1000hz，采用大脑视觉区附近的脑电信号通道，共采用15个通道。
[0014]
进一步地，所述步骤(1)中定位系统由光学定位智能相机、相机云台以及配套软件组成，实时采集无人机的位置信息，上位机读取无人机的位置信息并将人的意图转化为无人机编队控制命令，下位机接收上位机传输的无人机编队控制命令将其转化为无人机底层机构执行命令并将指令传输给无人机，实现人的意图的执行。
[0015]
进一步地，所述步骤(1)中脑电信号分析模块包括脑电信号分析算法及其实现，采集时间长度t的脑电信号之后，采用模板匹配的算法对14种脑电模式进行匹配，匹配到的脑电模式，其所对应的控制命令即为控制人员的意图。
[0016]
进一步地，所述步骤(1)中视觉刺激显示模块中每一个方块以自身对应的频率和相位进行黑白闪烁，fi/фi(i＝1,2,
…
,12,13)分别代表相应方块闪烁的频率和相位，同时对应命令i，视觉显示模块共13个闪烁方块，对应着13种不同的脑电模式，并对应命令1
‑
13。
[0017]
进一步地，所述步骤(4)中上位机包括无人机位置获取模块、控制人员意图获取模块、无人机控制模块以及无人机编队位置、速度、姿态控制算法，最终输出无人机的速度、角度等命令。
[0018]
通过本技术上述实施例，采用了上位机视觉刺激显示模块，解决了非纯脑控，手部控制竖直方向的运动，脑电信号控制水平方向的缩放运动的问题，上位机根据控制人员的意图和无人机编队当前的位置、速度、姿态信息，由其中的控制模块和控制算法得出当前时刻应该输出给无人机的位置、速度、角度等命令。
附图说明
[0019]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
[0020]
图1为本发明的方法流程图；
[0021]
图2为本发明的系统流程图；
[0022]
图3为本发明的脑电信号采集所用通道示意图；
[0023]
图4为本发明的视觉刺激显示模块示意图。
具体实施方式
[0024]
为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
[0025]
需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0026]
在本技术中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本技术及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
[0027]
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本技术中的具体含义。
[0028]
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
[0029]
需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
[0030]
本实施例中的脑控无人机编队控制方法可以适用于各种无人机，例如，在本实施例提供了如下一种监控用无人机，本实施例中的脑控无人机编队控制方法可以用来进行控制如下无人机。
[0031]
一种监控用无人机，包括机身，位于机身底部吊装有摄像头，以及适于带动摄像头转动的云台；其中所述云台由主控模块控制，所述主控模块与一通讯模块和gps模块电性连接；摄像头将采集的视频数据发送至主控模块，并通过通讯模块进行无线发送，以及所述通讯模块适于接收无线控制信号，以实现对无人机进行控制。
[0032]
进一步，所述监控用无人机还包括：若干机臂杆，每个所述机臂杆的一端与机身连接；其中所述机臂杆为中空结构，所述中空结构内设有充气内衬，在所述充气内衬中充入密度小于空气的气体。
[0033]
进一步，所述监控用无人机为多旋翼无人机；所述机身为圆柱形结构，且各机臂杆与机身的连接处均设有转动机构；所述转动机构由一步进电机驱动；各旋翼内设有适于检测旋翼电机转动的霍尔传感器；当霍尔传感器检测到一旋翼电机发生故障后，所述监控用无人机内的主控模块适于通过机身内的陀螺仪获得的机身倾斜角度以控制相应步进电机
调节机臂杆的分布，以使机身恢复平衡状态。
[0034]
进一步，所述通讯模块中的天线装置包括天线以及天线外侧的天线罩；其中所述天线罩包括至少一个超材料片层，且每一超材料片层均包括：第一基板和阵列排布在所述第一基板上的多个尺寸相同的人造微结构；所述人造微结构包括口字形结构；所述口字形结构的中心位置设置有十字形结构，且所述口字形结构的每一边的中部均设置有与十字形结构各端部对应的突起端部结构。
[0035]
进一步，每一超材料片层还包括第二基板和第三基板；其中所述第一基板的面向第二基板的表面上附着有阵列排布的所述人造微结构；以及所述第一基板适于划分为多个超材料单元，其中每一超材料单元上仅排布有一个所述人造微结构；以及每一超材料单元的长和宽均为12～15mm，所述人造微结构与所述超材料单元的边界之间的距离为0.15mm。
[0036]
进一步，所述十字形结构包括垂直设置的第一金属丝和第二金属丝；其中所述第一金属丝的两端部分别设置有相同尺寸的第一金属微结构，所述第一金属微结构包括：三条尺寸递减金属线平行线以及将各平行线包围的金属框；所述第二金属丝的两端部分别设置有相同尺寸的第二金属微结构，所述第二金属微结构包括：三根同尺寸的金属折线排列组成，且所述金属折线的弯折角为90度；所述口字型结构中与第一金属丝相对一边的中部的突起端部结构适于与第二金属微结构相同构造，所述口字型结构中与第二金属丝相对一边的中部的突起端部结构适于与第一金属微结构相同构造；并且所述第一金属丝和第二金属丝的长度相同。
[0037]
当然本实施例也可以用于控制其他结构的无人机。在此不再一一赘述，下面对本技术实施例的脑控无人机编队控制方法进行介绍。
[0038]
实施例一：
[0039]
一种基于稳态视觉诱发电位的脑控无人机编队控制方法，所述脑控无人机编队控制方法包括如下步骤：
[0040]
(1)控制系统选用，控制系统包括视觉刺激显示模块、脑电信号采集模块、脑电信号分析模块、上位机、下位机、定位系统；
[0041]
(2)无人机编队控制人员根据当前的无人机编队状态进行决策，当需要输出命令时，控制人员盯着决策命令对应的闪烁方块，持续时间t，将诱发对应的脑电信号；
[0042]
(3)脑电分析模块对采集到的脑电信号进行分析，得出当前时间t对应的脑电模式，进而得出此时控制人员的控制意图；
[0043]
(4)上位机根据控制人员的意图和无人机编队当前的位置、速度、姿态信息，由其中的控制模块和控制算法得出当前时刻应该输出给无人机的位置、速度、角度等命令，最后，下位机接收上位机传输的无人机编队控制命令，将其转化为无人机底层机构执行命令并将指令传输给无人机，实现人的意图的执行，当无人机编队控制人员不需要输出命令时，无需盯着刺激模块的闪烁方块，此时将对应第14种脑电模式，输出“保持”命令，无人机将保持上一时刻的命令，并执行上一时刻的命令；直到无人机接收到命令1
‑
13，否则无人机命令将保持不变。
[0044]
进一步地，所述步骤(1)中视觉刺激显示模块实现视觉刺激的显示。
[0045]
进一步地，所述步骤(1)中脑电信号采集模块包括脑电放大器、脑电极、脑电帽以及脑电采集软件，脑电信号采样频率为1000hz，采用大脑视觉区附近的脑电信号通道，共采
用15个通道。
[0046]
进一步地，所述步骤(1)中定位系统由光学定位智能相机、相机云台以及配套软件组成，实时采集无人机的位置信息，上位机读取无人机的位置信息并将人的意图转化为无人机编队控制命令，下位机接收上位机传输的无人机编队控制命令将其转化为无人机底层机构执行命令并将指令传输给无人机，实现人的意图的执行。
[0047]
进一步地，所述步骤(1)中脑电信号分析模块包括脑电信号分析算法及其实现，采集时间长度t的脑电信号之后，采用模板匹配的算法对14种脑电模式进行匹配，匹配到的脑电模式，其所对应的控制命令即为控制人员的意图。
[0048]
进一步地，所述步骤(1)中视觉刺激显示模块中每一个方块以自身对应的频率和相位进行黑白闪烁，fi/фi(i＝1,2,
…
,12,13)分别代表相应方块闪烁的频率和相位，同时对应命令i，视觉显示模块共13个闪烁方块，对应着13种不同的脑电模式，并对应命令1
‑
13。
[0049]
进一步地，所述步骤(4)中上位机包括无人机位置获取模块、控制人员意图获取模块、无人机控制模块以及无人机编队位置、速度、姿态控制算法，最终输出无人机的速度、角度等命令。
[0050]
上述方法在无人机编队免手控制的同时，双手可以进行其他任务，可以实现无人机控制人员的多任务操作，提高操控效率。
[0051]
实施例二：
[0052]
一种基于稳态视觉诱发电位的脑控无人机编队控制方法，所述脑控无人机编队控制方法包括如下步骤：
[0053]
(1)控制系统选用，控制系统包括视觉刺激显示模块、脑电信号采集模块、脑电信号分析模块、上位机、下位机、定位系统；
[0054]
(2)无人机编队控制人员根据当前的无人机编队状态进行决策，当需要输出命令时，控制人员盯着决策命令对应的闪烁方块，持续时间t，将诱发对应的脑电信号；
[0055]
(3)脑电分析模块对采集到的脑电信号进行分析，得出当前时间t对应的脑电模式，进而得出此时控制人员的控制意图；
[0056]
(4)上位机根据控制人员的意图和无人机编队当前的位置、速度、姿态信息，由其中的控制模块和控制算法得出当前时刻应该输出给无人机的位置、速度、角度等命令，最后，下位机接收上位机传输的无人机编队控制命令，将其转化为无人机底层机构执行命令并将指令传输给无人机，实现人的意图的执行，当无人机编队控制人员不需要输出命令时，无需盯着刺激模块的闪烁方块，此时将对应第14种脑电模式，输出“保持”命令，无人机将保持上一时刻的命令，并执行上一时刻的命令；直到无人机接收到命令1
‑
13，否则无人机命令将保持不变。
[0057]
进一步地，所述步骤(1)中视觉刺激显示模块实现视觉刺激的显示。
[0058]
进一步地，所述步骤(1)中脑电信号采集模块包括脑电放大器、脑电极、脑电帽以及脑电采集软件，脑电信号采样频率为1000hz，采用大脑视觉区附近的脑电信号通道，共采用15个通道。
[0059]
进一步地，所述步骤(1)中定位系统由光学定位智能相机、相机云台以及配套软件组成，实时采集无人机的位置信息，上位机读取无人机的位置信息并将人的意图转化为无人机编队控制命令，下位机接收上位机传输的无人机编队控制命令将其转化为无人机底层
机构执行命令并将指令传输给无人机，实现人的意图的执行。
[0060]
进一步地，所述步骤(1)中脑电信号分析模块包括脑电信号分析算法及其实现，采集时间长度t的脑电信号之后，采用模板匹配的算法对14种脑电模式进行匹配，匹配到的脑电模式，其所对应的控制命令即为控制人员的意图。
[0061]
进一步地，所述步骤(1)中视觉刺激显示模块中每一个方块以自身对应的频率和相位进行黑白闪烁，fi/фi(i＝1,2,
…
,12,13)分别代表相应方块闪烁的频率和相位，同时对应命令i，视觉显示模块共13个闪烁方块，对应着13种不同的脑电模式，并对应命令1
‑
13。
[0062]
进一步地，所述步骤(4)中上位机包括无人机位置获取模块、控制人员意图获取模块、无人机控制模块以及无人机编队位置、速度、姿态控制算法，最终输出无人机的速度、角度等命令。
[0063]
上述方法实现了基于脑电信号的无人机编队控制，完全实现了无人机编队控制的免手操作，并且无人机编队控制命令达到14种，可以满足对无人机编队控制的基本需求。
[0064]
本技术的有益之处在于：
[0065]
1.该种基于稳态视觉诱发电位的脑控无人机编队控制方法、实现了基于脑电信号的无人机编队控制，完全实现了无人机编队控制的免手操作，并且无人机编队控制命令达到14种，可以满足对无人机编队控制的基本需求，另外，在无人机编队免手控制的同时，双手可以进行其他任务，可以实现无人机控制人员的多任务操作，提高操控效率。
[0066]
涉及到电路和电子元器件和模块均为现有技术，本领域技术人员完全可以实现，无需赘言，本技术保护的内容也不涉及对于软件和方法的改进。
[0067]
以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。