设备控制方法、终端及系统

1.本技术属于脑机接口技术领域，尤其涉及一种设备控制方法、终端及系统。


背景技术：

2.脑机接口(bci)是一种现代技术，通过大脑信号在人与外部设备之间进行通信。脑机接口在生物识别、预防、经济、教育、体育和医疗等领域有着广泛而持续的应用。
3.现有技术中，通常选取考虑频域特征的神经网络进行脑电信号数据处理以输出控制指令，但该方法在处理脑电信号数据时容易造成信息丢失，对脑电信号数据利用不够充分，故对设备控制的准确度低。


技术实现要素：

4.有鉴于此，本发明提供了一种设备控制方法、终端及系统，旨在解决脑机接口对设备控制的准确度低的问题。
5.本发明实施例的第一方面提供了一种设备控制方法，包括：
6.从脑电信号采集装置中实时获取目标人员的脑电信号数据；
7.将所述脑电信号数据输入到预先训练的神经网络模型中，得到目标人员对应的各个预执行动作的概率；其中，所述预先训练的神经网络模型用于提取所述脑电信号数据中的空间特征信号数据和时间特征信号数据，对所述脑电信号数据、时间特征信号数据和空间特征信号数据进行拼接分类；
8.将概率大于预设概率阈值的预执行动作作为目标人员的意向执行动作，并输出所述意向执行动作对应的控制指令至被控设备。
9.本发明实施例的第二方面提供了一种设备控制装置，包括：
10.获取模块，用于从脑电信号采集装置中实时获取目标人员的脑电信号数据；
11.处理模块，用于将所述脑电信号数据输入到预先训练的神经网络模型中，得到目标人员对应的各个预执行动作的概率；其中，所述预先训练的神经网络模型用于提取所述脑电信号数据中的空间特征信号数据和时间特征信号数据，对所述脑电信号数据、时间特征信号数据和空间特征信号数据进行拼接分类；
12.输出模块，用于将概率大于预设概率阈值的预执行动作作为目标人员的意向执行动作，并输出所述意向执行动作对应的控制指令至被控设备。
13.本发明实施例的第三方面提供了一种数据处理终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述设备控制方法的步骤。
14.本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面所述设备控制方法的步骤。
15.本发明实施例的第五方面提供了一种设备控制系统，其特征在于，包括：
16.脑电信号采集装置以及如上第三方面所述的数据处理终端。
17.本发明实施例的第六方面提供了一种机器人系统，其特征在于，包括：
18.机器人以及如上第五方面所述的设备控制系统；所述机器人为所述设备控制系统对应的被控设备。
19.本发明与现有技术相比存在的有益效果是：
20.本发明实施例提供的设备控制方法、终端及系统，包括：从脑电信号采集装置中实时获取目标人员的脑电信号数据；将脑电信号数据输入到预先训练的神经网络模型中，得到目标人员对应的各个预执行动作的概率；其中，预先训练的神经网络模型用于提取脑电信号数据中的空间特征信号数据和时间特征信号数据，对脑电信号数据、时间特征信号数据和空间特征信号数据进行拼接分类；将概率大于预设概率阈值的预执行动作作为目标人员的意向执行动作，并输出意向执行动作对应的控制指令至被控设备。通过同时考虑目标人员的脑电信号的时间特征和空间特征，基于神经网络进行拼接分类操作，以输出控制指令，有效的提高了设备控制的准确度。
附图说明
21.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
22.图1是本发明一个实施例提供的设备控制方法的实现流程图；
23.图2是本发明一个实施例提供的使用神经网络模型对脑电信号进行分类的实现流程图；
24.图3本发明一个实施例提供的多线程算法的实现流程图；
25.图4是本发明一个实施例提供的设备控制装置的结构示意图；
26.图5是本发明一个实施例提供的电子设备的示意图；
27.图6是本发明一个实施例提供的设备控制系统的示意图；
28.图7是本发明一个实施例提供的机器人系统的示意图。
具体实施方式
29.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
30.脑机接口(brain computer interface，bci)是一种现代技术，通过大脑信号在人与外部设备之间进行通信。脑机接口在生物识别、预防、经济、教育、体育和医疗等领域有着广泛而持续的应用，包括诊断、辅助技术和康复。许多研究人员倾向于利用脑电图(electroencephalogram，eeg)信号来开发非侵入性的脑机接口。脑电信号是通过在头皮上放置电极，测量神经元电位总和而获得的脑电信号。为了使用脑机接口，通常需要两个阶段：1)离线训练阶段，在此期间校准系统；2)操作在线阶段，其中系统可以识别大脑活动模
式并将其翻译成计算机的命令。在线bci系统是一个闭环，从用户产生特定的eeg模式(例如，使用运动图像)开始，并且这些eeg信号被测量。然后，通常使用各种空间和频谱滤波器对eeg信号进行预处理，并且从这些信号中提取特征以便以紧凑的形式表示它们。最后，这些eeg特征在被翻译成用于应用的命令之前被分类，并且在反馈被提供给用户以通知他们特定的精神命令是否被识别之前被分类。
31.目前，已知的脑机接口在线系统有基于稳态视觉诱发电位(steady
‑
state visual evoked potentials,ssvep)的脑机接口、基于p300信号的脑机接口，这两种系统都是以被动视觉刺激为基础的脑机接口系统，并非用于主动控制。基于肌电与运动想象脑电混合二分类的脑机接口是一种面向左右脚运动意图侧向型是被的混合在线脑机接口方法，虽然是以用户为主导的脑机接口系统，但是指令数量太少，且分类精度不高。
32.本发明实施例提供的设备控制方法、终端及系统，通过同时考虑目标人员的脑电信号的时间特征和空间特征，基于神经网络进行拼接分类操作，以输出控制指令，有效的提高了脑电信号的分类精度。
33.图1是本发明一个实施例提供的设备控制方法的实现流程图。如图1所示，设备控制方法，包括：
34.s101，从脑电信号采集装置中实时获取目标人员的脑电信号数据；
35.s102，将脑电信号数据输入到预先训练的神经网络模型中，得到目标人员对应的各个预执行动作的概率；其中，预先训练的神经网络模型用于提取脑电信号数据中的空间特征信号数据和时间特征信号数据，对脑电信号数据、时间特征信号数据和空间特征信号数据进行拼接分类；
36.s103，将概率大于预设概率阈值的预执行动作作为目标人员的意向执行动作，并输出意向执行动作对应的控制指令至被控设备。
37.本实施例中，脑电信号采集装置可以是电极帽，也可以是其他可以采集脑电信号的装置，在此不作限定。预执行动作为在神经网络的训练前预先设定的动作，预执行动作可以是向前、向左、向后等，也可以是动左手、动右脚等，还可以是开启设备、关闭设备等，在此不作限定。
38.本实施例中，设备控制方法，包括从脑电信号采集装置中实时获取目标人员的脑电信号数据；将脑电信号数据输入到预先训练的神经网络模型中，得到目标人员对应的各个预执行动作的概率；其中，预先训练的神经网络模型用于提取脑电信号数据中的空间特征信号数据和时间特征信号数据，对脑电信号数据、时间特征信号数据和空间特征信号数据进行拼接分类；将概率大于预设概率阈值的预执行动作作为目标人员的意向执行动作，并输出意向执行动作对应的控制指令至被控设备。通过同时考虑目标人员的脑电信号的时间特征和空间特征，基于神经网络进行拼接分类操作，以输出控制指令，有效的提高了设备控制的准确度。
39.图2是本发明一个实施例提供的使用神经网络模型对脑电信号进行分类的实现流程图。如图2所示，在一些实施例中，在上述任一实施例的基础上，预先训练的神经网络模型包括空间自注意力模块、时间自注意力模块、特征分类模块；
40.将脑电信号数据输入到预先训练的神经网络模型中，得到目标人员对应的各个预执行动作的概率，包括：
41.将脑电信号数据输入到空间注意力模块中，得到空间注意力权重矩阵；
42.根据空间注意力权重矩阵和脑电信号数据，确定空间特征信号数据；
43.将脑电信号数据输入到时间注意力模块中，得到时间注意力权重矩阵；
44.根据时间注意力权重矩阵和脑电信号数据，确定时间特征信号数据；
45.将脑电信号数据、时间特征信号数据和空间特征信号数据输入到特征分类模块中进行拼接，得到拼接数据；
46.根据似然代价
‑
归一化指数函数对拼接数据进行分类，得到目标人员对应的各个预执行动作的概率。
47.本实施例中，预先训练的神经网络模型包括第一空间卷积层和第二空间卷积层。
48.将脑电信号数据输入到空间注意力模块中，得到空间注意力权重矩阵，包括：
49.根据第一空间卷积层和第二空间卷积层将脑电信号数据处理为第一空间矩阵和第二空间矩阵；
50.将第一空间矩阵和第二空间矩阵相乘并归一化得到空间注意力权重矩阵。
51.本实施例中，根据空间注意力权重矩阵和脑电信号数据，确定空间特征信号数据，包括：
52.将脑电信号数据与空间注意力权重矩阵相乘，得到空间加权矩阵；
53.将空间加权矩阵乘以第一可学习参数，再与脑电信号数据相加，得到空间特征信号数据。
54.本实施例中，预先训练的神经网络模型包括第一时间卷积层和第二时间卷积层。
55.将脑电信号数据输入到时间注意力模块中，得到时间注意力权重矩阵，包括：
56.根据第一时间卷积层和第二时间卷积层将脑电信号数据处理为第一时间矩阵和第二时间矩阵；
57.将第一时间矩阵和第二时间矩阵相乘并归一化得到时间注意力权重矩阵。
58.本实施例中，根据时间注意力权重矩阵和脑电信号数据，确定时间特征信号数据，包括：
59.将脑电信号数据与时间注意力权重矩阵相乘，得到时间加权矩阵；
60.将时间加权矩阵乘以第一可学习参数，再与脑电信号数据相加，得到时间特征信号数据。
61.本实施例中，根据拼接数据和似然代价
‑
归一化指数函数对拼接数据进行分类，得到目标人员对应的各个预执行动作的概率，包括：
62.依次根据第二时间卷积层和第三空间卷积层调整拼接后的脑电信号数据的维度，并将调整后的脑电信号数据输入到池化层中以提取主要特征，得到主要脑电信号数据；
63.将主要脑电信号数据输入到第四卷积层中，得到目标尺寸大小的脑电信号数据；
64.根据似然代价
‑
归一化指数函数对目标尺寸大小的脑电信号数据进行多分类，得到各个预执行动作的概率。
65.本实施例中，mi(motor imagination，运动想象)信号分类是mi
‑
bci系统中十分关键的步骤，脑电信号解析的结果直接影响mi
‑
bci系统能否正确的使用辅助设备与外界直接交流。目前导致mi
‑
eeg信号分类精度低，主要有以下几个原因。
66.首先，传统的方法是通过人工选择与运动区域相关的电极，但大脑作为一个整体，
同一类mi任务可能受到不同大脑功能区域产生的影响，而不仅仅是运动区域。由于不同目标人员间脑电信号的个体差异很大，产生mi
‑
eeg信号的强度也不同，所以无法确切确定与mi最相关的大脑区域。因此，传统手工选择通道方法存在信息丢失的缺点，使得没有充分利用脑电信号数据中有用信息，导致分类精度下降。
67.其次，mi信号在时间上是连续的时序信号，具有低信噪比的特点，并且容易受到多种生物学影响(例如眨眼和肌肉活动)或环境伪影(例如噪声)的影响。在时域中，eeg信号的动态变化通常包含与原始mi
‑
eeg信号有关的信息，这些通常被传统方法所忽略，从而使特征提取更加复杂。以上的因素导致传统方法无法有效的提出一种更加通用的表示方法，故传统的方法分类精度低。
68.为了克服这些问题，本发明提供了一种端到端多任务并行时空自注意力神经网络模型，用于原始mi
‑
eeg信号的分类。该神经网络模型主要分为特征提取阶段和特征分类阶段，特征分类阶段对应空间自注意力模块和时间自注意力模块，特征分类阶段对应特征分类模块。
69.本实施例中，在空间域中，手动选择eeg通道，假设每个通道的重要程度相同，忽略了相同mi动作的活动大脑区域和mi信号强弱是受个体差异的影响，这意味着任何两个通道之间的潜在空间链接。空间自注意力模块用来捕获运动想象脑电信号(motor imagination eeg,mi
‑
eeg)的任何两个通道之间的潜在空间依赖。在时间域中，由于mi
‑
eeg是连续的且具有低信噪比，这意味着每个时间步长之间必须存在相关性。因此，提出时间自注意力模块来捕获任何两个采样时间点之间的时间依赖性。时间注意力模型可以在时域提取mi的高级时间表征，使与运动想象相关的时间步获得更高的权重，与运动想象无关的时间步获得较少的权重。因此，时间注意力也削弱了噪声带来伪影的影响。
70.本实施例中，神经网络模型没有采用全连接，因为全连接层会暂用整个网络的太多参数，最终导致算法的模型计算复杂，实时性不好。
71.本实施例中，设备控制方法假设在大脑活动期间与运动无关的通道和采样时间步相比，与运动相关的通道和采样时间步应分配更高的权重值。权重值是基于提出的并行时空自注意力机制计算的，该机制捕获了高级可区分的时空特征，并在原始mi
‑
eeg数据的时域和空域中定义了更准确的紧凑表示形式。cnn能够对原始eeg信号流中隐藏的高级，鲁棒和显着特征表示进行建模，并可以通过在分层体系结构中堆叠多层信息处理模块来捕获数据中的复杂关系。
72.在一些实施例中，在上述任一实施例的基础上，将脑电信号数据输入到预先训练的神经网络模型中之前，该方法还包括：
73.从脑电信号采集装置中获取目标人员的多个目标脑电信号数据，
74.多个目标脑电信号数据为目标人员生成的与预先设定的多个预执行动作对应的多个脑电信号数据；
75.将多个脑电信号数据和每个脑电信号数据对应的预执行动作作为训练样本，并基于脑电信号数据、脑电信号数据对应的预执行动作训练得到所述神经网络模型。
76.本实施例中，在整个cnn训练过程中，第一可学习参数和第二可学习参数逐步更新以分配更合适的权重。
77.图3本发明一个实施例提供的多线程算法的实现流程图。如图3所示，在一些实施
例中，在上述任一实施例的基础上，从脑电信号采集装置中获取多个目标脑电信号数据，包括：
78.生成多个预执行动作对应的动作指引图像；其中，每个预执行动作对应一个动作指引图像；
79.重复执行以下步骤直至获取到所有预执行动作对应的脑电信号数据：
80.根据多线程算法，显示一个动作指引图像的同时，从脑电信号采集装置中实时获取目标人员观察该动作指引图像时的脑电信号数据。
81.本实施例中，脑电信号采集模块实时采集数据并通过传输控制协议(tcp，transmission control protocol)将脑电信号通过端口传输，使用多线程算法，将tcp接收数据与显示动作指引图像同步进行，使用信号量保证接收数据与显示动作指引图像同步进行，同时为了保证程序的实时性，将程序运行的优先级设置为高，并采用计时器保证每个动作指引图像的时间显示准确。实时获取的数据通过数据预处理和深度神经网络提取特征得到用户意图，然后以指令形式发出。多线程算法的主要流程依次为：创建窗口、创建主页面重复接收数据并显示动作指引图像、关闭窗口、结束。在每一次的接收数据并显示动作指引图像过程中，显示动作指引图像的步骤包括：绘制十字帧、绘制提示帧、绘制休息帧。整个过程可以分7秒进行，例如，绘制十字帧可以是在屏幕上显示一个十字图像，显示时间可以为两秒。绘制提示帧可以是在屏幕上显示一个动作指引图像，显示时间可以为4秒。绘制休息帧可以是在屏幕上显示一个休息字样，显示时间可以为1秒。在每一次的接收数据以后，还同时进行数据的预处理和分类，以及指令传输。
82.本实施例中，采用了自研运动想象解码算法，以提高基于运动想象的指令数量和分类精度。
83.目前的在线脑机接口动作指引图像与数据采集通常为分离状态，不能保证动作指引图像与数据采集的同步。本实施例中，能够实时获取脑电信号，并通过实时解码，对外部设备进行实时控制，无需矫正动作指引图像与接收数据的时间差，系统通过多线程实现了动作指引图像显示与接收数据的同步进行，可以达到毫秒级别同步，解决了在线脑机接口信息同步的问题，保证了在线脑机接口的实时性，为脑机接口在实际应用中做实时控制提供了一个接入点。
84.在一些实施例中，在上述任一实施例的基础上，从脑电信号采集装置中实时获取目标人员的脑电信号数据之后，还包括：
85.使用带通滤波器去除脑电信号数据中的肌电干扰以得到滤波后的脑电信号数据；
86.根据电极通道指数移动标准化算法，对滤波后的脑电信号数据进行标准化处理。
87.本实施例中，使用神经网络进行分类的一大优点是不需要对原始脑电信号做过多的预处理或者不做预处理直接将原始数据作为网络的输入，网络就能很好的学习数据之间的特征，达到不错的效果。尽可能少的预处理，也一定程度减少在线系统延迟。
88.脑电信号数据中的噪声主要包含电极点松动，实验工频干扰和目标人员自身的眨眼、吞咽、咬牙和扭动等生理活动。由于目标人员需要在脑电信号采集过程中充分集中注意力，通过观察屏幕显示的实验范式做出相应动作的想象，所以在此期间，目标人员脑电肯定会受到眼球转动和眨眼带来的干扰。然而眨眼等动作是肌肉运动的一部分，肌肉的电压量级比eeg的电压量级高很多，而且眼睛是距离头皮很近的地方，所以眼电对头部会产生较大
影响的伪迹。这些肌电伪迹的频率通常较高，都处在大于40hz的高频部分，运动想象信号的有用部分通常处在小于40hz的低频部分。脑电中与运动想象相关的成分主要是mu波和中央沟附近的beta波，大多数研究会直接使用巴特沃斯带通滤波器滤除无关成分，选择8
‑
30hz甚至范围更广的信号。
89.本实施例中，使用0
‑
38hz的巴特沃斯带通滤波器除肌电干扰和50hz的工作频率。同时，采用衰减因子为0.999的电极通道指数移动标准化算法来计算每个通道的指数移动均值和方差，并用它们来标准化连续的eeg数据。具体如下：
[0090][0091]
μ
t
＝0.001x
t
+0.999μ
t
‑1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0092][0093]
其中，x
t
为一个电极在t时刻的脑电信号数据，x
t’一个电极在t时刻标准化之后的数据，μ
t
和分别为数据的平均值和方差。
[0094]
下面通过一个实施示例对上述设备控制方法进行说明，但并不作为限定。
[0095]
步骤1，脑电信号采集。
[0096]
脑电信号采集装置为电极帽，用户佩戴电极帽，打导电膏保证电极点(f7、f3、fz、f4、f8、fc3、fcz、fc4、t7、c3、cz、c4、t8、cp3、cpz、cp4、p3、pz、p4、o1、oz、o2)电阻阻抗降低到15kω以下，连接计算机中的脑电采集软件curry8，curry8设置采样频率为256hz，在线传输信息设置为raw，每秒传输数据块个数为8。
[0097]
步骤2，预处理。
[0098]
使用0
‑
38hz的巴特沃斯带通滤波器除肌电干扰和50hz的工频。同时，采用衰减因子为0.999的电极通道指数移动标准化方法来计算每个通道的指数移动均值和方差，并用它们来标准化连续的eeg数据。
[0099]
步骤3，离线实验动作指引图像与在线实验动作指引图像。
[0100]
离线实验：系统实验动作指引图像配置为：每个trial随机想象左手动、右手动、脚动、静息，每个block共10个trial。整个离线实验包括10个block，每个block共4个trial。每个trial包括2秒引导、4秒运动显示、1秒休息，共7秒时间。
[0101]
在线实验：系统实验动作指引图像配置：系统实验动作指引图像配置为：每个trial随机想象左手动、右手动、脚动、静息。整个在线实验包括5个block，每个block共4个trial。每个trial包括2秒引导、4秒运动显示、1秒休息，共7秒时间。
[0102]
步骤4，训练神经网络模型，并在整个训练过程中，逐步更新第一可学习参数和第二可学习参数以分配更合适的权重。
[0103]
步骤5，拼接分类。(如图2所示)
[0104]
脑电信号数据表示为m∈r
h
×
w
，其中h＝22，w＝1125。
[0105]
首先，脑电信号输入到空间注意力模块中：
[0106]
将脑电信号数据送入卷积核大小为1
×
1的第一空间卷积层和第二空间卷积层中。生成大小为8
×
22
×
1125的两个脑电信号特征数据s
11
和s
12
。然后将两个脑电信号特征数据进行维度变换，生成大小为8
×
(22
×
1125)的特征矩阵和(22
×
1125)
×
8大小为的特征矩阵，对两个特征矩阵进行相乘运算并使用softmax函数进行归一化，得到空间注意力权重矩
阵：。
[0107][0108]
其中，空间注意力权重矩阵s3∈r
h
×
h
，func是计算相似度函数，具体计算方式为像素点相乘。表示第i个和第j个通道之间的相似度，取值范围为0～1(越接近1表示两个通道之间越相似)。
[0109]
将脑电信号数据与空间注意力权重矩阵相乘，得到空间加权矩阵s4∈r
h
×
w
。信号s4中每个通道都是空间域原始数据与其他通道的加权和，该空间模块自动的学习每个通道之间的相似权值，并通过自适应地拟合所有通道的空间信号特征，使用加权求和来更新每个通道。最后，通过将第一可学习参数λ1乘以s4，并与脑电信号数据进行求和运算，作为一个残差块，得到的空间特征信号数据，如下所示：
[0110]
s＝λ1×
s4+m
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0111]
其中，空间特征信号数据s∈r
h
×
w
。s增强了数据通道之间的表示能力，这意味着，当人想象一个动作时，任何与这个动作具有相似特征的通道都能互相促进，而不管它在大脑中的空间位置如何。
[0112]
其次，将脑电信号输入到时间自注意力模块中：
[0113]
时间注意力模块和时间注意力模块最大的不同就是维度的变换上，在时间注意力中，将脑电信号数据送入卷积核大小为1
×
1的第一时间卷积层和第二时间卷积层中。生成大小为8
×
22
×
1125的两个脑电信号特征数据t
11
和t
12
。然后将两个脑电信号特征数据进行维度变换，生成大小为1125
×
(22
×
8)的特征矩阵和(8
×
22)
×
1125大小为的特征矩阵，对两个特征矩阵进行相乘运算并使用softmax函数进行归一化，得到时间注意力权重矩阵：
[0114][0115]
其中，时间注意力权重矩阵t3∈r
w
×
w
，func是计算相似度函数，具体计算方式为像素点相乘。t
3pq
表示第p个和第q个通道之间的相似度，取值范围为0～1(越接近1表示两个通道之间越相似)。
[0116]
将脑电信号数据与时间注意力权重矩阵相乘，得到时间加权矩阵t4∈r
h
×
w
。捕获任意两个时间步之间的依赖关系，并用特征t4来加权更新每个时间采样点最后，通过将第二可学习参数λ2乘以t4，并与脑电信号数据进行求和运算，作为一个残差块，得到的时间特征信号数据，如下所示：
[0117]
t＝λ2×
t4+r
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0118]
其中，时间特征信号数据t∈r
h
×
w
。t将全局的时间信息编码到每个采样步之中，提高了数据的时间表征能力。
[0119]
最后，将空间特征信号数据和时间特征信号数据输入到特征分类模块中：
[0120]
将原始mi信号、空间特征信号数据和时间特征信号进行拼接，得到拼接数据，具体如下：
[0121]
c1＝{m，s，t}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0122]
其中，c1∈r
(3
×
22
×
1125)
。
[0123]
首先，第二时间卷积层：使用40个卷积核尺寸为1
×
25，步长为(1,1)。使用第二时间卷积层将c1的维度由(3,22,1125)变为(40,22,1101)。然后再使用卷积核为22
×
1，步长为(1,1)的第三空间卷积层进行空间卷积，得到的脑电信号数据为(40,1,1101)。随后，使用卷积核为1
×
75，步长为1
×
15的平均池化层，进一步提取主要特征，减少脑电信号数据大小，得到的脑电信号数据尺寸为(40,1,69)。在平均池化之前使用平方非线性激活函数，将对数非线性激活函数使用在池化层的输出中。
[0124]
最后，将尺寸为(40,1,69)的脑电信号数据送往第四卷积层中，输出的尺寸为(4,1,1)。使用似然代价
‑
归一化指数函数进行多分类，将转换为各个预执行动作的概率。
[0125]
步骤6，将概率大于预设概率阈值的预执行动作作为目标人员的意向执行动作，并输出所述意向执行动作对应的控制指令至被控设备。
[0126]
其中，整个过程中，环境设置和参数设置如下：
[0127]
②
离线实验配置：
[0128]
工作站：
[0129]
操作系统：ubuntu16.0。cpu：intel(r)core(tm)i9
‑
9900x cpu@3.50ghz。内存：16g。编程语言：python3.6。ide：pycharm。开发环境：pytorch1.6.0、mne0.20.5cuda:10.2。
[0130]
②
在线实验配置：
[0131]
笔记本：
[0132]
操作系统：windows 10。cpu：intel core i7 10510u@1.80ghz 2.30ghz gpu p2000 5g memory:16g。编程语言：python3.6。ide：pycharm。开发环境：pytorch1.6.0、mne0.20.5、psychopy。
[0133]
本实施示例中，最终的结果如下：
[0134]
本实施示例的评价指标采用平均准确率和信息传输速率。
[0135]
离线准确率结果：
[0136]
二分类：97％。四分类：80％。
[0137]
离线信息传输速率(bpm)：
[0138]
二分类：6.90。四分类：8.24。
[0139]
在线准确率结果：
[0140]
二分类：90％。四分类：75％。
[0141]
在线信息传输速率(bpm)：
[0142]
二分类：4.55。四分类：6.79。
[0143]
本发明的优点和积极效果是：
[0144]
(1)本发明将脑机接口和机器人有效的结合在一起，获得实时运动想象信号并进行分析，获取使用者的意图从而可以快速而可靠的操控移动机器人。
[0145]
(2)本发明实现了将动作指引图像的显示与信号接收结合在一起，使数据接收与动作指引图像的显示达到同步，降低脑机接口延迟，可以完全实现实时控制。
[0146]
(3)本发明实现了用脑直接控制外设的中继系统，可以直接实现对任何外设的指令控制。
[0147]
(4)本发明允许使用者在任何环境下控制机器人，可以用于辅助严重运动障碍病
人的对外交流，帮助中风患者恢复运动功能，提高其生活质量。
[0148]
(5)通过同时考虑目标人员的脑电信号的时间特征和空间特征，基于神经网络进行拼接分类操作，以输出控制指令，有效的提高了脑电信号的分类精度。提高了控制指令的准确度。
[0149]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0150]
图4是本发明一个实施例提供的设备控制装置的结构示意图。如图4所示，设备控制装置4，包括：
[0151]
获取模块410，用于从脑电信号采集装置中实时获取目标人员的脑电信号数据；
[0152]
处理模块420，用于将脑电信号数据输入到预先训练的神经网络模型中，得到目标人员对应的各个预执行动作的概率；其中，预先训练的神经网络模型用于提取脑电信号数据中的空间特征信号数据和时间特征信号数据，对脑电信号数据、时间特征信号数据和空间特征信号数据进行拼接分类；
[0153]
输出模块430，用于将概率大于预设概率阈值的预执行动作作为目标人员的意向执行动作，并输出意向执行动作对应的控制指令至被控设备。
[0154]
可选的，预先训练的神经网络模型包括空间自注意力模块、时间自注意力模块、特征分类模块；
[0155]
处理模块420，用于将脑电信号数据输入到空间注意力模块中，得到空间注意力权重矩阵；
[0156]
根据空间注意力权重矩阵和脑电信号数据，确定空间特征信号数据；
[0157]
将脑电信号数据输入到时间注意力模块中，得到时间注意力权重矩阵；
[0158]
根据时间注意力权重矩阵和脑电信号数据，确定时间特征信号数据；
[0159]
将脑电信号数据、时间特征信号数据和空间特征信号数据输入到特征分类模块中进行拼接，得到拼接数据；
[0160]
根据似然代价
‑
归一化指数函数对拼接数据进行分类，得到目标人员对应的各个预执行动作的概率。
[0161]
可选的，设备控制装置4，还包括：训练模块440。
[0162]
训练模块440，用于从脑电信号采集装置中获取目标人员的多个目标脑电信号数据，
[0163]
多个目标脑电信号数据为目标人员生成的与预先设定的多个预执行动作对应的多个脑电信号数据；
[0164]
将多个脑电信号数据和每个脑电信号数据对应的预执行动作作为训练样本，并基于脑电信号数据、脑电信号数据对应的预执行动作训练得到所述神经网络模型。
[0165]
可选的，训练模块440，用于生成多个预执行动作对应的动作指引图像；其中，每个预执行动作对应一个动作指引图像；
[0166]
重复执行以下步骤直至获取到所有预执行动作对应的脑电信号数据：
[0167]
根据多线程算法，显示一个动作指引图像的同时，从脑电信号采集装置中实时获取目标人员观察该动作指引图像时的脑电信号数据。
[0168]
可选的，设备控制装置4，还包括：预处理模块450。
[0169]
预处理模块450，用于使用带通滤波器去除脑电信号数据中的肌电干扰以得到滤波后的脑电信号数据；
[0170]
根据电极通道指数移动标准化算法，对滤波后的脑电信号数据进行标准化处理。
[0171]
本实施例提供的设备控制装置，可用于执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
[0172]
图5是本发明一个实施例提供的数据处理终端的示意图。如图5所示，本发明的一个实施例提供的数据处理终端5，该实施例的数据处理终端5包括：处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52。处理器50执行计算机程序52时实现上述各个设备控制的预测方法实施例中的步骤，例如图2所示的步骤101至步骤103。或者，处理器50执行计算机程序52时实现上述各装置实施例中各模块/单元的功能，例如图4所示模块410至430的功能。
[0173]
示例性的，计算机程序52可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器51中，并由处理器50执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序52在数据处理终端5中的执行过程。
[0174]
数据处理终端5可以是桌上型计算机、笔记本、掌上电脑等计算设备。终端可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是数据处理终端5的示例，并不构成对数据处理终端5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端还可以包括输入输出设备、网络接入设备、总线等。
[0175]
所称处理器50可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0176]
存储器51可以是数据处理终端5的内部存储单元，例如数据处理终端5的硬盘或内存。存储器51也可以是数据处理终端5的外部存储设备，例如数据处理终端5上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，存储器51还可以既包括数据处理终端5的内部存储单元也包括外部存储设备。存储器51用于存储计算机程序以及终端所需的其他程序和数据。存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
[0177]
本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述设备控制的预测方法实施例中的步骤。
[0178]
计算机可读存储介质存储有计算机程序52，计算机程序52包括程序指令，程序指令被处理器50执行时实现上述实施例方法中的全部或部分流程，也可以通过计算机程序52来指令相关的硬件来完成，计算机程序52可存储于一计算机可读存储介质中，该计算机程序52在被处理器50执行时，可实现上述各个方法实施例的步骤。其中，计算机程序52包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间
形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
[0179]
计算机可读存储介质可以是前述任一实施例的终端的内部存储单元，例如终端的硬盘或内存。计算机可读存储介质也可以是终端的外部存储设备，例如终端上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，计算机可读存储介质还可以既包括终端的内部存储单元也包括外部存储设备。计算机可读存储介质用于存储计算机程序及终端所需的其他程序和数据。计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
[0180]
图6是本发明一个实施例提供的设备控制系统的示意图。如图6所示，设备控制系统6，包括：
[0181]
脑电信号采集装置61以及数据处理终端62。
[0182]
本实施例中，脑电信号采集装置61可以包括电极帽和放大器。电极帽用于采集脑电信号数据；放大器用于放大采集的脑电信号数据。数据处理终端62为上述任一方法实施例的执行主体。
[0183]
在一些实施例中，设备控制系统6，还包括数据中继终端63；
[0184]
数据中继终端62用于连接数据处理终端与被控设备64。
[0185]
本实施例中，被控设备64可以是机器人、家用电器，智能家居设备等无人机，在此不作限定。
[0186]
本实施例中，数据中继终端62通过多组任务处理，将目标计算机和源计算机的通信封装为一组，且每组的任务不会相互影响，实现了各个任务之间的软件隔离，使得多个目标人员可以同时使用系统对多种设备进行控制(比如无人机控制、机器人控制等)，并且数据中继终端62可以通过云传输到更远的距离，实现远距离外设的控制。
[0187]
本实施例中，数据中继终端62可以实现多组实验的同时接入并控制至少一个被控设备64，为实现大规模应用并实现云上计算、智能家居、远程控制提供了技术基础。
[0188]
图7是本发明一个实施例提供的机器人系统的示意图。如图7所示，机器人系统7，包括：
[0189]
机器人72以及设备控制系统71；机器人72为设备控制系统71对应的被控设备。
[0190]
本实施例中，设备控制系统71根据目标人员的脑电信号数据向机器人72发送控制信号，机器人72，根据接收到的控制信号，进行相应操作(向前、向后、向左、向右行走，或者，抬手、抬脚、静息等)。
[0191]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0192]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的
功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0193]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0194]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0195]
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0196]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0197]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0198]
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
[0199]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者
替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。