一种基于脑机接口中的少样本识别方法

1.本发明涉及脑电信号分类与识别的技术领域，尤其涉及一种基于脑机接口中的少样本识别方法。


背景技术：

2.脑机接口(brain-computer interface，bci)能够通过识别一系列脑电(electroencephalogram，eeg)信号将人类的思维活动或意图转化为相应的计算机指令，从而实现大脑对外部设备的直接交流或控制。运动想象(motor imagery，mi)作为一种主动式的控制范式，被广泛运用于医疗康复等领域，已成为当前bci领域的研究热点。
3.尽管这种可以完全自主控制的bci系统受到了众多学者的青睐并得到了广泛的研究，但它的发展仍然面临着诸多挑战，其中最主要的是目前基于运动想象的bci系统初始校准时间较长，即由于该种系统自主控制的特性，用户往往需要经历长时间的校准阶段，才能学会如何控制其大脑以产生易于区分的脑电信号，然而，由于脑电数据采集流程复杂，该阶段耗费时间较长，对于健康被试而言，整个过程枯燥无味，对于偏瘫患者而言，更可能导致身心俱疲甚至难以承受。因此，一种减少目标受试所需的训练样本数量、同时保证稳定可靠bci性能的少样本识别算法亟待提出。
4.目前大部分方法采用迁移学习的方法来解决此问题，并且其中的大部分算法仍然需要目标受试每类至少10个以上的样本来帮助迁移训练，很少有研究关注目标受试标注样本极少(如每类1个或5个训练样本)情况下的mi任务分类问题，尤其是在深度学习模型的背景下。尽管深度迁移技术(如fine-tune)可以利用其它受试的数据，但当目标受试训练数据很少时，其适应能力有限。随着元学习逐渐成为少样本分类问题中一个极具潜力的学习范式，目前已有相关研究将其运用于脑机接口领域，但最近一些结合迁移学习和元学习两者优势的工作在视觉领域建立了新的最先进的结果，然而该类方法目前在脑机接口领域探索仍较少。


技术实现要素：

5.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
6.鉴于上述现有存在的问题，提出了本发明。
7.因此，本发明解决的技术问题是：现有技术中目标受试训练样本较少情况下系统性能不佳。
8.为解决上述技术问题，本发明提供如下技术方案：获取1位目标受试和m位辅助受试执行n类运动想象任务的eeg数据；在预训练阶段，利用辅助受试数据学习eeg的特征编码器f
θ
，并将其作为后续元学习阶段的初始模型参数；元学习阶段在预训练的基础上以任务为尺度进行优化，使模型能更好的适应以目标受试数据构建的少样本任务。
9.作为本发明所述的基于脑机接口中的少样本识别方法的一种优选方案，其中：所述目标受试每类仅具有k个已标注样本，其中，k≤5，所述辅助受试每类任务下具有相对大量的标注数据；
10.利用来自所述辅助受试的数据为目标受试构建性能更好的模型，其整体流程包括预训练和元学习两个阶段。
11.作为本发明所述的基于脑机接口中的少样本识别方法的一种优选方案，其中：所述预训练阶段包括：将辅助受试的原始eeg信号作为深度网络的输入，并在前面两层执行时间方向上和空间方向上的卷积；应用批归一化层将空间滤波卷积层的输出减去平均值并除以标准差进行规范化，减少网络的内部协变量偏移；使用平方非线性函数、均值池化以及对数激活函数对数据进行变换；添加一个dropout层以预设的概率随机将部分输入置零，防止不同神经单元的过度协同适应；采用一层卷积将不同类别的多个特征图转化为整体的特征向量，并将其输入到全连接层进行最后的分类。
12.作为本发明所述的基于脑机接口中的少样本识别方法的一种优选方案，其中：所述原始eeg信号为二维数据，记录不同电极通道下的随时间变化的电压值。
13.作为本发明所述的基于脑机接口中的少样本识别方法的一种优选方案，其中：将不同受试相同mi任务的数据定义不同的类别，即对于所述m位辅助受试执行n类运动想象任务，即共有m
×
n个类别。
14.作为本发明所述的基于脑机接口中的少样本识别方法的一种优选方案，其中：所述元学习阶段包括：从所述m位辅助受试中随机挑选一位，再从其每类训练数据中随机选择k个样本作为任务内的训练样本和q个样本作为任务内的测试样本构建一个少样本任务；在每次任务中，将n
×
k个支持集样本利用特征编码器映射得到相应的特征向量，计算每类平均特征向量作为该类的质心；对于训练任务中的某一查询样本x，根据其特征向量与类i质心之间的余弦相似度计算该样本x属于类别i的概率。
15.作为本发明所述的基于脑机接口中的少样本识别方法的一种优选方案，其中：所述质心的计算公式包括：定义si为类别i(i＝1,
…
,n)下k个支持样本所构成的子集，则每类的质心wi表示为如下形式：
[0016][0017]
其中，f
θ
(x)表示支持样本x经过特征编码器f
θ
后所得的特征向量。
[0018]
作为本发明所述的基于脑机接口中的少样本识别方法的一种优选方案，其中：所述样本x属于类别i的概率的计算公式包括：
[0019][0020]
其中，cos《
·
,
·
》表示两个向量的余弦相似度，wj表示类j的质心，y表示预测标签，n表示类别数量。
[0021]
作为本发明所述的基于脑机接口中的少样本识别方法的一种优选方案，其中：所述预训练阶段采用标准的交叉熵损失函数对网络的参数进行迭代更新。
[0022]
本发明的有益效果：本发明在预训练模型的基础上使用元学习来进一步提高性
能，可以通过简单地改变特征编码模块来应用于不同bci场景下的少样本分类问题；在预训练阶段，本发明首次将不同受试相同想象任务下的数据视为不同的分类类别，这种特征提取模式能够隐式地学习个体之间的差异，再加上元学习是从以不同个体为尺度构造的任务中学习可供迁移的知识，因此，在面对以目标受试数据构造的新任务时，本发明能够表现出更好的泛化性能。
附图说明
[0023]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0024]
图1为本发明一个实施例提供的一种基于脑机接口中的少样本识别方法的基本流程示意图；
[0025]
图2为本发明一个实施例提供的一种基于脑机接口中的少样本识别方法的深度网络详细结构示意图。
具体实施方式
[0026]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
[0027]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0028]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0029]
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0030]
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0031]
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0032]
实施例1
[0033]
参照图1，为本发明的一个实施例，提供了一种基于脑机接口中的少样本识别方法，包括：
[0034]
s1：获取1位目标受试和m位辅助受试执行n类运动想象任务的eeg数据。
[0035]
需要说明的是，目标受试每类仅具有k个已标注样本，其中，通常k≤5，辅助受试每类任务下具有相对大量的标注数据；
[0036]
本发明目标为利用来自辅助受试的数据为目标受试构建性能更好的模型，其整体流程包括预训练和元学习两个阶段。
[0037]
s2：在预训练阶段，利用辅助受试数据学习eeg的特征编码器fθ，并将其作为后续元学习阶段的初始模型参数。
[0038]
需要说明的是，该步骤具体包括：
[0039]
(1)将辅助受试的原始eeg信号(二维数据，记录不同电极通道下的随时间变化的电压值)作为深度网络的输入，并在前面两层执行时间方向上和空间方向上的卷积，这两层卷积操作与传统算法fbcsp里的带通滤波和空间滤波步骤相似；
[0040]
(2)之后，应用批归一化层将空间滤波卷积层的输出减去平均值并除以标准差进行规范化，以减少网络的内部协变量偏移；
[0041]
(3)接着，使用平方非线性函数、均值池化以及对数激活函数对数据进行变换，以上操作加起来与传统算法fbcsp里对变换后信号进行对数方差的运算相似；
[0042]
(4)随后，添加一个dropout层以一定的概率随机将部分输入置零，以防止不同神经单元的过度协同适应；
[0043]
(5)最后，再采用一层卷积将不同类别的多个特征图转化为整体的特征向量，并将其输入到全连接层进行最后的分类。对分类训练策略而言，在本发明之前同样结合预训练阶段、利用辅助受试促进目标受试数据分类的方法中，来自不同辅助受试同一运动想象任务下的数据被合并为一类，然而，简单地混合不同受试的数据可能会导致不同个体间的关键差异被抵消，不利于后面元训练的学习，因此，本发明将不同受试相同mi任务的数据视作不同的类别，即对于m位辅助受试执行n类运动想象任务，我们共有m
×
n个类别，而不是传统的n个类别。在训练时，采用标准的交叉熵损失函数对网络的参数进行迭代更新。最后，移除网络的全连接层得到特征编码器f
θ
，它将输入的eeg信号映射至对应的特征空间。
[0044]
s3：元学习阶段在预训练的基础上以任务为尺度进行优化，使模型能更好的适应以目标受试数据构建的少样本任务。
[0045]
需要说明的是，该步骤具体包括：
[0046]
(1)首先从m位辅助受试中随机挑选一位，然后再从其每类训练数据中随机选择k个样本作为任务内的训练样本(或称支持样本)，和q个样本作为任务内的测试样本(或称查询样本)构建一个少样本任务；
[0047]
(2)在每次任务中，首先将n
×
k个支持集样本利用步骤s2中的(5)步骤获得的特征编码器映射得到相应的特征向量，再计算每类平均特征向量作为该类的质心。该质心的计算公式如下，记si为类别i(i＝1,
…
,n)下k个支持样本所构成的子集，因此，每类的质心wi可表示为如下形式：
[0048][0049]
其中，f
θ
(x)表示支持样本x经过特征编码器f
θ
后所得的特征向量。
[0050]
(3)对于训练任务中的某一查询样本x，根据其特征向量与类i质心之间的余弦相似度计算该样本x属于类别i的概率：
[0051][0052]
其中，cos《
·
,
·
》表示两个向量的余弦相似度，wj表示类j的质心，y表示预测标签，n表示类别数量。
[0053]
由于训练任务是从辅助受试中已标注的数据中选取的，因此，可以计算预测概率与该样本标签之间的交叉熵损失，并反向传播更新参数。通过这样多次在辅助受试中以个体为单位抽取任务并迭代更新网络的训练方式，模型学会如何在任务之间泛化，并且这与步骤s2中的(5)步骤中将不同对象类别分开的思想一脉相承，因此在面对目标受试时，模型能够快速而准确的适应；完成元训练阶段之后，便可以利用目标受试已标注样本和测试数据构建相同结构的少样本任务，以测试模型的性能。
[0054]
本发明在预训练模型的基础上使用元学习来进一步提高性能，可以通过简单地改变特征编码模块来应用于不同bci场景下的少样本分类问题；在预训练阶段，本发明首次将不同受试相同想象任务下的数据视为不同的分类类别，这种特征提取模式能够隐式地学习个体之间的差异，再加上元学习是从以不同个体为尺度构造的任务中学习可供迁移的知识，因此，在面对以目标受试数据构造的新任务时，本发明能够表现出更好的泛化性能。
[0055]
实施例2
[0056]
如图1～所示，为本发明另一个实施例，该实施例不同于第一个实施例的是，提供了一种基于脑机接口中的少样本识别方法的验证测试，为对本方法中采用的技术效果加以验证说明，本实施例采用传统技术方案与本发明方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果，具体的：
[0057]
(1)获取1位目标受试和8位辅助受试执行两类运动想象任务(分别为左手运动想象和右手运动想象)的eeg数据，其中，目标受试每类具有k(k取1或5)个已标注样本，辅助受试每类任务下具有相对大量的标注数据。本实施例以一个基于运动想象的脑电数据集进行详细说明。
[0058]
具体地，步骤(1)包括：
[0059]
(1.1)实验共采集9位受试的脑电数据，有22个电极通道，采样频率为250hz。本实施例每次从中选取1位作为目标受试，其他剩余8位作为辅助受试，辅助受试在预训练和元训练阶段提供训练数据，目标受试在元测试阶段提供少量标注样本及大量测试样本用于评估算法的性能，整个实验重复执行9次，最终将9位被试分类准确率的平均值作为该数据集的整体结果；
[0060]
(1.2)在采集到的连续脑电信号上执行4-38hz的带通滤波，以去除数据中的其他频率的干扰噪声、人工伪迹等，然后，执行指数移动平均(exponential moving average，ema)来计算各电极范围内的指数移动平均值和相应的方差，以标准化原始脑电数据，最后，
截取每次试验箭头提示开始后1-4秒的运动想象eeg数据作为深度网络的输入，因此，一个试验样本最终的形式为：22电极
×
750采样点；
[0061]
(2)在预训练阶段，本实施例的深度网络输入是22电极
×
750采样点的原始二维eeg数据，接着经过时间卷积、空间卷积、均值池化、分类卷积等操作得到一个40维的特征向量，最后，将该特征向量全连接至一个16维的输出向量，分别代表16个类别(8位源受试
×
2个mi任务类别)的预测概率，具体卷积核及每层详细结构如图2所示。在训练过程中，本实施例使用动量大小为0.9的随机梯度下降(sgd)优化器，且将学习率设置为0.000625。本实施例在单块quadro rtx 5000gpu上进行训练，全部训练数据共迭代100次，批大小(batch_size)设置为64。
[0062]
(3)在元训练阶段，本实施例使用与预训练阶段相同的优化器设置和学习率，整个过程共训练30个回合(epoch)，每个epoch包含100项少样本任务。在每项任务中，本实施例随机选择一位辅助受试，并在其每类中随机选取k个样本作为支持集、15个样本作为查询集，因此，每项任务的数据规模为2
×
(k+15)。在元测试阶段，本实施例从目标受试的数据中随机构建了200项少样本任务，并将所有测试任务的平均结果作为该目标受试最终的少样本学习准确率。
[0063]
如表1和表2所示，本实施例分别列举了5种方法在该脑电数据集上的分类准确率，其中4种作为本发明的对比方法，它们分别为：一种传统的基线方法(受试相关方案：subject-dependent scheme,sd)、两种元学习方法(关系网络：relationnet、与模型无关元学习算法：maml)、以及一种深度迁移方法(fine-tune)。
[0064]
表1：当k＝1时，不同算法所有受试分类准确率(％)。
[0065][0066]
表2：当k＝5时，不同算法所有受试分类准确率(％)。
[0067][0068]
[0069]
如表1所示，当目标受试每类只有1个标注样本时，基线方法的平均准确率为64.33％，三种对比方法均在此基础上有所提升，而本发明提出的将预训练与元学习结合的算法比基线方法提升最为显著(显著性检验：p＝0.025《0.05)，达到67.33％、提升3％，并且也相较于relationnet、maml和fine-tune算法的平均结果分别提升2.56％、2.33％和1.5％；如表2所示，当目标受试每类只有5个标注样本时，本发明所提出的算法同样比基线方法提升明显(显著性检验：p＝0.022《0.05)，取得了最高的平均结果，达到71.67％，比baseline、relationnet、maml、以及fine-tune分别高出5.22％、3.33％、3.00％、和2.78％。实验结果表明本发明提出的方法能获得比基线方法、早期的元学习框架和迁移学习的微调方法更高的分类准确率，显示出在目标受试训练样本不足的情况下对运动想象eeg数据进行分类的有效性。
[0070]
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
[0071]
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
[0072]
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
[0073]
如在本技术所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。
一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
[0074]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。