一种用于解决运动想象脑机接口中特征迁移问题的域适应方法

1.本发明属于运动想象脑机接口中迁移学习技术领域，具体涉及一种用于解决运动想象脑机接口中特征迁移问题的域适应方法。


背景技术：

2.脑机接口(brain
‑
computer interface，bci)提供了一种人脑和电子设备之间的直接连接方式，实现了人脑与外界设备的信息交换。脑机接口根据使用脑电信号类型的不同可以分为不同的脑机接口。其中基于运动想象脑电信号(motor imagery electroencephalogram，mi
‑
eeg)的脑机接口由于其具有主动性且与运动相关而被广泛应用。但是在运动想象脑机接口(motor imagery brain
‑
computer interface，mi
‑
bci)中存在脑电信号特征迁移这一问题，这种特征迁移带来的偏差会降低mi
‑
bci的分类正确率，传统脑机接口中的机器学习算法无法解决这类问题，于是该问题成为限制mi
‑
bci发展的一个主要原因。


技术实现要素：

3.本发明的目的是为解决运动想象脑机接口中，由于脑电信号特征迁移带来的偏差会导致mi
‑
bci的分类正确率低的问题，而提出了一种用于解决运动想象脑机接口中特征迁移问题的域适应方法。
4.本发明为解决上述技术问题所采取的技术方案是：一种用于解决运动想象脑机接口中特征迁移问题的域适应方法，所述方法具体包括以下步骤：
5.步骤一、将使用脑机接口系统的人作为被试，对被试共进行m次运动想象实验，并在每次运动想象实验过程中，采集被试从运动想象实验开始至运动想象实验结束整个过程的脑电信号数据；
6.将采集的各次脑电信号数据分为训练集和测试集两部分，并分别对训练集和测试集中的数据按照对应的实验先后进行顺序编号；
7.步骤二、将训练集和测试集中进行运动想象时段的脑电信号数据截取出来；
8.步骤三、对截取出来的脑电信号数据进行带通滤波处理，获得带通滤波处理后的脑电信号数据；
9.步骤四、采用csp特征提取算法对训练集数据和测试集数据进行处理，得到空间滤波器；
10.利用空间滤波器对训练集和测试集中各次实验对应的带通滤波处理后脑电信号数据进行空间滤波，分别获得训练集和测试集中各次实验采集数据对应的空间滤波矩阵，再分别对空间滤波矩阵进行处理后，获得对应次实验采集脑电信号数据的特征矩阵，并对特征矩阵进行归一化处理；
11.步骤五、利用训练集数据对应的归一化特征矩阵对svm函数进行训练，获得训练好
的模型；
12.步骤六、利用训练集数据的归一化特征矩阵计算阈值threshold，按照规则从测试集数据中选取出多组测试数据，再利用测试集数据对应的归一化特征矩阵计算每组测试数据的平均特征值；
13.所述按照规则从测试集数据中选取出多组测试数据，再利用测试集数据对应的归一化特征矩阵计算每组测试数据的平均特征值；其具体过程为：
14.序号l在1～m1之间依次取值，序号j0在1～m2之间依次取值，m2代表测试集数据对应的总实验次数；
15.序号l从1开始取值，当l＝1时，序号j0依次取遍1,2,
…
,m2，当序号j0的取值小于序号l的取值时，将测试集中的第1次至第j0‑
1次实验数据选取出来作为一组数据；当j0大于等于l时，将测试集中的第j0‑
l次至第j0‑
1次实验数据选取出来作为一组数据；直至序号j0依次遍历1,2,
…
,m2后，共获得m2组数据，再分别计算每组数据的平均特征值；
16.同理，序号l依次取遍1～m1，对于序号l的每个取值，均对应获得了m2组数据；
17.分别将每组测试数据的平均特征值与训练集全部数据的平均特征值做差，对做差结果的2
‑
范数值大于阈值threshold的测试数据组执行步骤七；
18.步骤七、分别计算出每组测试数据对应的映射f后，利用计算出的映射f计算对应次实验的新测试数据；
19.对于序号l的某一取值，利用在该取值下所计算出的新测试数据对测试集中的对应数据进行更新，获得在该取值下更新后的测试集数据；
20.同理，分别获得序号l的每一个取值下的更新后的测试集数据；
21.步骤八、利用csp特征提取算法分别对步骤七获得的各次实验的新测试数据进行处理，分别获得新测试数据的特征矩阵；且处理时所采用的空间滤波器与步骤四中得到的空间滤波器相同；
22.利用步骤五中训练好的model分别对序号l每一个取值下更新后的测试集数据的特征矩阵进行分类，将分类结果与测试集数据的标签进行对比，分别获得对序号l每一个取值下更新后的测试集数据的分类正确率；
23.选取出最高的分类正确率对应的序号l取值，将选取出的l值作为被试的测试数据步长；
24.步骤九、根据步骤八中获得的测试数据步长，对采集的被试实际脑电信号数据进行分类；
25.所述步骤九的具体过程为：
26.步骤九一、首先采集被试的实际脑电信号数据构建训练集a，其中，训练集a内共包含采集的m3次数据，每次采集数据的时间长度相同；
27.步骤九二、对训练集a中的数据进行步骤三和步骤四的处理，获得训练集a中数据的归一化特征矩阵；
28.再利用训练集a中数据的归一化特征矩阵对svm函数进行训练，获得训练好的model；
29.步骤九三、利用步骤九二获得的归一化特征矩阵计算新阈值threshold
′
；
30.步骤九四、再实时采集一次被试的实际脑电信号数据；
31.计算该次采集数据的特征值后，将该次采集数据的特征值与训练集a中数据的平均特征值做差，若做差结果的2
‑
范数值小于等于阈值threshold
′
，则利用步骤九二中训练好的model对采集的该次数据进行分类，获得分类结果；
32.否则，若做差结果的2
‑
范数值大于阈值threshold
′
，则采用步骤七的方法计算出映射后，再根据映射得到该次采集数据对应的映射后新数据，再利用步骤九二中训练好的model对映射后新数据进行分类，获得分类结果；
33.步骤九五、再实时采集一次被试的实际脑电信号数据，计算当前次采集的数据与步骤九四中采集数据的平均特征值；将平均特征值与训练集a中数据的平均特征值做差，若做差结果的2
‑
范数值小于等于新阈值threshold
′
，则利用步骤九二中训练好的model对当前次采集的数据进行分类，获得分类结果；否则，做差结果的2
‑
范数值大于新阈值threshold
′
，则采用步骤七的方法计算出映射后，再根据映射得到当前次采集数据对应的映射后新数据，再利用步骤九二中训练好的model对映射后新数据进行分类，获得分类结果；
34.步骤九六、重复执行步骤九五的过程，在采集数据次数超过被试对应的测试数据步长l0之前，计算的均是从步骤九四开始采集的数据的平均特征值；在超过测试数据步长l0之后，计算的是最近采集的l0次数据的平均特征值；
35.直至停止使用运动想象脑机接口。
36.本发明的有益效果是：本发明根据源域(训练集)与目标域(测试集)样本分布求得所需映射，目标域的样本分布经过映射后成为一个新的样本分布，新的样本分布与源域样本分布差异最小，通过映射改变目标域样本分布从而维持脑机接口中目标域与训练域样本分布的一致性，解决脑电信号特征迁移带来偏差的问题，有效提高对新的样本分布的分类正确率。
附图说明
37.图1为采集脑电信号的实验范式流程图；
38.图2为将kl散度的迁移学习方法应用于运动想象脑机接口的流程图。
具体实施方式
39.具体实施方式一、结合图2说明本实施方式。本实施方式所述的一种用于解决运动想象脑机接口中特征迁移问题的域适应方法，所述方法具体包括以下步骤：
40.步骤一、将使用脑机接口系统的人作为被试，对被试共进行m次运动想象实验，并在每次运动想象实验过程中，采集被试从运动想象实验开始至运动想象实验结束整个过程的脑电信号数据；
41.将采集的各次脑电信号数据分为训练集和测试集两部分，并分别对训练集和测试集中的数据按照对应的实验先后进行顺序编号，训练集和测试集中数据编号均是从1开始顺序编号的，每个编号对应的均是一次实验过程中采集的脑电信号数据；
42.步骤二、将训练集和测试集中进行运动想象时段的脑电信号数据截取出来；
43.步骤三、对截取出来的脑电信号数据进行带通滤波处理，获得带通滤波处理后的脑电信号数据；
44.对数据进行带通滤波将高频的眼电和肌电干扰滤除，不同被试的最佳滤波频段是不同的，在本发明的实验中，a01和a09被试通带截止频率为7
‑
18hz，阻带截止频率为5
‑
20hz；a02和a05被试的通带截止频率为18
‑
28hz，阻带截止频率为15
‑
33hz；其余被试的通带截止频率为7
‑
30hz，阻带截止频率为4
‑
35hz；
45.步骤四、采用csp特征提取算法对训练集数据和测试集数据进行处理，得到空间滤波器；
46.利用空间滤波器对训练集和测试集中各次实验对应的带通滤波处理后脑电信号数据进行空间滤波，分别获得训练集和测试集中各次实验采集数据对应的空间滤波矩阵，再分别对空间滤波矩阵进行处理后，获得对应次实验采集脑电信号数据的特征矩阵，并对特征矩阵进行归一化处理；
47.步骤五、利用训练集数据对应的归一化特征矩阵对svm函数进行训练，获得训练好的模型(model)；
48.matlab中的libsvm工具箱有集成好的svm函数；
49.步骤六、利用训练集数据的归一化特征矩阵计算阈值threshold，按照规则从测试集数据中选取出多组测试数据，再利用测试集数据对应的归一化特征矩阵计算每组测试数据的平均特征值；
50.所述按照规则从测试集数据中选取出多组测试数据，再利用测试集数据对应的归一化特征矩阵计算每组测试数据的平均特征值；其具体过程为：
51.序号l在1～m1之间依次取值，序号j0在1～m2之间依次取值，m2代表测试集数据对应的总实验次数；
52.序号l从1开始取值，当l＝1时，序号j0依次取遍1,2,
…
,m2，当序号j0的取值小于序号l的取值时，将测试集中的第1次至第j0‑
1次实验数据选取出来作为一组数据；当j0大于等于l时，将测试集中的第j0‑
l次至第j0‑
1次实验数据选取出来作为一组数据；直至序号j0依次遍历1,2,
…
,m2后，共获得m2组数据，再分别计算每组数据的平均特征值；
53.同理，序号l依次取遍1～m1，对于序号l的每个取值，均对应获得了m2组数据；
54.分别将每组测试数据的平均特征值与训练集全部数据的平均特征值做差，对做差结果的2
‑
范数值大于阈值threshold的测试数据组执行步骤七；
55.计算其中，为某组测试数据的平均特征值，如果认为该组测试数据与训练集数据的特征分布差异较大，使用kl散度域适应算法，执行步骤七，否则执行步骤八；
56.步骤七、分别计算出每组测试数据对应的映射f后，利用计算出的映射f计算对应次实验的新测试数据；
57.对于序号l的某一取值，利用在该取值下所计算出的新测试数据对测试集中的对应数据进行更新，获得在该取值下更新后的测试集数据；
58.同理，分别获得序号l的每一个取值下的更新后的测试集数据；
59.步骤八、利用csp特征提取算法分别对步骤七获得的各次实验的新测试数据进行处理，分别获得新测试数据的特征矩阵；且处理时所采用的空间滤波器与步骤四中得到的空间滤波器相同；
60.利用步骤五中训练好的model分别对序号l每一个取值下更新后的测试集数据的特征矩阵进行分类，将分类结果与测试集数据的标签进行对比，分别获得对序号l每一个取值下更新后的测试集数据的分类正确率；
61.选取出最高的分类正确率对应的序号l取值，将选取出的l值作为被试的测试数据步长；
62.步骤九、根据步骤八中获得的测试数据步长，对采集的被试实际脑电信号数据进行分类。
63.迁移学习作为一种迁移已有知识解决目标领域问题的方法能够有效解决脑电信号特征迁移的问题，而其中的域适应方法由于适应性高的特点更加适合于运动想象脑机接口。域适应方法的基本思想是建立一个映射，目标域的样本分布经过映射后成为一个新的样本分布，新的样本分布与源域样本分布差异最小。
64.本发明使用kl散度度量源域与目标域样本分布差异的大小。kl散度值越小，两个样本分布的差异越小。本发明通过令源域与目标域样本分布的kl散度值最小求得所需映射，通过映射改变目标域样本分布从而维持脑机接口中目标域与源域样本分布的一致性，解决特征迁移的问题。
65.具体实施方式二：结合图1说明本实施方式。本实施方式与具体实施方式一不同的是，所述步骤一中，运动想象实验的具体过程为：
66.被试正对电脑屏幕，实验开始时t＝0，屏幕上出现一个固定的十字符号，直至t＝t1秒时屏幕上出现箭头提示符，箭头提示符指向左或者指向右，其中，箭头提示符指向左对应想象左手运动，箭头提示符指向右对应想象右手运动，箭头提示符持续t0秒，直至t＝t2秒时十字符号消失，在t1～t2期间，被试一直进行运动想象；
67.在t＝t2秒之后，进入休息状态，休息时间持续t0′
秒后，完成当前次运动想象实验；采集当前次运动想象实验从t＝0至t＝t2+t0′
秒的脑电信号数据；
68.对被试共重复m次上述运动想象实验过程。
69.每次进行运动想象实验时，均对应采集被试的脑电信号，对于被试共采集了144组实验数据，其中，对被试的实验中，想象右手运动的次数与想象左手运动的次数相同，数据集的采样率为250hz。将前34组实验数据作为训练集训练模型，后110组实验数据作为测试集，实验自由度为2，即仅包含左右手运动想象的实验数据。且采集的数据经过了0.5～100hz的带通滤波和50hz工频陷波滤波。
70.其它步骤及参数与具体实施方式一相同。
71.具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述t1的取值为2，t0的取值为1.25，t2的取值为6，t0′
的取值为1.5。
72.其它步骤及参数与具体实施方式一或二相同。
73.具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤二的具体过程为：
74.利用偏置为0.5秒、窗长为3秒的时间窗将进行运动想象时段的脑电信号数据从采集的脑电信号数据中截取出来。
75.采集到的实验数据根据不同时段的实验内容打上不同的标签，其中，768标签表示实验开始，769标签表示左手运动想象提示，770表示右手运动想象提示，32766表示新一组
实验开始。设置一个偏置为0.5s，窗长为3s的时间窗将标签为769和770对应的数据取出。
76.本实施方式中采用窗长为3秒的时间窗进行截取，可以去除被试的反应时间所对应的数据，在减小计算量的同时高效地提取运动想象时段的脑电信号数据。
77.其它步骤及参数与具体实施方式一至三之一相同。
78.具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述步骤四中，利用空间滤波器对训练集和测试集中各次实验对应的带通滤波处理后脑电信号数据进行空间滤波，分别获得训练集和测试集中各次实验采集数据对应的空间滤波矩阵，再分别对空间滤波矩阵进行处理后，获得对应次实验采集脑电信号数据的特征矩阵；其具体过程为：
79.对于某次实验对应的带通滤波处理后脑电信号数据，将空间滤波器与该数据相乘后，得到的相乘结果仍为矩阵，对相乘结果求方差得到空间滤波矩阵，即对相乘所得的矩阵内的数据求方差；
80.将空间滤波矩阵的第一行、第二行和最后面的两行提取出来作为该次实验时采集的脑电信号数据的特征矩阵；
81.同理，分别获得训练集和测试集中每次实验时采集的脑电信号数据的特征矩阵。
82.其它步骤及参数与具体实施方式一至四之一相同。
83.具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述步骤六中，利用训练集数据的归一化特征矩阵计算阈值threshold，计算方法为：
84.选取出训练集中的第k次至第k+l
‑
1次实验的脑电信号数据，将选取出的数据作为一组数据，其中，序号l在1～m1之间依次取值，序号k在1～m1‑
l+1之间依次取值，其具体为：
85.序号l从1开始取值，当l＝1时，k依次取遍1,2,
…
,m1‑
l+1，每当k取一个值时，均获得对应的一组数据，即当l＝1时，共获得m1‑
l+1组数据，m1代表训练集数据对应的总实验次数；同理，再将l依次取遍2～m1，获得各组数据；
86.对于获得的任意一组数据，利用该组数据对应的归一化特征矩阵计算该组数据的平均特征值
[0087][0088]
其中，c
lk
为该组数据中想象左手运动的数据集合，c
rk
为该组数据中想象右手运动的数据集合，表示集合c
lk
中的数据对应的总实验次数，表示集合c
rk
中的数据对应的总实验次数，表示集合c
lk
中第i次实验数据的归一化特征矩阵的特征值，表示集合c
rk
中第j次实验数据的归一化特征矩阵的特征值；
[0089]
各组数据遍历完成后，分别得到每组数据的平均特征值；
[0090]
计算训练集中全部次实验数据的平均特征值
[0091][0092]
其中，c
l
表示训练集中想象左手运动的数据集合，c
r
表示训练集中想象右手运动的数据集合，l
dl
表示集合c
l
中的数据对应的总实验次数，l
dr
表示集合c
r
中的数据对应的总实
验次数，表示集合c
l
中第i
′
次实验数据的归一化特征矩阵的特征值，表示集合c
r
中第j
′
次实验数据的归一化特征矩阵的特征值；
[0093]
利用每组数据的平均特征值和计算阈值threshold：
[0094][0095]
其中，表示的2
‑
范数，表示分别将每组数据的平均特征值与做差后，将每组数据对应的做差结果分别计算2
‑
范数，将计算出的最大2
‑
范数结果作为阈值threshold。
[0096]
其它步骤及参数与具体实施方式一至五之一相同。
[0097]
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述步骤七中，分别计算出每组测试数据对应的映射f后，利用计算出的映射f计算对应次实验的新测试数据；其具体过程为：
[0098]
计算训练集中第i0次实验数据的协方差其中，为训练集中第i0次实验数据，tr(
·
)为矩阵的迹，训练集数据的平均协方差
[0099]
某组测试数据中第n次实验数据的协方差其中，t
n
为该组测试数据中第n次实验数据，该组测试数据的平均协方差为：
[0100][0101]
其中，c
l1
表示当j0＜l时，序号j0之前的j0‑
1次实验数据中对应svm分类概率大于65％的左手运动想象数据的集合，c
r1
表示当j0＜l时，序号j0之前的j0‑
1次实验数据中对应svm分类概率大于65％的右手运动想象数据的集合；表示第n次实验数据经svm分类结果为左手运动想象的概率，表示第n次实验数据经svm分类结果为右手运动想象的概率，n
l
和n
r
分别表示集合c
l1
和c
r1
中数据对应的总实验次数；
[0102]
集合c
l1
中的实验数据，经svm分类为左手运动想象数据的概率大于65％；集合c
r1
中的实验数据，经svm分类为右手运动想象数据的概率大于65％；
[0103]
c
l2
表示当j0≥l时，该组测试数据中第j0‑
l次至第j0‑
1次实验数据对应svm分类概率大于65％的左手运动想象数据的集合，c
r2
表示当j0≥l时，该组测试数据中第j0‑
l次至第j0‑
1次实验数据对应svm分类概率大于65％的右手运动想象数据的集合；
[0104]
利用和计算映射根据映射f计算该组测试数据对应的序
号为j0的测试数据对应的新测试数据
[0105][0106]
对需要处理的各组测试数据分别进行上述处理。
[0107]
其它步骤及参数与具体实施方式一至六之一相同。
[0108]
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述步骤九的具体过程为：
[0109]
步骤九一、首先采集被试的实际脑电信号数据构建训练集a，其中，训练集a内共包含采集的m3次数据，每次采集数据的时间长度相同；
[0110]
步骤九二、对训练集a中的数据进行步骤三和步骤四的处理，获得训练集a中数据的归一化特征矩阵；
[0111]
再利用训练集a中数据的归一化特征矩阵对svm函数进行训练，获得训练好的model；
[0112]
步骤九三、利用步骤九二获得的归一化特征矩阵计算新阈值threshold
′
；计算新阈值threshold
′
的方法与步骤六相同；
[0113]
步骤九四、再实时采集一次被试的实际脑电信号数据；
[0114]
计算该次采集数据的特征值后，将该次采集数据的特征值与训练集a中数据的平均特征值做差，若做差结果的2
‑
范数值小于等于阈值threshold
′
，则利用步骤九二中训练好的model对采集的该次数据进行分类，获得分类结果；
[0115]
否则，若做差结果的2
‑
范数值大于阈值threshold
′
，则采用步骤七的方法计算出映射后，再根据映射得到该次采集数据对应的映射后新数据，再利用步骤九二中训练好的model对映射后新数据进行分类，获得分类结果；
[0116]
步骤九五、再实时采集一次被试的实际脑电信号数据，计算当前次采集的数据与步骤九四中采集数据的平均特征值；将平均特征值与训练集a中数据的平均特征值做差，若做差结果的2
‑
范数值小于等于新阈值threshold
′
，则利用步骤九二中训练好的model对当前次采集的数据进行分类，获得分类结果；否则，做差结果的2
‑
范数值大于新阈值threshold
′
，则采用步骤七的方法计算出映射后，再根据映射得到当前次采集数据对应的映射后新数据，再利用步骤九二中训练好的model对映射后新数据进行分类，获得分类结果；
[0117]
步骤九六、重复执行步骤九五的过程，在采集数据次数超过被试对应的测试数据步长l0之前(即从步骤九四开始，采集数据的次数未超过测试数据步长l0)，计算的均是从步骤九四开始采集的数据的平均特征值；在超过测试数据步长l0之后，计算的是最近采集的l0次数据的平均特征值；
[0118]
直至停止使用运动想象脑机接口。
[0119]
对于任意一个被试，均可以采用本实施方式的方法。在步骤九计算映射时，当从步骤九四开始，采集数据的次数未超过测试数据步长l0时，平均协方差是从步骤九四开始采集的全部数据的平均协方差，当从步骤九四开始，采集数据的次数超过测试数据步长l0时，平均协方差是最近采集的l0次数据的平均协方差。
[0120]
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。