基于通用模型的减少P300训练时间的方法及装置

基于通用模型的减少p300训练时间的方法及装置
技术领域
1.本发明涉及脑
‑
机接口(brian computer interface，简称bci)技术通用模型构建领域，具体涉及一种基于通用模型的减少p300训练时间的方法及装置。


背景技术：

2.脑机接口技术(brain computer interface，bci)明确定义在1999年的第一届国际脑机接口技术会议上诞生，它是一种不依赖于大脑的正常输出通路(外周神经系统及肌肉组织)的脑
‑
计算机通讯系统。在1970年，jacques vidal教授及其团队研发了世界上第一个脑机接口系统，通过获取用户的大脑信息实现屏幕上鼠标的移动。脑机接口技术可将脑电图(electroencephalography，eeg)信号转化为控制命令，可以帮助患有肌萎缩侧索硬化症(amyotrophic lateral sclerosis,als)等疾病的患者实现与他人的沟通交流。
3.本发明对基于p300电位的脑机接口进行研究。p300与大脑认知过程的加工处理相关，是刺激开始后最大的正向波峰，其潜伏期为300ms左右，该电位可用于检测脑部异常活动或对认知过程的动态观察。目前，可诱发p300电位的刺激形式包括：视觉、听觉、触觉等。首例基于p300的脑机接口系统由farewell团队提出，该oddball范式也成为经典p300视觉刺激范式之一。p300脑机接口性能可以通过分类准确率和信息传输率(information transfer rate,itr)来评估。
4.基于p300的bci需要长时间离线训练，导致用户疲劳，降低了系统的效率和性能。


技术实现要素：

5.本发明要解决的技术问题是提供基于通用模型的减少p300训练时间的方法，提出了通用模型集的概念，并引入了一种结合模型匹配方法的在线训练策略，该减少p300训练时间的方法很容易被接受，并能实现更高水平的用户满意度。
6.为解决上述技术问题，本发明提供了一种基于通用模型的减少p300训练时间的方法，包括：
7.步骤s1，建立通用模型集，包括以下步骤：
8.步骤s11，数据获取，通过视觉棋盘格范式刺激诱发获取脑电数据；
9.步骤s12，数据处理，对所获取的脑电数据进行滤波去噪，并进行降维处理；
10.步骤s13，模型训练，对步骤s12处理后的脑电数据进行特征聚类，形成不同样本簇，将所述样本簇的数据分别训练加权线性判别分析分类器构建通用模型集；
11.步骤s2，模型匹配，获取新被试的脑电数据，在线校准，使用所述通用模型集对新被试的脑电数据进行分类，与所述通用模型集中的通用模型进行匹配，选取最优匹配模型；
12.步骤s3，完成新被试在线识别任务，使用所述最优匹配模型并结合自适应策略对新被试的脑电数据进行分类。
13.根据本发明的一个实施例，在步骤s11和步骤s2中获取脑电数据的方式一致。
14.根据本发明的一个实施例，在步骤s12中，采用巴特沃斯滤波器对脑电数据的带通
滤波，采用陷波滤波器去除所述脑电数据中的工频噪声。
15.根据本发明的一个实施例，在步骤s13中，采用主成分分析方法结合k近邻算法实现特征聚类，过程如下：
16.脑电数据由x＝{x1,
…
，x
n
}给出，n表示被试的数量，x
i
为该被试的列向量蕴含其全部特征，则主成分分析过程方法表达为：
[0017][0018][0019]
设则s＝aa
t
，进行奇异值分解后得到矩阵协方差阵s的特征值λ
i
(i＝1,
…
,n)及特征向量v
i
(i＝1,
…
，n)，设λ
i
(i＝1,
…
，r)为不为零的特征值，归一化正交特征向量u
i
为：
[0020][0021]
按照特征值大小对i(i＝1,
…
,r)进行降序排列并相应的调整特征向量u
i
的顺序，选择n
‑
p个主分量，p＝1,
…
,n
‑
1，变换后的数据由定义，其中z的每一列(j∈{1，...，d})是主分量；
[0022]
对主成分分析处理后的数据进行聚类处理，k近邻算法通过最小化簇方差来进行，设k为聚类簇的数量，则c＝{c
k
,k＝1,
…
,k}，定义是簇c
k
的质心，根据数据点和簇的质心之间的相异度来度量簇的相似度，μ
k
与簇c
k
中的点之间的平方误差定义为：
[0023][0024]
k均值是通过最小化所有k个群集上的平方误差之和来确定，
[0025][0026]
根据本发明的一个实施例，在步骤s13中，对所述样本簇的数据分别训练加权线性判别分析分类器，以获得每个样本簇的离线分类模型；
[0027]
设为分类器的输入向量，y
i
∈{
‑
1，1}为标签向量，分别代表第1类g1和第2类g2，所需权重向量定义为
[0028][0029][0030]
其中n
k
表示类别k中样本的数量，s
w
是散布内矩阵；
[0031][0032]
根据离线分类结果的贡献率赋予不同的权重，利用各样本簇的特征来计算相应的判别向量w
k
(k＝1，
…
，10)，定义各样本簇的样本c
k
＝{x
i
,i＝1,
…
,n
k
}，其中n
k
是第k个样本簇中个体样本数量，使用训练好的所述判别向量w
k
对x
i
(i＝1，
…
，n
k
)分类，根据离线精度确
定特征权重，公式为：
[0033][0034]
使用加权特征向量c
k
＝{x
i
e
i
，i＝1，
…
，n
k
}来重新训练判别向量w
′
k
(k＝1，...，10)，求得加权线性判别分析的加权向量：
[0035][0036][0037]
通用模型集由各样本簇样本求得的加权线性判别分析的加权向量组成。
[0038]
根据本发明的一个实施例，还包括步骤s4，完成主观报告。
[0039]
根据本发明的一个实施例，在步骤s4中，各新被试的实验者需对实验舒适度进行打分，包含进行过程中情绪状态及疲劳程度。
[0040]
本发明还提供了一种基于通用模型的减少p300训练时间的装置，包括：
[0041]
通用模型集建立模块，包括数据获取模块、数据处理模块和模型训练模块，所述数据获取模块适于获取脑电数据，所述脑电数据通过视觉棋盘格范式刺激诱发；所述数据处理模块适于对所获取的脑电数据进行滤波去噪，并进行降维处理；所述模型训练模块适于对所述数据处理模块处理后的脑电数据进行特征聚类，形成不同样本簇，将所述样本簇的数据分别训练加权线性判别分析分类器构建通用模型集；
[0042]
模型匹配模块，适于对获取新被试的脑电数据进行在线校准，使用所述通用模型集对新被试的脑电数据进行分类，与所述通用模型集中的通用模型进行匹配，选取最优匹配模型；
[0043]
在线识别模块，适于使用所述最优匹配模型并结合自适应策略对新被试的脑电数据进行分类。
[0044]
本发明还提供了一种计算机可读介质，其上存储有计算机指令，所述计算机指令运行时执行前述减少p300训练时间的方法的步骤。
[0045]
本发明还提供了一种p300训练系统，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行前述减少p300训练时间的方法的步骤。
[0046]
本发明提供的一种基于通用模型的减少p300训练时间的方法及装置、计算机可读介质、p300训练系统，提出了通用模型集的概念，并引入了一种结合模型匹配方法的在线训练策略，该减少p300训练时间的方法能有效缩短校准时间并提升系统性能，在新用户加入时仅需要少量个体数据进行校准便可以完成在线识别任务，并能实现更高水平的用户满意度。
附图说明
[0047]
为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：
[0048]
图1示出了本发明实施例的一种基于通用模型的减少p300训练时间的方法的流程图；
[0049]
图2示出了本发明实施例的视觉棋盘格范式界面的示意图；
[0050]
图3示出了在国际标准10/20eeg测量下的本发明实施例所采用的电极放置位置分布图。
[0051]
图4是示出了本发明一实施例的基于通用模型的减少p300训练时间的装置的结构示意图。
具体实施方式
[0052]
为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明。
[0053]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，因此本发明不受下面公开的具体实施例的限制。
[0054]
如本技术和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
[0055]
在详述本技术实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本技术保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0056]
为了方便描述，此处可能使用诸如“之下”、“下方”、“低于”、“下面”、“上方”、“上”等等的空间关系词语来描述附图中所示的一个元件或特征与其他元件或特征的关系。将理解到，这些空间关系词语意图包含使用中或操作中的器件的、除了附图中描绘的方向之外的其他方向。例如，如果翻转附图中的器件，则被描述为在其他元件或特征“下方”或“之下”或“下面”的元件的方向将改为在所述其他元件或特征的“上方”。因而，示例性的词语“下方”和“下面”能够包含上和下两个方向。器件也可能具有其他朝向(旋转90度或处于其他方向)，因此应相应地解释此处使用的空间关系描述词。此外，还将理解，当一层被称为在两层“之间”时，它可以是所述两层之间仅有的层，或者也可以存在一个或多个介于其间的层。
[0057]
在本技术的上下文中，所描述的第一特征在第二特征之“上”的结构可以包括第一和第二特征形成为直接接触的实施例，也可以包括另外的特征形成在第一和第二特征之间的实施例，这样第一和第二特征可能不是直接接触。
[0058]
脑电来自大脑神经组织的电活动。在头皮用双极或单极记录法来观察皮层的电位变化，以脑细胞电活动的电位为纵轴，时间为横轴，记录到的脑电波称为脑电图(eeg)，是对神经细胞的电生理活动在头皮表面的总体反应。
[0059]
事件相关电位反映了人类认知过程，是在执行一种特异的心理活动时，在特定的神经解剖模块产生的脑诱发电位，由于eeg的幅值是erp(事件相关电位)信号的3倍，erp信号通常被湮没其中。在基于事件相关电位的脑机接口中，不同的刺激在不同时间给出，从而可以根据响应的情况判断出当下是否为目标刺激。其中，最常见的是p300电位。
[0060]
p300成分是由存在于大概率刺激(标准刺激)中的小概率刺激(偏差刺激)诱发的，源自于对大脑认知的加工过程。
[0061]
图1示出了本发明实施例的一种基于通用模型的减少p300训练时间的方法的流程
图。图2示出了本发明实施例的视觉棋盘格范式界面的示意图。图3示出了在国际标准10/20eeg测量下的本发明实施例所采用的电极放置位置分布图。
[0062]
参考图2，示意图共包含36个字符，闪烁形式为行列闪。要求被试的实验者坐在23.6英寸的液晶电脑显示器前约105cm处，放松自己并避免不必要的肌肉运动。脑电采集系统包括脑电帽、无线脑电放大器和无线路由器。电极帽上连接的64通道无线放大器用于记录1000hz采样率的脑电信号。放大器可以通过wifi连接到放大器控制路由器。如图3所示，根据国际10/20系统，通过放置在电极位置fz、cz、pz、p3、p4、p7、p8、o1、oz和o2的10个电极记录脑电信号。接地电极放置在位置afz，参考电极放置在电极位置cpz、t7和t8。通用模型训练数据集包括每位被试的36个字符识别数据，每个目标字符数据包含4轮闪烁，每轮包括12个行列闪烁。
[0063]
如图1所示，一种基于通用模型的减少p300训练时间的方法，包括：
[0064]
步骤s1，建立通用模型集，包括以下步骤：
[0065]
步骤s11，数据获取，通过视觉棋盘格范式刺激诱发获取脑电数据。参考图1和图2及前述说明以获取大量的脑电数据。
[0066]
步骤s12，数据处理，对所获取的脑电数据进行滤波去噪，并进行降维处理。
[0067]
步骤s13，模型训练，对步骤s12处理后的脑电数据进行特征聚类，形成不同样本簇，将样本簇的数据分别训练加权线性判别分析分类器构建通用模型集。
[0068]
步骤s2，模型匹配，获取新被试的脑电数据，在线校准，使用通用模型集对新被试的脑电数据进行分类，与通用模型集中的通用模型进行匹配，选取最优匹配模型。
[0069]
在本实施例中，招募12位新被试，视力正常或矫正到正常。在实验开始之前，新被试的实验者需先进行7个字符(即1、j、x、h、d、g和7)的拼写，每个目标字符需完成6轮闪烁，形成校准集。使用通用模型集中各训练模型对验证集脑电数据进行分类，选取精度最高者作为该被试的最优匹配模型。在模型匹配过程中，只需要选取最优匹配模型，因此需要新被试的实验者进行极少量的训练来进行模型匹配。
[0070]
步骤s3，完成新被试在线识别任务，使用最优匹配模型并结合自适应策略对新被试的脑电数据进行分类。在本实施例中，新被试的实验者需要完成20字符在线识别任务。其中，自适应策略采用在线线性判别分析(online linear discriminant analysis,olda)算法，能提高在线识别速率。该策略基于公共协方差矩阵的逆，并使用sherman
‑
morrison
‑
woodbury公式进行更新。此外，该策略的算法简单，计算量小，适用于在线脑
‑
机接口系统。
[0071]
较佳地，在步骤s11和步骤s2中获取脑电数据的方式一致，包括一致的视觉刺激方式以及一致的数据采集器械。
[0072]
较佳地，在步骤s12中，采用巴特沃斯滤波器对脑电数据的带通滤波，采用陷波滤波器去除脑电数据中的工频噪声。具体来说，采用0.2hz到40hz频率降低高频噪声，滤波算法采用5阶巴特沃斯滤波器。为了消除工频噪声采用了频率为50hz的5阶iir梳状陷波滤波器。为了降低脑电数据的维数和模型的复杂度，对滤波后的脑电数据进行了从1000hz到50hz的下采样(即降采样20倍)。
[0073]
较佳地，在步骤s13中，采用主成分分析方法结合k近邻算法实现特征聚类，过程如下：
[0074]
脑电数据由x＝{x1，
…
，x
n
}给出，n表示被试的数量，x
i
为该被试的列向量蕴含其全
部特征，则主成分分析过程方法表达为：
[0075][0076][0077]
设则s＝aa
t
，进行奇异值分解后得到矩阵协方差阵s的特征值λ
i
(i＝1，
…
,n)及特征向量v
i
(i＝1，
…
，n)，设λ
i
(i＝1，
…
，r)为不为零的特征值，归一化正交特征向量u
i
为：
[0078][0079]
按照特征值大小对i(i＝1,
…
,r)进行降序排列并相应的调整特征向量u
i
的顺序，在本实施例中选择n
‑
p个主分量，p＝1,
…
,n
‑
1，变换后的数据由1，变换后的数据由定义，其中z的每一列(j∈{1，...，d})是主分量；
[0080]
对主成分分析处理后的数据进行聚类处理，k近邻算法通过最小化簇方差来进行，设k为聚类簇的数量，则c＝{c
k
，k＝1,
…
，k}，定义是簇c
k
的质心，根据数据点和簇的质心之间的相异度来度量簇的相似度，μ
k
与簇c
k
中的点之间的平方误差定义为：
[0081][0082]
k均值是通过最小化所有k个群集上的平方误差之和来确定，
[0083][0084]
不同的初始化可能导致不同的最终聚类，因为k均值只收敛到局部最小值。克服局部极小值的一种方法是对给定的k运行k均值算法，使用多个不同的初始分区，并选择具有最小平方误差的分区。本实施例使用k＝10的k均值算法对样本数据进行聚类，使多聚类间的误差平方和最小。
[0085]
较佳地，在步骤s13中，完成特征聚类后，原始训练集被分成不同样本簇，对样本簇的数据分别训练加权线性判别分析分类器，以获得每个样本簇的离线分类模型；
[0086]
设为分类器的输入向量，y
i
∈{
‑
1，1}为标签向量，分别代表第1类g1和第2类g2，所需权重向量定义为
[0087][0088][0089]
其中n
k
表示类别k中样本的数量，s
w
是散布内矩阵；
[0090][0091]
根据离线分类结果的贡献率赋予不同的权重，利用各样本簇的特征来计算相应的判别向量w
k
(k＝1，
…
，10)，定义各样本簇的样本c
k
＝{x
i
,i＝1,
…
,n
k
}，其中n
k
是第k个样本簇中个体样本数量，使用训练好的判别向量w
k
对x
i
(i＝1，
…
，n
k
)分类，根据离线精度确定特
征权重，公式为：
[0092][0093]
使用加权特征向量c
k
＝{x
i
e
i
，i＝1，
…
，n
k
}来重新训练判别向量w
′
k
(k＝1，...,10)，求得加权线性判别分析的加权向量：
[0094][0095][0096]
通用模型集由各样本簇样本求得的加权线性判别分析的加权向量组成。
[0097]
较佳地，减少p300训练时间的方法还包括步骤s4，完成主观报告。更佳地，在步骤s4中，各新被试的实验者需对实验舒适度进行打分，包含进行过程中情绪状态及疲劳程度，作为被试的实验者对在线脑
‑
机接口系统的感受评估。
[0098]
在本实施例中，各被试的实验者需回答两个问题。每个问题都被给予了1
‑
5分的评分范围，1分表示程度最低，5分表示程度最高。问题如下：
[0099]
1、您在这三个案例中感到疲倦了吗？请分别给出分数。
[0100]
2、您对这三个案例感到恼火吗？请分别给出分数。
[0101]
图4是示出了本发明一实施例的基于通用模型的减少p300训练时间的装置的结构示意图。如图所示，一种基于通用模型的减少p300训练时间的装置400包括通用模型集建立模块401、模型匹配模块402和在线识别模块403。
[0102]
通用模型集建立模块401包括数据获取模块404、数据处理模块405和模型训练模块406。数据获取模块404适于获取脑电数据，该脑电数据通过视觉棋盘格范式刺激诱发。数据处理模块405适于对所获取的脑电数据进行滤波去噪，并进行降维处理。模型训练模块406适于对数据处理模块处理后的脑电数据进行特征聚类，形成不同样本簇，将样本簇的数据分别训练加权线性判别分析分类器构建通用模型集。
[0103]
模型匹配模块402适于对获取新被试的脑电数据进行在线校准，使用通用模型集对新被试的脑电数据进行分类，与通用模型集中的通用模型进行匹配，选取最优匹配模型。
[0104]
在线识别模块403适于使用最优匹配模型并结合自适应策略对新被试的脑电数据进行分类。
[0105]
本发明还提供了一种计算机可读介质，其上存储有计算机指令，该计算机指令运行时执行前述基于通用模型的减少p300训练时间的方法的步骤。
[0106]
本发明还提供了一种p300训练系统，包括存储器和处理器，存储器上存储有能够在处理器上运行的计算机指令，处理器运行计算机指令时执行前述基于通用模型的减少p300训练时间的方法的步骤。
[0107]
本发明的基于通用模型的减少p300训练时间的方法的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理器件(dapd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器或者其组合。此外，本技术的各方面可能表现为位于一个或多个计算机可读介质中的计算机
产品，该产品包括计算机可读程序编码。例如，计算机可读介质可包括，但不限于，磁性存储设备(例如，硬盘、软盘、磁带
……
)、光盘(例如，压缩盘cd、数字多功能盘dvd
……
)、智能卡以及闪存设备(例如，卡、棒、键驱动器
……
)。
[0108]
计算机可读介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。
[0109]
本发明提供的一种基于通用模型的减少p300训练时间的方法及装置、计算机可读介质、p300训练系统的有益效果如下：
[0110]
1.使得基于p300的脑机接口拼写范式校准时间比典型模型法的校准时间得到了大幅度缩短。
[0111]
2.在缩短校准时间的同时保证了在线精度，并使用自适应策略进一步提升系统性能。
[0112]
3.减轻被试的实验者负担，可获得更高的用户满意度。
[0113]
为了缩短校准时间并提高系统性能，通用模型集概念被引入系统中，在新用户加入时仅需要少量个体数据进行校准便可完成在线识别任务。
[0114]
虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可作出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本技术的权利要求书的范围内。