脑电信号分类模型训练方法、意图识别方法、设备及介质

1.本技术属于机器学习技术领域，尤其涉及一种脑电信号分类模型训练方法、意图识别方法、设备及介质。


背景技术：

2.脑机接口，指在人或动物的大脑与外部设备之间创建的连接，实现大脑与外部设备的信息交换。基于脑机接口的系统可以帮助用户用大脑意图控制设备执行任务。脑机接口系统已经被广泛应用于多个领域。例如，脑机接口系统应用在游戏领域时，可以根据用户的脑电信号，控制游戏画面内的虚拟人物做出相应的动作，比如行走、跳跃、转向等。脑机接口系统在采集到用户的脑电信号之后，如何确定脑电信号的类别，以准确分析出脑电信号对应的控制意图，是十分重要的问题。
3.目前大量的机器学习方法被应用于进行脑电信号的分类分析。但是，由于不同用户的脑电信号差异十分巨大，因此基于单一用户的数据训练出的分类模型，难以适用于其他用户的脑电信号分类。使得实际应用中的分类模型通用性较差，难以作为一个多用户通用的分类模型，且分类模型训练效率较低。


技术实现要素：

4.有鉴于此，本技术实施例提供了脑电信号分类模型训练方法、意图识别方法、设备及介质，可以解决分类模型训练效率较低的问题。
5.本技术实施例的第一方面提供了一种脑电信号分类模型训练方法，包括：
6.获取目标域数据的目标域特征，以及源域数据的源域特征；目标域数据包括目标对象的脑电信号，源域数据包括第一对象的脑电信号，第一对象中包含目标对象以外的对象。
7.基于注意力机制，确定目标域特征的全局时域依赖，全局时域依赖为目标域特征在时域中，各个位置的特征数据之间的相关性数据。
8.将全局时域依赖的特性迁移至源域特征，得到迁移后的源域特征。
9.基于目标域特征和迁移后的源域特征，对初始模型进行训练，得到训练后的分类模型。
10.在第一方面的第一种可能的实现方式中，基于注意力机制，确定目标域特征的全局时域依赖，包括：
11.将目标域特征的特征通道转换为一维，得到第一一维数据。
12.对第一一维数据进行线性变换，得到第一查询和第一键。
13.计算第一查询和转置后的第一键之间的点积，得到目标域特征的全局相关性矩阵。
14.对全局相关性矩阵进行尺度变换和归一化，得到目标域特征的相关性权重矩阵，相关性权重矩阵为全局时域依赖。
15.基于第一方面的第一种可能实现方式，在第一方面的第二种可能的实现方式中，将全局时域依赖的特性迁移至源域特征，得到迁移后的源域特征，包括：
16.将源域特征的特征通道转换为一维，得到第二一维数据。
17.对第二一维数据进行线性变换，得到第一值。
18.计算第一值和相关性权重矩阵的点积，得到迁移后的源域特征。
19.基于第一方面的第一种可能实现方式，在第一方面的第三种可能的实现方式中，将目标域特征的特征通道转换为一维，得到第一一维数据，包括：
20.将目标域特征沿时间维度划分为多个第一切片特征。
21.分别将各个第一切片特征的特征通道转换为一维，得到多个第三一维数据，第一一维数据包含多个第三一维数据。
22.基于第一方面的第二种可能实现方式，在第一方面的第四种可能的实现方式中，将源域特征的特征通道转换为一维，得到第二一维数据，包括：
23.将源域特征沿时间维度划分为多个第二切片特征。
24.分别将各个第二切片特征的特征通道转换为一维，得到多个第四一维数据，第二一维数据包含多个第四一维数据。
25.在第一方面的第五种可能的实现方式中，获取目标域数据的目标域特征，以及源域数据的源域特征，包括：
26.对第一数据分别进行时域卷积和空间域卷积，得到第一时域特征和第一空间域特征；第一数据为目标域数据或者源域数据。
27.将第一时域特征和第一空间域特征的尺寸调整至一致。
28.基于尺寸一致的第一时域特征和第一空间域特征进行运算，得到第一特征；第一特征为目标域特征或者源域特征。
29.在第一方面的第六种可能的实现方式中，基于目标域特征和迁移后的源域特征，对初始模型进行训练，得到训练后的分类模型，包括：
30.基于第一损失函数和第二损失函数，将迁移后的源域特征与目标域特征进行边缘分布对齐。
31.基于第三损失函数，将迁移后的源域特征与目标域特征进行条件分布对齐。
32.基于第四损失函数，将目标域特征和边缘分布对齐及条件分布对齐后的源域特征进行分类，得到第一分类结果。
33.基于第一分类结果，训练初始模型，得到训练后的分类模型。
34.基于第一方面的第六种可能实现方式，在第一方面的第七种可能的实现方式中，第二损失函数、第三损失函数和第四损失函数可以组成协同优化函数。
35.本技术实施例的第二方面提供了一种意图识别方法，包括：
36.获取目标对象的脑电信号。
37.基于分类模型，对目标对象的脑电信号进行分类，得到第二分类结果；分类模型为根据上述第一方面提供的脑电信号分类模型训练方法训练得到的分类模型。
38.基于第二分类结果，识别目标对象的脑电信号对应的意图。
39.本技术实施例的第三方面提供了一种脑电信号分类模型训练装置，包括：
40.获取模块，用于获取目标域数据的目标域特征，以及源域数据的源域特征；目标域
数据包括目标对象的脑电信号，源域数据包括第一对象的脑电信号，第一对象中包含目标对象以外的对象。
41.确定模块，用于基于注意力机制，确定目标域特征的全局时域依赖，全局时域依赖为目标域特征在时域中，各个位置的特征数据之间的相关性数据。
42.迁移模块，用于将全局时域依赖的特性迁移至源域特征，得到迁移后的源域特征。
43.训练模块，用于基于目标域特征和迁移后的源域特征，对初始模型进行训练，得到训练后的分类模型。
44.本技术实施例的第四方面提供了一种电子设备，包括存储器、处理器，存储器上存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述第一方面提供的脑电信号分类模型训练方法的步骤，或者实现上述第二方面提供的意图识别方法的步骤。
45.本技术实施例的第五方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其特征在于，计算机程序被处理器执行时实现上述第一方面提供的脑电信号分类模型训练方法的步骤，或者实现上述第二方面提供的意图识别方法的步骤。
46.本技术实施例的第六方面提供了一种计算机程序产品，当计算机程序产品在终端上运行时，使得终端执行上述第一方面提供的脑电信号分类模型训练方法的步骤，或者执行上述第二方面提供的意图识别方法的步骤。
47.可以理解的是，上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
48.本技术实施例与现有技术相比存在的有益效果是：
49.在获取目标域特征和源域特征之后，将目标域特征的全局时域依赖的特性迁移至源域特征。可以促进源域特征和目标域特征对齐，使得迁移后的源域特征能够用于训练初始模型，得到适应目标对象的分类模型。其中，基于注意力机制，确定目标域特征的全局时域依赖，从而迁移调整源域特征的特征分布，可以提高迁移学习的效果。本技术实施例提供的脑电信号分类模型训练方法，由于可以使用第一对象的脑电信号数据和目标对象的脑电信号数据共同训练初始模型，因此降低了对目标对象的脑电信号数据的需求，提高了分类模型的训练效率，减少脑机接口系统使用前的准备时间。当分类模型应用于新的目标对象时，在先的训练数据仍然可以用于对分类模型进行调整训练，以得到适应新的目标对象的分类模型。因此，训练后的分类模型的通用性更好。
附图说明
50.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
51.图1是本技术一实施例提供的脑电信号分类模型训练方法的流程示意图；
52.图2是本技术一实施例提供的脑电信号分类模型训练方法的流程示意图；
53.图3是本技术一实施例提供的并行卷积神经网络的结构示意图；
54.图4是本技术一实施例提供的脑电信号分类模型训练方法的流程示意图；
55.图5是本技术一实施例提供的脑电信号分类模型训练方法的流程示意图；
56.图6是本技术一实施例提供的全局适应器的结构示意图；
57.图7是本技术一实施例提供的脑电信号分类模型训练方法的流程示意图；
58.图8是本技术一实施例提供的脑电信号分类模型训练方法的流程示意图；
59.图9是本技术一实施例提供的脑电信号分类模型训练方法的流程示意图；
60.图10是本技术一实施例提供的脑电信号分类模型训练方法的训练过程示意图；
61.图11是本技术一实施例提供的意图识别方法的流程示意图；
62.图12是本技术一实施例提供的脑电信号分类模型训练装置的结构示意图；
63.图13是本技术一实施例提供的电子设备的结构示意图。
具体实施方式
64.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
65.脑机接口，指在人或动物大脑与外部设备之间创建的连接，实现大脑与外部设备的信息交换。
66.脑机接口可以包括非侵式和植入式两种类型。非侵式脑机接口是指戴在脑袋外围的设备，无需深入到颅骨以下的组织。植入式脑机接口需要深入到颅骨以下的组织，甚至可以深入到大脑皮层内。
67.非侵式脑机接口的优点是成本更低，没有创伤和手术风险。植入式脑机接口的优点是记录的脑电信号时空分辨率更高、信息量更大。本技术实施例对脑机接口的类型不作具体限定，技术人员可以根据需要进行选择。
68.基于脑机接口的系统已经被广泛应用于多个领域。例如，脑机接口系统应用在游戏领域时，可以根据用户的脑电信号，控制游戏画面内的虚拟人物做出相应的动作，比如行走、跳跃、转向等。
69.基于脑机接口的系统可以帮助用户用大脑意图控制设备执行任务。其工作原理为，在脑机接口采集到脑电信号之后，对脑电信号进行分类，并根据分类结果识别对应的控制意图，以此向设备发送相应控制指令。
70.因此，如何确定脑电信号的类别，以准确分析出脑电信号对应的控制意图，是十分重要的问题。
71.为此，可以采用机器学习方法，训练得到用于确定脑电信号的类别的分类模型。
72.机器学习研究的是计算机怎样模拟人类的学习行为，以获取新的知识或技能，并重新组织已有的知识结构使之不断改善自身。因此，本技术实施例中，分类模型，是指通过学习与训练已有的脑电信号数据，从而预测新的脑电信号数据的类别。
73.但是，由于脑电信号本身带有大量噪声，通常需要大量目标用户数据进行校准初始模型，才能得到分类效果较好的分类模型。而由于生理状态和所处环境导致的个体差异使得其他用户的脑电信号数据无法直接应用于目标用户的分类模型的校准。如果直接应用甚至会降低分类模型的效果。这会导致脑机接口系统使用前的准备时间过长，极大影响了脑机接口系统的实用性。
74.基于上述分析，由于不同用户的脑电信号差异十分巨大，因此导致基于单一用户的数据训练出的分类模型，难以适用于其他用户的脑电信号分类。使得实际应用中的分类模型通用性较差，难以作为一个多用户通用的分类模型，且分类模型训练效率较低。
75.有鉴于此，本技术实施例提供了一种脑电信号分类模型训练方法，通过迁移学习，把已训练好的模型参数迁移到新的模型来帮助新模型训练。即把其他用户的脑电信号数据，迁移到新的模型来帮助新模型训练，以得到适应目标用户的分类模型。
76.在本技术实施例中，可以基于注意力机制神经网络，确定目标用户的脑电信号数据的全局时域依赖。全局时域依赖是指，目标用户的脑电数据在时域中，各个位置的特征数据之间的相关性数据。并将该全局时域依赖的特性迁移至其他用户的脑电信号数据。使得迁移后的其他用户的脑电信号数据，可以参与训练目标用户的初始模型，得到适应目标用户的分类模型。
77.应理解，相对于目标用户来讲，初始模型是指，没有经过分类训练、或者没有完全分类训练的分类模型。
78.由于脑电信号的特征在时域中各个位置的分布差异性比空间域更加明显，因此本技术实施例迁移的是全局时域依赖的特性。以此获得的分类模型的分类准确率更高。
79.本技术实施例提供的脑电信号分类模型训练方法，由于可以使用其他用户的脑电信号数据和目标用户的脑电信号数据共同训练初始模型，因此提高了分类模型的训练效率。由于可以使用其他用户的脑电信号数据训练初始模型，因此当分类模型应用于新的目标用户时，在先的训练数据仍然可以用于对分类模型进行调整训练，以得到适应新的目标用户的分类模型。因此，训练后的分类模型的通用性更好。
80.为了说明本技术所述的技术方案，下面通过具体实施例来进行说明。
81.图1示出了本技术一实施例提供的脑电信号分类模型训练方法的流程示意图，详述如下：
82.s101、获取目标域数据的目标域特征，以及源域数据的源域特征。目标域数据包括目标对象的脑电信号，源域数据包括第一对象的脑电信号。
83.需要说明的是，由于人或者动物均可以发出脑电信号，因此此处的目标对象和第一对象均可以是指人，也可以是指动物，本技术实施例对此不作具体限定。为了便于说明，本技术实施例中，目标对象和第一对象均指人。
84.由于需要通过迁移学习方法，将目标域数据的相关特性，迁移至源域数据。使得迁移后的源域数据也可以参与训练初始模型，以提高训练效率。因此，第一对象中应包含目标对象以外的对象。
85.应理解，在机器学习技术领域，原始数据一般需要经过特征提取，才可以作为训练数据，输入初始模型进行训练。因此，在训练之前，需要获取原始数据的特征数据。将该特征数据作为训练数据。在本技术实施例中为：需要获取目标域数据的目标域特征，以及源域数据的源域特征。
86.又由于原始数据可能存在一些干扰，例如噪声和伪迹。因此在获取原始数据的特征数据之前，需要对原始数据进行预处理，即去除目标域数据和/或源域数据中的干扰。
87.作为示例而非限定，该预处理的过程可以包括三部分：截段、带通滤波和标准化。
88.截段是指，将脑电信号根据实验范式设定的时间范围截取为多个片段，同时将每
个片段的数据通道转换为一维。每个片段对应得到一个一维脑电数据。因此，截段后的脑电信号的数据形式包括通道和时间两个维度。
89.需要说明的是，实验范式即相对固定的实验程序。包括实验的目的、具体流程、手段等。
90.带通滤波是指，滤除与分类训练无关的高频和低频噪声，以及较明显的伪迹。作为示例而非限定，可以采用带通滤波器实现该目的。例如，采用切比雪夫滤波器六阶带通滤波器将数据滤至4-40赫兹，包含了脑电节律的β波和μ波。
91.标准化是指，消除一些异常数据样本或离群点带来的非平稳干扰。作为示例而非限定，可以采用如下公式进行标准化处理数据：
[0092][0093]
其中，xi和xo分别表示输入和输出，μ和σ2分别表示训练数据集的均值和方差。
[0094]
在进行了上述预处理之后，再进行步骤s101：获取目标域数据的目标域特征，以及源域数据的源域特征。
[0095]
在一些实施例中，可以通过特征提取器提取目标域数据的目标域特征，以及源域数据的源域特征。
[0096]
应理解，本实施例中，对如何提取目标域数据的目标域特征，以及如何提取源域数据的源域特征不作具体限定。因为，步骤s01的目的在于，获取目标域特征和源域特征，而无需考虑如何提取特征。
[0097]
作为示例而非限定，基于脑电数据的特点，可以沿着时间维度和空间通道维度，获取目标域数据和源域数据的时空深度表征。将目标域数据的时空深度表征作为目标域特征。将源域数据的时空深度表征作为源域特征。
[0098]
如图2所示，在一些实施例中，步骤s101可以包括步骤s201至s203。
[0099]
s201、对第一数据分别进行时域卷积和空间域卷积，得到第一时域特征和第一空间域特征。第一数据为目标域数据或者源域数据。
[0100]
作为示例而非限定，特征提取器包括沿着时间维度和空间通道维度的一维卷积层。
[0101]
需要说明的是，时域卷积和空间域卷积可以串行连接，也可以并行连接。
[0102]
例如，串行连接时，第一数据先经过时域卷积，然后经过时域卷积的第一数据再经过空间域卷积，得到第一数据的时空深度表征。但是，第一数据在该串行卷积计算过程中，损失的特征信息较大。
[0103]
如图3所示，为了避免串行卷积计算过程带来的信息损失，以得到更好的时间和空间表征。在一些实施例中，特征提取器的时域卷积和空间域卷积采用并行连接，用于对第一数据分别进行时域卷积和空间域卷积。
[0104]
s202、将第一时域特征和第一空间域特征的尺寸调整至一致。
[0105]
第一数据分别进行时域卷积和空间域卷积后，得到第一时域特征和第一空间域特征。由于第一时域特征和第一空间域特征的尺寸不一致。因此需要先将第一时域特征和第一空间域特征的尺寸调整至一致，以便对第一时域特征和第一空间域特征进行运算，得到第一数据的时空深度表征，即获得第一特征。
[0106]
s203、对尺寸一致的第一时域特征和第一空间域特征进行运算，得到第一特征。第一特征为目标域特征或者源域特征。
[0107]
需要说明的是，本技术实施例对该运算的具体算法不作具体限定，技术人员可以根据需要进行选择。
[0108]
作为示例而非限定，该运算包括但不限于：加法、减法、乘法和除法。
[0109]
本实施例中，采用加法，计算尺寸一致的第一时域特征和第一空间域特征之间的和，得到第一特征。
[0110]
作为示例而非限定，时域卷积的卷积核大小为k
×1×
n。空间域卷积的卷积核大小为k
×m×
1。第一时域特征的特征调整卷积的卷积核大小为1
×m×
1。第一空间域特征的特征调整卷积的卷积核大小为1
×1×
n。其中，k、m、n均为整数。n可根据实际情况取值。m通常取输入脑电信号数据的通道数。
[0111]
其中，图3中所示的批归一化和激活函数，可用于提高拟合能力。归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为标量。批归一化表示批量归一化的含义。激活函数(activation function)，就是在神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。因为激活函数可以引入非线性因素，所以提高拟合能力。
[0112]
技术人员可以根据实际需要选择具体的批归一化方法和激活函数，本技术实施例对此不作具体限定。
[0113]
本实施例中，采用并行连接的时域卷积和空间域卷积，可以得到更加准确的时间或空间表征。使得第一数据的时空深度表征更加准确，可以提高分类模型的训练质量。
[0114]
s102、基于注意力机制，确定目标域特征的全局时域依赖。全局时域依赖为目标域特征在时域中，各个位置的特征数据之间的相关性数据。
[0115]
s103、将全局时域依赖的特性迁移至源域特征，得到迁移后的源域特征。
[0116]
注意力机制(attention mechanism)源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制。
[0117]
基于以上描述，本实施例中，基于注意力机制，确定目标域特征的全局时域依赖，可以提高迁移学习的效果，促进源域特征和目标域特征对齐。
[0118]
如图4所示，在一些实施例中，步骤s102包括步骤s401至s404。
[0119]
s401、将目标域特征的特征通道转换为一维，得到第一一维数据。
[0120]
根据脑电数据的特点，目标域特征可以包含多个特征通道数，每个特征通道对应有多个特征数据。即在每个特征通道中，其多个特征数据分别对应时域中多个位置的特征数据。
[0121]
为此，在步骤s401中，将目标域特征的特征通道转换为一维，相当于将特征通道数调整为一个，也即将所有的特征数据排列在一个维度。
[0122]
需要说明的是，本技术实施例对特征数据在一维中的排列顺序不作具体限定，技术人员可以根据需要进行调整。
[0123]
需要说明的是，在一些实施例中，第一一维数据中的各个元素，分别对应于目标域特征在时域中各个位置的特征数据。
[0124]
s402、对第一一维数据进行线性变换，得到第一查询和第一键。
[0125]
作为示例而非限定，对第一一维数据进行第一线性变换，得到第一查询。对第一一维数据进行第二线性变换，得到第一键。
[0126]
需要说明的是，在注意力机制中，包括查询(query)、键(key)和值(value)三个参数。本技术实施例中，通过计算目标域特征对应的查询、键以及源域特征的值，得到迁移后的源域特征。
[0127]
s403、计算第一查询和转置后的第一键之间的点积，得到目标域特征的全局相关性矩阵。
[0128]
本技术实施例中，通过计算第一查询和转置后的第一键之间的点积，可以得到目标域特征的全局相关性矩阵。
[0129]
s404、对全局相关性矩阵进行尺度变换和归一化，得到目标域特征的相关性权重矩阵，相关性权重矩阵为全局时域依赖。
[0130]
在将全局相关性矩阵进行迁移之前，还需要对全局相关性矩阵进行尺度变换和归一化，用于统一量纲和简化计算。在进行尺度变换和归一化之后，得到目标域特征的相关性权重矩阵。相关性权重矩阵为全局时域依赖。
[0131]
如图5所示，在一些实施例中，步骤s103包括步骤s501至s503。
[0132]
s501、将源域特征的特征通道转换为一维，得到第二一维数据。
[0133]
为了能够将全局时域依赖的特性迁移至源域特征，需要将源域特征的特征通道也转换为一维，得到第二一维数据。
[0134]
需要说明的是，在一些实施例中，第二一维数据中的各个元素，分别对应于源域特征在时域中各个位置的特征数据。
[0135]
s502、对第二一维数据进行线性变换，得到第一值。
[0136]
s503、计算第一值和相关性权重矩阵的点积，得到迁移后的源域特征。
[0137]
基于以上描述，基于注意力机制，计算第一值和相关性权重矩阵的点积，可以得到迁移后的源域特征。
[0138]
作为示例而非限定，如图6所示，展示了将目标域特征的全局时域依赖的特性，迁移至目标域特征的过程。作为示例而非限定，该过程可以用以下公式表达：
[0139][0140]
其中，q
t
表示目标域特征对应的第一查询，k
t
表示目标域特征对应的第一键，vs表示源域特征对应的第一值。k
tt
表示k
t
的转置。softmax表示指数归一化函数。d表示q
t
和k
t
的长度。
[0141]
如上所述，在图4和图5所示实施例中，第一一维数据中的各个元素，分别对应于目标域特征在时域中各个位置的特征数据。第二一维数据中的各个元素，分别对应于源域特征在时域中各个位置的特征数据。为了提高求解的全局时域依赖的准确度，以及降低求解计算过程的复杂度，可以将第一一维数据和第二一维数据分别划分为多个一维数据。
[0142]
例如，在一些实施例中，如图7所示，步骤s401包括以下步骤：
[0143]
s701、将目标域特征沿时间维度划分为多个第一切片特征。
[0144]
s702、分别将各个第一切片特征的特征通道转换为一维，得到与各个第一切片特
征对应的多个第三一维数据。第一一维数据包括该多个第三一维数据。
[0145]
因此，将步骤s701和s702代入图4所示实施例。步骤s402至s404包括以下步骤：
[0146]
分别对多个第三一维数据进行线性变换，得到各个第三一维数据对应的第二查询和第二键。
[0147]
分别计算各个第三一维数据对应的第二查询和转置后的第二键之间的点积，得到各个第一切片特征对应的第一相关性矩阵。
[0148]
分别对各个第一相关性矩阵进行尺度变换和归一化，得到各个第一切片特征对应的第一权重矩阵。各个第一权重矩阵组成相关性权重矩阵。
[0149]
又例如，在一些实施例中，如图8所示，步骤s501包括以下步骤：
[0150]
s801、将源域特征沿时间维度划分为多个第二切片特征。
[0151]
s802、分别将各个第二切片特征的特征通道转换为一维，得到与各个第二切片特征对应的多个第四一维数据。第二一维数据包括该多个第四一维数据。
[0152]
因此，将步骤s801和s802代入图5所示实施例。步骤s502至s503包括以下步骤：
[0153]
分别对多个第四一维数据进行线性变换，得到各个第四一维数据对应的第二值。
[0154]
分别计算各个第四一维数据对应的第二值与各个第一权重矩阵之间的点积，得到多个迁移后的第二切片特征。多个迁移后的第二切片特征组成迁移后的源域特征。
[0155]
本实施例中，将目标域特征沿时间维度划分为多个第一切片特征，然后求解各个第一切片特征对应的第一权重矩阵。各个第一权重矩阵组成相关性权重矩阵。该过程既可以提高计算的相关性权重矩阵的准确度，又可以降低计算复杂度。
[0156]
在一些实施例中，在步骤s102中，可以基于多头注意力机制，确定目标域特征的全局时域依赖，以提高全局时域依赖的计算准确度。
[0157]
多头注意力机制：是指将注意力机制的输入划分为多个均等的小部分，称为头；并分别在每个头上实现注意力机制，将每个头的注意力机制的结果拼接，得到最终的输出。
[0158]
该过程可以用如下公式表示：
[0159]
mha(q
t
,k
t
,vs)＝[head0；
…
；head
h-1
]
ꢀꢀꢀꢀꢀꢀꢀ
(3)
[0160][0161]
其中，h表示划分的多头数量，w
lq
、分别表示用于得到查询、键、值的线性变换关系，l表示头的索引。x
t
为目标域数据，xs为源域数据。
[0162]
s104、基于目标域特征和迁移后的源域特征，对初始模型进行训练，得到训练后的分类模型。
[0163]
本实施例，由于可以使用第一对象的脑电信号数据和目标对象的脑电信号数据共同训练初始模型。因此可以使用较少的目标对象的脑电信号数据，并配合较多的第一对象的脑电信号数据，共同训练初始模型，以此提高分类模型的训练效率。当分类模型应用于新的目标对象时，在先的训练数据仍然可以用于对分类模型进行调整训练，以得到适应新的目标对象的分类模型。因此，训练后的分类模型的通用性更好。
[0164]
如图9所示，在一些实施例中，步骤s104包括以下步骤s901至s904。
[0165]
s901、基于第一损失函数和第二损失函数，将迁移后的源域特征与目标域特征进行边缘分布对齐。
[0166]
作为示例而非限定，为了使得迁移后的源域特征与目标域特征进行边缘分布对
齐，第一损失函数可以按照wgan(wasserstein generative adversarial networks)的方式设置。第一损失函数为判别器的目标函数。
[0167]
第一损失函数为：
[0168][0169][0170][0171]
其中，e表示期望值；xs为源域数据，hs为源域数据的范围；x
t
为目标域数据，h
t
为目标域数据的范围；gp表示梯度惩罚，用于提高收敛速度；λ
gp
为超参数；α是一个0到1之间的随机值；f、a、d分别表示特征提取、全局时域依赖的特性迁移和对初始模型进行训练的过程。
[0172]
为了构成对抗学习关系，与判别器的目标函数对应的对特征提取器和全局适应器的约束为第二损失函数。
[0173]
第二损失函数为：
[0174][0175]
在进行了上述的特征对齐过程后，目标域特征和对齐后的源域特征都可以被用于训练目标对象的分类器。
[0176]
在交替训练下，特征提取器和全局适应器趋向于找到源域和目标域数据中分布一致的特征，即逐渐完成源域与目标域分布对的对齐。
[0177]
s902、基于第三损失函数，将迁移后的源域特征与目标域特征进行条件分布对齐。
[0178]
作为示例而非限定，第三损失函数为：
[0179][0180]
其中，ct表示目标域数据中不同类别的脑电信号的特征中心。
[0181]
因此，在第三损失函数的约束下，不同类别的源域特征分布靠近对应类别的目标域特征。与此同时类内差异变小，类间差异变大。
[0182]
s903、基于第四损失函数，将目标域特征和边缘分布对齐及条件分布对齐后的源域特征进行分类，得到第一分类结果。
[0183]
作为示例而非限定，第四损失函数为：
[0184][0185]
其中，ns源域数据的数量，n
t
为目标域数据的数量，m为脑电信号的类别数量，y和分别表示分类的真实标签和预测标签，i、c分别整数。
[0186]
作为示例而非限定，上述第二损失函数、第三损失函数和第四损失函数可以组成如下协同优化损失函数。
[0187]
l
joint
＝l
cls
+ωglg+ω
act
l
act
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0188]
其中，ωg、ω
act
分别表示第二损失函数和第三损失函数的权重，为超参数。
[0189]
本实施例中，基于第一损失函数和第二损失函数，在对抗学习的约束下，使得迁移后的源域特征与目标域特征进行边缘分布对齐。
[0190]
本实施例中，通过第三损失函数，使得迁移后的源域特征与目标域特征进行条件
分布对齐，可以进一步消除源域数据和目标域数据之间的条件分布差异。
[0191]
s904、基于第一分类结果，训练初始模型，得到训练后的分类模型。
[0192]
基于以上描述，在交替对抗学习下训练初始模型，可以得到训练后的分类模型。
[0193]
综上所述，图10示出了本技术一实施例提供的脑电信号分类模型训练方法的训练过程示意图。
[0194]
在本实施例中，目标域数据输入特征提取器后，输出目标域特征。源域数据输入特征提取器后，输出源域特征。目标域特征输入全局适应器时，基于注意力机制获得目标域特征的全局时域依赖，并将该全局时域依赖迁移至源域特征。
[0195]
因此全局适应器输出目标域特征和迁移后的源域特征。目标域特征和迁移后的源域特征可以同时输入分类器和判别器。经过对抗学习后，最终获得训练后的分类模型。其中，适应性中心损失表示第三损失函数。
[0196]
图11示出了本技术一实施例提供的意图识别方法的流程示意图。该意图识别方法包括：
[0197]
s1101、获取目标对象的脑电信号。
[0198]
s1102、基于分类模型，对目标对象的脑电信号进行分类，得到第二分类结果。分类模型为图1至图10中任一所示实施例提供的脑电信号分类模型训练方法，所训练得到的分类模型。
[0199]
s1103、基于第二分类结果，识别目标对象的脑电信号对应的意图。
[0200]
在本实施例中，应用了图1至图10任一所示实施例训练得到的分类模型，对目标对象的脑电信号进行分类。然后可以基于第二分类结果，识别目标对象的脑电信号对应的意图。
[0201]
本实施例提供的意图识别方法，由于使用了图1至图10任一所示实施例训练得到的分类模型，因此能够对目标对象的脑电信号进行准确分类。并且使用前的训练时间较短，提高了该分类模型的实用性。
[0202]
应当理解地，在无逻辑冲突的前提下，上述各个申请实施例之间可以相互组合实施，以适应实际的应用需求。这些组合后得到的具体实施例或实施方案，仍属于本技术的保护范围内。
[0203]
对应于上述实施例所述的脑电信号分类模型训练方法，图12示出了本技术一实施例提供的脑电信号分类模型训练装置的结构示意图，为了便于说明，仅示出了与本技术实施例相关的部分。
[0204]
请参阅图12所示，该脑电信号分类模型训练装置，包括：
[0205]
获取模块121，用于获取目标域数据的目标域特征，以及源域数据的源域特征。目标域数据包括目标对象的脑电信号，源域数据包括第一对象的脑电信号，第一对象中包含目标对象以外的对象。
[0206]
确定模块122，用于基于注意力机制，确定目标域特征的全局时域依赖。全局时域依赖为目标域特征在时域中，各个位置的特征数据之间的相关性数据。
[0207]
迁移模块123，用于将全局时域依赖的特性迁移至源域特征，得到迁移后的源域特征。
[0208]
训练模块124，用于基于目标域特征和迁移后的源域特征，对初始模型进行训练，
等仅用于区分描述，而不能理解为指示或暗示相对重要性。还应理解的是，虽然术语“第一”、“第二”等在一些本技术实施例中用来描述各种元素，但是这些元素不应该受到这些术语的限制。这些术语只是用来将一个元素与另一元素区分开。例如，第一计算单元可以被命名为第二计算单元，并且类似地，第二计算单元可以被命名为第一计算单元，而不背离各种所描述的实施例的范围。第一计算单元和第二计算单元都是计算单元，但是它们不是同一计算单元。
[0233]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0234]
本技术实施例提供的脑电信号分类模型训练方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，ar)/虚拟现实(virtualreality，vr)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer，umpc)、上网本、个人数字助理(personal digital assistant，pda)等电子设备上，本技术实施例对电子设备的具体类型不作任何限制。
[0235]
图13是本技术一实施例提供的电子设备的结构示意图。如图13所示，该实施例的电子设备13包括：至少一个处理器130(图13中仅示出一个)、存储器131，存储器131中存储有可在处理器130上运行的计算机程序132。处理器130执行计算机程序132时实现上述各个脑电信号分类模型训练方法实施例中的步骤，例如图1所示的步骤s101至s104；或者图11所示的步骤s1101至s1103。或者，处理器130执行计算机程序132时实现上述各装置实施例中各模块/单元的功能，例如图12所示模块121至模块124的功能。
[0236]
电子设备13可以是桌上型计算机、笔记本、掌上电脑及云端服务器等设备。电子设备13可包括，但不仅限于：处理器130、存储器131。本领域技术人员可以理解，图13仅仅是电子设备13的示例，并不构成对电子设备13的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备13还可以包括输入发送设备、网络接入设备、总线等。
[0237]
处理器130可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0238]
存储器131在一些实施例中可以是电子设备13的内部存储单元，例如电子设备13的硬盘或内存。存储器131也可以是电子设备13的外部存储设备，例如电子设备13上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。存储器131还可以既包括电子设备13的内部存储单元，也包括外部存储设备。存储器131用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其
他程序等，例如计算机程序132的程序代码等。存储器131还可以用于暂时地存储已经发送或者将要发送的数据。
[0239]
另外，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0240]
本技术实施例还提供了一种电子设备，所述电子设备包括至少一个存储器、至少一个处理器以及存储在所述至少一个存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时，使所述电子设备实现上述各个方法实施例中的步骤。
[0241]
本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
[0242]
本技术实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时可实现上述各个方法实施例中的步骤。
[0243]
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质等。
[0244]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0245]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0246]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0247]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改
或者替换，并不使对应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。