本发明涉及脑电处理,尤其涉及一种脑电信号解码方法、装置、电子设备及存储介质。
背景技术:
1、基于脑电图(electroencephalogram,eeg)的脑机接口(brain computerinterface,bci)技术为残障人士提供了一种新的交互方式,使他们能够通过意识控制外部设备,例如轮椅或机械臂。随着人工智能技术的迅猛发展,神经网络模型的广泛应用为脑电信号解码带来了新的机遇和挑战。
2、现有技术中,基于深度学习的脑电信号解码方法尽管在常用的公开数据集上取得了较好的分类效果,但这些模型获得的脑电分类精度通常与解码模型的复杂性和数据量成比例增长,即输入数据维度越高,解码模型越复杂,脑电分类精度越高。
3、然而,上述因素导致现有的脑电信号解码技术对终端的算力要求较高,严重约束了这些技术在许多资源有限的终端(例如康复机器人)上的部署。
技术实现思路
1、本发明提供一种脑电信号解码方法、装置、电子设备及存储介质,用以解决现有技术中脑电信号解码技术对终端的算力要求较高,严重约束了这些技术在许多资源有限的终端(例如康复机器人)上的部署的缺陷。
2、本发明提供一种脑电信号解码方法,包括:
3、获取待解码脑电数据;
4、对所述待解码脑电数据进行通道压缩,得到压缩脑电数据;
5、基于策略模型,对所述压缩脑电数据进行策略选择,得到所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略;
6、基于所述压缩策略对所述待解码脑电数据进行压缩,得到目标压缩数据,并基于所述解码模型轻量化策略所选择的目标解码模型对所述目标压缩数据进行意图解码,得到意图解码结果。
7、根据本发明提供的一种脑电信号解码方法,所述目标解码模型包括顺次连接的时域卷积层、空间卷积层、池化层和分类层,所述目标解码模型通过改变所述时域卷积层和所述空间卷积层的卷积核的数量实现轻量化。
8、根据本发明提供的一种脑电信号解码方法,所述目标解码模型的训练步骤包括候选目标解码模型预训练步骤、策略模型和所述目标解码模型协同训练步骤两部分;所述协同训练步骤包括前向传播步骤和梯度反传步骤;
9、所述候选目标解码模型预训练步骤包括:基于各压缩策略下的样本压缩脑电数据和所述样本压缩脑电数据的意图标签,对各压缩策略对应的候选目标解码模型进行预训练;
10、所述前向传播步骤包括:基于所述策略模型,对待解码脑电样本数据进行策略选择,得到候选压缩策略和对应的解码模型轻量化策略;基于所述候选压缩策略对所述待解码脑电样本数据进行压缩,得到候选样本压缩数据,并基于所述解码模型轻量化策略所选择的候选目标解码模型对所述候选样本压缩数据进行意图解码,得到意图解码预测结果;
11、所述梯度反传步骤包括:基于所述意图解码预测结果与所述待解码脑电样本数据的分类标签,以及对输入所述候选目标解码模型的所述候选样本压缩数据的浮点运算次数,通过梯度反传,对所述策略模型和所述候选目标解码模型进行参数迭代,并基于参数迭代后的候选目标解码模型,得到所述目标解码模型。
12、根据本发明提供的一种脑电信号解码方法,所述基于所述意图解码预测结果与所述待解码脑电样本数据的分类标签,以及对输入所述候选目标解码模型的所述候选样本压缩数据的浮点运算次数,通过梯度反传,对所述策略模型和所述候选目标解码模型进行参数迭代,并基于参数迭代后的候选目标解码模型,得到所述目标解码模型,包括:
13、基于所述意图解码预测结果与所述分类标签,确定解码精度损失函数;
14、基于对输入所述候选目标解码模型的所述候选样本压缩数据的浮点运算次数进行平均,确定解码效率损失函数;
15、基于所述解码精度损失函数和所述解码效率损失函数,通过梯度反传,对所述策略模型和所述候选目标解码模型进行参数迭代,并基于参数迭代后的候选目标解码模型,得到所述目标解码模型。
16、根据本发明提供的一种脑电信号解码方法,所述策略模型包括策略特征提取模型,以及与所述策略特征提取模型连接的策略决策模型;
17、所述基于策略模型,对所述压缩脑电数据进行策略选择,得到所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略,包括:
18、将所述压缩脑电数据输入至所述策略特征提取模型中,由所述策略特征提取模型提取得到所述压缩脑电数据中的策略特征;
19、将所述策略特征输入至所述策略决策模型中,由所述策略决策模型输出多个数据压缩策略的预测概率和多个解码模型策略的预测概率;
20、基于所述多个数据压缩策略的预测概率和所述多个解码模型策略的预测概率,确定所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略。
21、根据本发明提供的一种脑电信号解码方法,所述基于所述多个数据压缩策略的预测概率和所述多个解码模型策略的预测概率,确定所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略,包括:
22、基于所述多个数据压缩策略的预测概率中的最大值和所述多个解码模型策略的预测概率中的最大值,确定所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略。
23、根据本发明提供的一种脑电信号解码方法,所述对所述待解码脑电数据进行通道压缩,得到压缩脑电数据,包括:
24、基于预设的通道转换规则,对所述待解码脑电数据进行通道压缩,得到压缩脑电数据;所述预设的通道转换规则具体包括差值规则、均值规则和选择性激活规则;
25、所述差值规则通过计算两侧脑区对应电极所采集的脑电数据的差值实现通道数据压缩;
26、所述均值规则通过将相邻通道的脑电数据进行平均实现通道数据压缩;
27、所述选择性激活规则通过将与待分类任务无关的脑电数据对应的通道去除,实现通道数据压缩。
28、本发明还提供一种脑电信号解码装置,包括:
29、获取单元,用于获取待解码脑电数据;
30、通道压缩单元,用于对所述待解码脑电数据进行通道压缩,得到压缩脑电数据;
31、策略选择单元,用于基于策略模型,对所述压缩脑电数据进行策略选择,得到所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略;
32、意图解码单元,用于基于所述压缩策略对所述待解码脑电数据进行压缩,得到目标压缩数据,并基于所述解码模型轻量化策略所选择的目标解码模型对所述目标压缩数据进行意图解码,得到意图解码结果。
33、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述脑电信号解码方法。
34、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述脑电信号解码方法。
35、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述脑电信号解码方法。
36、本发明提供的脑电信号解码方法、装置、电子设备及存储介质,获取待解码脑电数据,对待解码脑电数据进行通道压缩,得到压缩脑电数据,再基于策略模型,对压缩脑电数据进行策略选择,得到待解码脑电数据的压缩策略和对应的解码模型轻量化策略,最后,基于压缩策略对待解码脑电数据进行压缩,得到目标压缩数据,并基于解码模型轻量化策略所选择的目标解码模型对目标压缩数据进行意图解码,得到意图解码结果,由此,通过待解码脑电数据压缩和解码模型轻量化,降低了脑电解码所需的计算量,提高了解码模型的解码效率,为在许多资源有限的终端(例如康复机器人)上的部署带来了可能。