一种基于脑-机信号融合的目标检测方法

本发明涉及脑-机接口技术与目标检测，具体是一种基于脑-机信号融合的目标检测方法。

背景技术：

1、自动目标检测是智能监控系统中的一项重要研究。近年来，基于计算机视觉的目标检测方法和基于事件相关电位(erp)的目标检测方法在目标检测任务中取得了许多重要成就。然而，由于无人机航拍图像中的背景复杂，目标难以发现且具有先验信息模糊和不完整的特点，计算机视觉在该领域的检测精度和检测效率有待提升，因而限制了计算机视觉技术在该领域的应用。

2、较之于计算机，基于事件相关电位(erp)的目标检测方法具有处理复杂以及不可预料场景的能力，能够有效识别部分难以检测的目标。然而，由于复杂场景下的目标较难发现，基于脑电的单模态目标检测方法易受到环境噪声干扰，信噪比较低，在实际场景下仅依靠脑电数据难以实现鲁棒精确的目标检测性能。

3、因此，通过结合计算机视觉强大的信息处理能力以及人脑对复杂情况和敏感信息的认知能力，有望解决从海量无人机航拍图像中快速、准确的进行目标检测的难题。但现有的结合计算机视觉和人类视觉的目标检测技术还处于探索阶段，在无人机航拍图像目标检测领域的相关研究较少。

技术实现思路

1、基于此，有必要针对上述技术问题，提出一种基于脑-机信号融合的目标检测方法，通过融合脑电特征和图像特征进行目标检测，能够有效拓宽输入数据包含信息的覆盖范围，在保证较好实时性的前提下，提升无人机航拍图像中目标的检测精度和鲁棒性，实现优势互补，可以应用于智能监控等领域。

2、为实现上述目的，本发明提供一种基于脑-机信号融合的目标检测方法，包括如下步骤：

3、步骤1，构建样本集，所述样本集包括若干带标签的图像数据与脑电数据，且所述图像数据与所述脑电数据一一对应；

4、步骤2，构建基于多头注意力机制和跨模态知识蒸馏的脑-机信号融合模型；

5、步骤3，基于所述样本集训练所述脑-机信号融合模型，得到训练后的脑-机信号融合模型；

6、步骤4，将待测的脑电数据和图像数据同时输入训练后的脑-机信号融合模型，通过对输入的脑电数据和图像数据进行特征提取、特征融合和特征分类，得到目标检测结果。

7、在其中一个实施例，步骤1中，所述构建样本集的过程为：

8、拍摄若干带有目标的目标图像以及若干无目标的非目标图像，并将各所述目标图像与所述非目标图像作为图像数据保存至所述样本集；

9、将所述样本集中的所有图像数据随机排列，组成图像数据序列；

10、通过rsvp实验范式向被试播放所述图像数据序列，并记录被试看到所述图像数据序列产生的脑电数据序列；

11、对所述脑电数据序列预处理后，基于所述图像数据序列中各图像数据的播放时间对所述脑电数据序列进行分段，得到与各所述图像数据一一对应的脑电数据，并保存至所述样本集。

12、在其中一个实施例，所述对所述脑电数据序列预处理，具体为：

13、对所述脑电数据序列进行重参考、带通滤波、降采样操作，去除所述脑电数据序列中的高频噪声和低频漂移，并降低所述脑电数据序列的采样频率，以提高后续计算速度。

14、在其中一个实施例，步骤2中，所述脑-机信号融合模型包括：

15、基于mcgram的脑电数据处理模块，用于利用频域、空域和时序特征编码模块提取脑电数据的频-空-时特征并得到对应分类结果；

16、基于efficientnet的图像数据处理模块，用于提取图像数据的图像特征；

17、基于多头注意力机制和跨模态知识蒸馏的多模态特征融合模块，用于将脑电数据和图像数据中的有效特征进一步融合，实现最终高泛化、强鲁棒、高精度的目标识别。

18、在其中一个实施例，所述脑电数据处理模块的工作过程为：

19、对脑电数据q进行时序滑窗处理，得到n个脑电数据片段qi；

20、对于每个脑电数据片段qi，提取不同尺度变换下的频率特征并进行特征拼接，再对变换中相同尺度的不同卷积核提取的频率信息进行融合，得到每个脑电数据片段的频域特征bi；

21、将频域特征bi上的通道特征与节点连接图g中通道节点一一对应，得到每个脑电数据片段的图表征zi，其中，节点连接图g根据脑电数据采集时的脑电帽中电极的物理相邻关系设计得到；

22、对图表征zi中的脑电节点特征依次进行特征传播、线性变换和归一化，获得图表征zi中所有脑电节点的空间特征，聚合所有脑电节点的空间特征，得到每个脑电数据片段的空间特征si；

23、基于空间特征si提取每个脑电数据片段的时间特征，聚合每个脑电数据片段的时间特征，得到脑电数据q最终的频-空-时全局特征h。

24、在其中一个实施例，所述多模态特征融合模块的工作过程为：

25、对图像特征进行线性变换，得到与脑电特征h相同尺度的图像特征并拼接图像特征和脑电特征h得到二维特征p；

26、对二维特征p进行线性转换得到q、k、v三个多头矩阵向量，将q、k矩阵向量点积，标准化后输入softmax函数得到0-1之间的注意力权重矩阵as；

27、将注意力权重矩阵as与v矩阵向量相乘，得到提取输入特征信息的多头向量，拼接多头向量得到最终的融合特征a；

28、将融合特征a输入全连接层和softmax函数，即得到所述脑-机信号融合模型的预测结果。

29、在其中一个实施例，步骤3中，分两个阶段对所述脑-机信号融合模型进行训练，具体包括：

30、第一阶段：分别利用所述样本集中的脑电数据和图像数据对mcgram算法模型和efficientnet算法模型进行预训练，并将这两个算法模型分别定义为教师1和教师2；

31、第二阶段：将待训练的所述脑-机信号融合模型定义为学生模型，将预训练后的教师1和教师2的模型参数冻结用作学生模型的特征提取器，同时将教师1和教师2的预测结果作为暗知识，结合标签和学生模型的预测结果计算蒸馏损失和学生损失，监督学生模型完成训练，得到训练后的最优学生模型，即得到训练后的脑-机信号融合模型。

32、在其中一个实施例，所述第二阶段具体包括：

33、将所述样本集中对应的图像数据与脑电数据同步输入所述学生模型，得到所述学生模型模型的预测结果，并将该预测结果与真实结果的交叉熵作为学生损失lossstu；

34、基于预训练后得到的教师1对输入所述学生模型的脑电数据进行预测，并基于教师1的预测结果与所述学生模型的预测结果计算kl散度，作为教师1与所述学生模型的蒸馏损失

35、基于预训练后得到的教师2对输入所述学生模型的图像数据进行预测，并基于教师2的预测结果与所述学生模型的预测结果计算kl散度，作为教师2与所述学生模型的蒸馏损失

36、将所述学生损失lossstu、所述蒸馏损失与所述蒸馏损失加权，得到最终的损失函数loss；

37、以最小化所述损失函数loss为目标对所述学生模型的参数优化，即能得到训练后的最优学生模型。

38、在其中一个实施例，在计算学生损失lossstu、蒸馏损失蒸馏损失的过程中，将所述学生模型、教师1、教师2的预测结果均通过softmax函数归一化至0-1之间。

39、与现有技术相比，本发明的具有如下有益技术效果：

40、本发明针对单模态目标检测算法对无人机航拍图像中的目标检测精度较低和鲁棒性较差等问题，基于多头注意力机制和跨模态知识蒸馏设计了脑-机信号模型，该脑-机信号模型中基于mcgram的脑电数据处理模块能够有效利用频域、空域和时序特征编码模块提取脑电数据的频-空-时特征，基于efficientnet的图像数据处理模块能够在一定训练样本且模型参数较低的情况下提取图像特征并取得较高的检测精度，多模态融合模块能够充分融合脑电数据和图像数据中的有效特征，实现最终高泛化、强鲁棒、高精度的目标检测，对于监控系统中的自动目标检测具有重要意义和实用价值。