一种共享子空间学习的脑机信息融合分类方法及系统

1.本发明属于脑机接口技术应用技术领域，尤其涉及一种共享子空间学习的脑机信息融合分类方法及系统。


背景技术：

2.近年来，以深度学习为代表的人工智能方法发展迅速，在图像分类任务上的性能已经超越人类。但是，目前深度学习系统仅在人脸识别、语音识别、光学字符识别等有限的特定简单场景下大规模落地应用，其主要依赖于数据驱动，需要构建合适的模型、利用充足的算力去充分挖掘海量数据中的分布规则，并不能达到类人的认知能力。因此，面对目标/背景复杂多变、遮挡、对抗干扰等复杂开放场景时，例如自动驾驶、遥感图像解译等，尽管有充足的数据也很难完全模拟物理世界的完整分布，很难建立目标通用鲁棒的表征，从而导致性能急剧下降，还远未达到类人的强泛化能力。
3.目前在军事应用、医疗诊断、自动驾驶等对失误决策容忍性低的复杂开放应用场景下，基于视觉识别专家的人工判读方式仍然是主流的图像识别与决策手段。但是，视觉专家的人工判读过程是一个主观的视觉认知决策过程，其行为可能会受到外部环境因素、疲劳、伤病等内部因素的影响而造成决策失误，与机器智能相比，视觉专家难以实现长时间、高强度、大范围的实时判读，并且大多数领域的视觉专家需要经过长周期、高投入的培养才能成为合格的专家。
4.鉴于大脑是以人类为代表的灵长类动物行为和认知的物质基础和控制中枢，从工程角度出发利用脑机接口技术构建脑机信息融合系统，实现生物智能与机器智能之间深层次的信息感知、交互与整合，有望形成更高级的智能模式。这种脑机信息融合系统通过将大脑的高级认知信息迁移到机器智能模式中，为复杂开放环境下的图像分类任务提供了新的处理范式。
5.目前，业内构建脑机信息融合分类系统的技术主要有两类，现有技术一：基于图像-大脑响应互补信息的融合方法；现有技术二：基于图像-大脑响应关联信息的共享子空间学习方法。现有技术一的主要理论依据是将大脑响应和图像信息作为图像目标不同来源的表达，利用信息融合的方法最大化两者的互补信息，以获取图像目标表达更加完善的联合表征，其技术特征在于设计合理的信息融合方法最大化不同模态的有效信息。现有技术一的主要代表方法包括：“a brain-computer interface for the detection of mine-like objects in sidescan sonar imagery”(ieee journal of oceanic engineering,2016,41(1):123-138)利用特征级联的方法融合图像haar类型特征以及被试的脑电图特征，有效的提升了侧扫声呐图像中水雷目标检测的性能；“一种自适应脑机信息融合分类方法及系统”(申请号：cn202111017296.4)通过构造两个模态的特征可靠性学习模型，学习图像和大脑响应的特征可靠性，并自适应调整其不同模态的融合权重，并利用自适应融合特征进行分类，该方法最大化的利用了两个模态的互补信息，提高了图像分类的性能。但是，现有技术一在应用范式上需要大脑的实时参与，这种“脑在环路”应用的范式受限于被试的
疲劳、伤病等主观因素的影响，难以实现实时性、高强度的全自动化应用，并未完全发挥大脑-机器的各自优势。现有技术二的主要理论是根据图像和大脑响应之间的相关信息，构建其共享表征空间，从而实现大脑认知决策过程中的高级认知信息向机器学习模型中迁移的目标，其技术特征在于设计高效的关联信息学习模型。现有技术一的主要代表方法包括：“bridging the semantic gap via functional brain imaging”(ieee transactions on multimedia:2012,14(2):314-325)利用pca方法建立大脑磁共振数据特征与视频低层图像特征间的关联预测模型，通过将视频特征映射到大脑响应表征空间实现视频的情感分类，但是随着深度学习技术的发展，已经能够提取到视频的高级语义信息，其性能已经不弱于人类识别，因此类似的应用逐渐减少；“decoding brain representations by multimodal learning of neural activity and visual features”(ieee transactions on pattern analysis and machine intelligence:2020)利用三元组损失优化基于深度学习方法构建的双流网络，约束图像特征的高级语义空间逼近脑电图的特征空间，以实现大脑认知信息的迁移，但是训练三元组损失在大量的训练数据下也很难达到收敛，受限于大脑响应的特性，很难收集到足够高质量的脑电图数据，现有的公开数据难以支持此类模型的训练；“一种脑不在环路应用的脑机信息融合分类方法及系统”(申请号：cn202111017290.7)通过构建特征域重建模型实现图像到大脑响应的预测，通过构建特征可靠性预测模块学习不同来源特征的可靠性，实现“脑不在环路”应用的自适应信息融合分类，但是相关方法通过多个阶段的单独学习处理，流程较为繁琐，在模型部署时比较麻烦。如何在大脑响应数据稀缺的情况下，构建图像-大脑响应共享子空间学习模型，端到端的学习到两者之间的关联信息，实现大脑认知信息的最大化迁移。
6.通过上述分析，现有技术存在的问题及缺陷为：
7.(1)现有技术受限于“脑在环路”的应用范式，难以实现高强度、实时性的全自动化处理，难以完全发挥机器智能全自动化处理的优势。
8.(2)现有技术受限于大脑响应数据获取的难度，很难在有限的数据下端到端的学习到高质量的图像-脑电共享子空间，难以实现大脑认知信息的全部迁移。
9.(3)现有实现“脑不在环路”应用的自适应信息融合分类的方法通过多个阶段的单独学习处理，流程较为繁琐，在模型部署时比较麻烦。


技术实现要素：

10.针对现有技术存在的问题，本发明提供了一种共享子空间学习的脑机信息融合分类方法及系统，尤其涉及一种基于共享子空间学习的脑机信息融合分类方法及系统，其技术特性为利用基于正负样本采样的对比学习方法端到端的构建图像-大脑响应共享子空间，实现大脑认知能力的迁移。
11.本发明是这样实现的，一种共享子空间学习的脑机信息融合分类方法，所述共享子空间学习的脑机信息融合分类方法包括训练阶段和推理阶段；其中，所述训练阶段利用成对的图像和大脑响应数据，通过正负样本采样的对比学习策略，优化图像和大脑响应的共享子空间模型参数，并训练图像分类器；所述推理阶段提取图像特征进行分类，实现整个脑机信息融合分类系统的应用目标。
12.进一步，所述共享子空间学习的脑机信息融合分类方法包括以下步骤：
13.步骤一，训练阶段：
14.(1)利用resnet特征提取结构和全连接层分别构建图像和大脑响应的双流特征提取网络，作为共享子空间的特征提取模型；
15.(2)加载成对的刺激图像和大脑响应数据集，基于正负采样的对比学习方法优化共享子空间的双流网络模型参数，直至模型收敛；
16.(3)利用收敛的双流网络提取训练集刺激图像在共享子空间的图像特征集，并利用所述图像特征集训练svm分类器。
17.步骤二，推理阶段：
18.(1)加载测试图像以及双流网络中的图像分支模型，提取测试图像在共享子空间中的图像特征；
19.(2)将图像特征送入svm分类器，输出图像特征分类的概率类别。
20.进一步，所述步骤一中的构建共享子空间双流特征提取模型包括：
21.1)利用pytorch深度学习框架搭建resnet34模型结构，去除全连接层，并添加全连接层，输入尺寸为512，输出尺寸为168维，设置模型参数“pretrained＝true”，加载imagenet预训练模型参数，作为双流网络的图像特征提取分支；
22.2)利用pytorch深度学习框架构建三层全连接网络，输入输出尺寸均为168维，并赋随机初始化参数，作为双流网络的大脑响应特征提取分支；
23.3)将图像和大脑响应特征提取模块类集成为双流网络的共用类模块。
24.进一步，所述步骤一中的加载成对的刺激图像和大脑响应数据集包括：
25.1)图像数据加载的过程：
26.①
利用pytorch的dataset工具包加载刺激图像；
27.②
利用torchvision的transforms工具包将图像尺寸变换为224*224，并进行随机左右翻转进行数据增强后，将读入的图像数据转换为tensor格式。
28.2)大脑响应数据的加载过程：
29.①
加载大脑响应数据集，将同一刺激图像多次呈现时捕获的大脑响应求平均值；
30.②
选择下颞叶区域放置的电极，提取出对应电极的大脑响应信号；
31.③
在每一个电极的大脑响应信号上，沿时间维度求均值，去除时间维度的影响；
32.④
将处理后的大脑响应翻转为1*168维特征，并转换为tensor格式，作为刺激图像在it区域每一个电极上的平均大脑响应特征。
33.3)成对图像-大脑响应数据对加载过程：
34.①
构建dataset公共类，索引到刺激图像名称信息，加载图像数据；根据图像名称索引到对应的大脑响应数据信息，加载大脑响应数据；
35.②
返回成对的图像-大脑响应数据。
36.进一步，所述步骤一中的基于正负采样的对比学习方法优化双流网络模型参数包括：
37.1)利用pytorch深度学习框架加载成对的图像和大脑响应数据，其中批次大小设置为256，每次加载256对数据；
38.2)加载双流网络模型参数，前向推理，获取批次图像和大脑响应的特征集合，记为《f(v),f(b)》；
39.3)对于批次中的任意图像特征f(vi)，类别为c，批次中所有与其相同类别的大脑响应特征均为当前图像特征的正样本对，图像特征f(vi)的正样本对为将批次中所有与其不同类别的大脑响应特征不属于类别c，记为当前图像特征的负样本对，图像特征f(vi)的负样本对为进而获取每一个图像特征对应的正/负大脑响应特征集；
40.4)利用infonce损失函数计算批次中每一个图像特征f(vi)对应的对比损失li：
[0041][0042]
其中，m和n分别表示当前图像特征f(vi)对应的大脑响应正样本和负样本数量，s(.)表示两个特征的余弦相似度；
[0043]
5)根据所述infonce损失函数计算到的对比损失反向传播，优化双流网络的模型参数，直至对比损失稳定收敛。
[0044]
进一步，所述步骤一中的采用双流网络提取图像特征训练svm分类器包括：
[0045]
1)加载双流网络图像分支模型参数，加载训练集图像数据，进行前向推理，获取图像在共享子空间中的特征集；
[0046]
2)利用python的sklearn工具包构建线性svm分类器，利用提取到的图像特征训练分类器参数，并保存模型参数。
[0047]
所述步骤二中的推理阶段是脑机信息融合分类模型的应用推理过程，包括：
[0048]
1)加载双流网络的图像分支模型参数，只需加载测试图像，经过图像分支模型前向推理，提取共享子空间中的图像特征；
[0049]
2)加载svm分类器的模型参数，将提取到的图像特征输入分类器，获取图像的分类结果。
[0050]
本发明的另一目的在于提供一种应用所述的共享子空间学习的脑机信息融合分类方法的脑机信息融合分类系统，所述脑机信息融合分类系统包括：
[0051]
数据加载装置，用于加载测试图像，并进行初步的尺寸变换，格式转换功能，以适用于输入模型；
[0052]
特征提取装置，用于存储基于正负样本采样的对比学习方法训练成功的模型参数，加载输入图像数据并进行前向推理，获取共享子空间中的图像特征；
[0053]
分类器装置，用于存储训练成功的svm分类器参数，加载图像特征进行svm分类，并输出分类结果。
[0054]
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
[0055]
训练阶段利用双流网络分别将图像和大脑响应映射到同一子空间，利用成对的图像和大脑响应数据训练共享子空间的双流网络模型参数，在共享子空间提取当前批次的图
像和大脑响应特征；基于类别信息的正负样本采样方法获取当前样本的正负特征集合，利用infonce损失函数计算当前样本的损失值，进行优化后提取共享子空间的图像特征训练svm分类器；推理阶段通过加载测试图像，提取共享子空间的图像特征输入svm分类器进行分类。
[0056]
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
[0057]
训练阶段利用双流网络分别将图像和大脑响应映射到同一子空间，利用成对的图像和大脑响应数据训练共享子空间的双流网络模型参数，在共享子空间提取当前批次的图像和大脑响应特征；基于类别信息的正负样本采样方法获取当前样本的正负特征集合，利用infonce损失函数计算当前样本的损失值，进行优化后提取共享子空间的图像特征训练svm分类器；推理阶段通过加载测试图像，提取共享子空间的图像特征输入svm分类器进行分类。
[0058]
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的脑机信息融合分类系统。
[0059]
结合上述的技术方案和解决的技术问题，请从以下几方面分析本发明所要保护的技术方案所具备的优点及积极效果为：
[0060]
第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：
[0061]
本发明利用基于类别信息的正负样本采样的对比学习方法，在infonce损失函数的约束下优化共享子空间的双流网络模型；所述图像分类系统包括数据加载装置、特征提取装置和分类器装置，通过保存共享子空间的模型参数，可以实现“脑不在环路”的图像分类应用。与现有技术相比，本发明提取的共享子空间学习的脑机信息融合分类系统能够端到端的训练共享子空间，实现大脑认知信息的高效迁移，极大的提升了在复杂开场景下图像分类任务的性能，本发明提出的脑机信息融合的图像分类系统，其应用范式可以自然的避开“脑在环路”应用的限制，通过“脑不在环路”应用，极大的提高了现实应用中的效率与稳定性，在脑机信息协同工作的新范式下具有广泛的应用前景。
[0062]
第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：
[0063]
本发明提出的基于共享子空间学习的脑机信息融合分类方法，能够在有限的大脑响应数据下，端到端的学习到图像和大脑响应数据之间的关联信息，并且相较于三元组损失函数，本发明提出的正负样本采样的infonce对比损失函数能够使双流网络快速收敛，高效的实现大脑响应的认知信息向图像模型的迁移。另外，本发明提出的共享子空间学习的方法能够直接实现“脑不在环路”应用，极大的发挥了机器智能自动化应用的优势，极大的提高了脑机信息融合分类系统的部署与应用的效率，具有极高的应用意义。本发明提出了一种基于正负样本采样的对比学习方法，构建图像-大脑响应的共享子空间，有效的实现了大脑认知信息的迁移，并且能够实现“脑不在环路”应用，极高的提升了复杂开放场景下图像分类的性能。
[0064]
第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：
[0065]
(1)本发明的技术方案转化后的预期收益和商业价值为：本发明技术转化后能够用于自动驾驶、遥感图像解译、合成孔径雷打图像解译、智能医学辅助识别检测等对错误率忍耐度较低的复杂开放应用场景下的图像识别分类任务，能够在上述应用场景下结合机器智能和人类智能的双重优势，能够提高其应用系统的分类准确率。
[0066]
(2)本发明的技术方案填补了国内外业内技术空白：本发明的技术方案填补了将对比学习方法应用到脑机混合智能计算领域，并且实现了利用少量数据构建图像-大脑响应共享子空间的目的。
[0067]
(3)本发明的技术方案是否解决了人们一直渴望解决、但始终未能获得成功的技术难题：本发明提出的基于共享子空间学习的脑机混合智能计算方案，通过端到端学习的方式构建共享子空间，突破了“脑在环路”建模，“脑不在环路”应用的技术难题。
[0068]
(4)本发明的技术方案是否克服了技术偏见：本发明的技术方案证实了将视觉专家的特异性大脑响应引入计算机视觉方法的应用前景。
附图说明
[0069]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
[0070]
图1是本发明实施例提供的脑机信息融合分类方法流程图。
[0071]
图2是本发明实施例提供的训练阶段与推理阶段的过程示意图。
[0072]
图3是本发明实施例提供的基于共享子空间学习的原理框架图。
[0073]
图4是本发明实施例提供的正负样本采样的示意图。
[0074]
图5是本发明实施例提供的脑机混合智能分类系统的计算机应用系统图。
[0075]
图6是本发明实施例提供的用于分类任务的部分刺激图像示意图。
具体实施方式
[0076]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0077]
针对现有技术存在的问题，本发明提供了一种共享子空间学习的脑机信息融合分类方法及系统，下面结合附图对本发明作详细的描述。
[0078]
一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。
[0079]
针对现有技术存在的问题，本发明提供了一种基于共享子空间学习的脑机信息融合分类方法及系统，可在“脑不在环路”应用的条件下实现大脑视觉认知信息向机器学习模型的高效迁移，提高复杂场景下的目标识别性能。
[0080]
如图1所示，本发明实施例提供的脑机信息融合分类方法包括以下步骤：
[0081]
s101，利用resnet特征提取结构和全连接层分别构建图像和大脑响应的双流特征提取网络，作为共享子空间的特征提取模型；
[0082]
s102，加载成对的刺激图像和大脑响应数据集，基于正负采样的对比学习方法优化共享子空间的双流网络模型参数，直至模型收敛；
[0083]
s103，利用收敛的双流网络提取训练集刺激图像在共享子空间的图像特征集，并利用所述图像特征集训练svm分类器；
[0084]
s104，加载测试图像以及双流网络中的图像分支模型，提取测试图像在共享子空间中的图像特征；
[0085]
s105，将图像特征送入svm分类器，输出图像特征分类的概率类别。
[0086]
本发明实施例提供的基于共享子空间学习的脑机信息融合分类方法，通过加载成对的刺激图像和大脑响应数据；利用成对的大脑响应数据，基于正负样本采样的对比学习方法优化训练图像-大脑响应共享子空间的双流网络模型参数；提取共享子空间的图像特征集并训练线性svm分类器，输出分类结果。
[0087]
如图2所示，本发明实施例提供的基于共享子空间学习的脑机信息融合分类方法具体包括以下步骤：
[0088]
步骤一、训练阶段：
[0089]
(1)利用resnet特征提取结构和全连接层分别构建图像和大脑响应的双流特征提取网络，作为共享子空间的特征提取模型。
[0090]
1)利用pytorch深度学习框架搭建resnet34模型结构，去除其全连接层，并添加一个全连接层，其输入尺寸为512，输出尺寸为168维，设置模型参数“pretrained＝true”，加载imagenet预训练模型参数。以上作为双流网络的图像特征提取分支。
[0091]
2)利用pytorch深度学习框架构建三层全连接网络，其输入输出尺寸均为168维，并赋随机初始化参数，作为双流网络的大脑响应特征提取分支。
[0092]
3)将图像和大脑响应特征提取模块类集成为双流网络的共用类模块。
[0093]
(2)加载成对的刺激图像和大脑响应数据集，基于正负采样的对比学习方法优化双流网络模型参数，直至模型收敛。
[0094]
数据加载的流程主要包括图像数据的加载、大脑响应数据的加载、以及成对的图像-大脑响应数据的加载过程：
[0095]
图像数据加载的过程：
[0096]
1)利用pytorch的dataset工具包加载刺激图像。
[0097]
2)利用torchvision的transforms工具包将图像尺寸变换为224*224，并进行随机左右翻转进行数据增强，然后将读入的图像数据转换为tensor格式。
[0098]
大脑响应数据的加载过程：
[0099]
1)加载大脑响应数据集，将同一刺激图像多次呈现时捕获的大脑响应求平均值。
[0100]
2)选择下颞叶区域(inferior temporal lobe，it)放置的电极，提取出对应电极的大脑响应信号。
[0101]
3)在每一个电极的大脑响应信号上，沿时间维度求均值，去除时间维度的影响。
[0102]
4)将处理后的大脑响应翻转为1*168维特征，并转换为tensor格式，作为刺激图像在it区域每一个电极上的平均大脑响应特征。
[0103]
成对图像-大脑响应数据对加载过程：
[0104]
1)构建dataset公共类，索引到刺激图像名称信息，加载图像数据，然后根据图像
名称索引到对应的大脑响应数据信息，加载大脑响应数据。
[0105]
2)返回成对的图像-大脑响应数据。
[0106]
本发明通过端到端的方式训练共享子空间学习的双流网络，如图3所示，本发明实施例提供了共享子空间学习的双流网络的原理框架图。分别提取成对的图像和大脑响应特征，并在批次内通过基于类别的正负样本采样的方法构建当前样本的正样本集合负样本集，如图4所示，本发明实施例提供了基于类别的正负样本采样的原理图。确定当前样本批次内的正负样本集合之后，通过infonce计算当前损失值，进行梯度反向传播，优化网络参数。其具体步骤如下：
[0107]
1)利用pytorch深度学习框架加载成对的图像和大脑响应数据，其中批次大小设置为256，每次加载256对数据。
[0108]
2)加载双流网络模型参数，前向推理，获取批次图像和大脑响应的特征集合，记为《f(v),f(b)》。
[0109]
3)对于批次中的任意图像特征f(vi)，其类别为c，批次中所有与其相同类别的大脑响应特征均为当前图像特征的正样本对，即图像特征f(vi)的正样本对为将批次中所有与其不同类别的大脑响应特征不属于类别c，记为当前图像特征的负样本对，即图像特征f(vi)的负样本对为即据此获取每一个图像特征对应的正/负大脑响应特征集。
[0110]
4)利用infonce损失函数计算批次中每一个图像特征f(vi)对应的对比损失li：
[0111][0112]
其中，m和n分别表示当前图像特征f(vi)对应的大脑响应正样本和负样本数量，s(.)表示两个特征的余弦相似度；
[0113]
5)根据上述infonce损失函数计算到的对比损失反向传播，优化双流网络的模型参数，直至对比损失稳定收敛。训练双流网络时利用adam优化器进行反向传播，当损失函数收敛时，保存模型参数。其中，批次大小设置为128，初始学习率设置为0.1，学习率衰减为0.1，每隔30个epoch衰减依次，共训练100个epoch。
[0114]
(3)利用收敛的双流网络提取训练集刺激图像在共享子空间的图像特征集，并训练svm分类器。
[0115]
1)加载双流网络图像分支模型参数，加载训练集图像数据，进行前向推理，获取图像在共享子空间中的特征集。
[0116]
2)利用python的sklearn工具包构建线性svm分类器，利用上述步骤提取到的图像特征训练分类器参数，并保存模型参数。
[0117]
步骤二：推理阶段
[0118]
(1)加载双流网络的图像分支模型参数，只需加载测试图像，经过图像分支模型前向推理，提取共享子空间中的图像特征。
[0119]
(2)加载svm分类器的模型参数，将上述步骤提取到的图像特征输入分类器，获取图像的分类结果。
[0120]
如图5所示，本发明实施例提供了基于共享子空间学习的脑机融合系统的计算机图像分类系统应用图例，主要包括此系统包括数据加载装置、特征提取装置和分类器装置。该系统的各个装置可以存储对应模块所需的计算机程序、训练成功的模型参数，以保证该系统的正确应用。系统各个装置的具体信息如下：
[0121]
(1)数据加载装置：加载测试图像，并进行初步的尺寸变换，格式转换功能，以适用于输入模型。
[0122]
(2)特征提取装置：用于存储基于正负样本采样的对比学习方法训练成功的模型参数，加载输入图像数据，并进行前向推理，获取共享子空间中的图像特征。
[0123]
(3)分类器装置：用于存储训练成功的svm分类器参数，加载图像特征进行svm分类，并输出分类结果。
[0124]
二、应用实施例。为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。
[0125]
本发明技术方案的创造性在于提出了一种基于共享子空间学习的脑机信息融合分类方法及系统，提出基于正负样本采样的对比学习方法构建共享子空间。本发明的应用基础是利用本发明提出的基于正负样本采样的对比学习策略在图像-大脑响应数据集上训练共享子空间的特征提取模型，并依据共享子空间中的特征训练分类器。本发明的应用实施需要保存上述训练成功的共享子空间特征提取模型参数和分类器参数到计算机硬件系统中。后续应用可通过实施例图5描述的软件系统加载需要测试的图像数据，然后通过上述模型参数进行特征提取、分类器推理即可实现分类结果输出。
[0126]
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、cd或dvd-rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
[0127]
三、实施例相关效果的证据。本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。
[0128]
1.实验条件：
[0129]
本发明实验的硬件条件为：一台普通计算机，intel i5cpu，8g内存，一块英伟达geforce gtx 1070显卡；软件平台：ubuntu 18.04，pytorch深度学习框架，python 3.6语言；本发明所使用的大脑响应与刺激图像数据集来自麻省理工学院麦戈文脑科学研究所brain-score平台的公开数据。
[0130]
2.训练数据与测试数据：
[0131]
本发明所用数据集包括刺激图像和大脑响应数据两部分。刺激图像为8类目标与随机自然场景的合成图像，总数量为3200，每类图像400张。每张刺激图像仅包含一个目标，目标图像通过改变目标物体三维模型的姿态生成，如图6所示，通过改变目标姿态以及随机自然背景，此数据集能够有效的模拟目标、场景复杂变换的复杂开放场景。大脑响应数据采集自两只训练有素的成年恒河猴的腹侧流区域，通过颞下区域(it)的168通道的电极阵列捕获相应脑区的大脑响应，在脑电采集过程中，每5～10张刺激图像为一组，依次呈现在显示器中央，每张图像显示100ms，紧接着100ms空白，整个过程中保持恒河猴紧盯显示器中央位置。每张刺激图像多次呈现，至少呈现28次，平均呈现50次。其中，可以利用brain-score(https://brain-score.readthedocs.io/en/latest/index.html)平台公开的数据处理框架对大脑响应进行预处理，获取预处理后的大脑响应特征。
[0132]
3.实验内容：
[0133]
按照上述的训练阶段的步骤，通过计算机的gpu来加速共享子空间的双流网络的训练过程，经过训练直至模型收敛，并训练svm分类器。模型训练成功后保存模型参数。
[0134]
推理过程加载各个模型的参数，前向推理，获取分类结果即可。
[0135]
4.实验结果分析
[0136]
本发明利用分类准确率描述分类的性能，评估了不同的图像特征提取分支下的共享子空间学习的分类结果，主要包括alexnet、vgg、googlenet和resnet四种图像特征提取网络，并在表1中比较了it和图像单模态分类与基于共享子空间学习的脑机信息融合分类方法的性能对比。从表中可以看出本发明提出的基于正负样本采样的对比学习方法训练图像-大脑响应的共享子空间能够有效的提升图像的分类性能，相较单模态svm分类平均提升7.43％，比直接利用infonce损失进行优化的性能提升6.05％，说明本发明提出的基于类别信息的正负样本采样的对比学习方法能够高效的实现大脑认知信息的迁移，提升在下游复杂开放场景下的图像识别性能。另外，本发明的应用范式可以自然的避开“脑在环路”应用的限制，通过“脑不在环路”应用，极大的提高了现实应用中的效率与稳定性。因此，本发明更有实际应用价值，在脑机信息协同工作的新范式下具有广泛的应用前景。
[0137]
表1 仿真结果
[0138][0139]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。