一种耦合公共-私有拓扑模式学习模型的建模方法

本发明涉及计算机，具体涉及一种耦合公共-私有拓扑模式学习模型的建模方法。

背景技术：

1、情绪识别研究作为情感计算的重要分支目的是建立强大的人机互动关系，推动计算机智能化发展。现有的研究通过基于面部表情、文本、演讲和生理信号等方式开发情感计算模型。然而，非生理信号方法受个体主观表现影响较大，容易被伪装，从而建模出错误的情感计算模型。相反，生理信号可以有效避免这个问题。在众多生理信号中，脑电图(eeg)最能直观反应人们真实的情绪状态，其高时间分辨率和难以伪装的特点成为最受欢迎的方法。因此，基于eeg的情绪识别的本质是利用计算机解码个体大脑情绪状态。

2、大多数现有的研究集中于人工提取特征并采用机器学习解码情绪状态。通过提取功率谱密度(psd)、微分熵(de)、微分不对称(dasm)、有理不对称(rasm)、不对称(asm)和微分尾性(dcau)6个不同特征学习横向和纵向电极存在的联系。通过计算锁相值(plv)得到图邻接矩阵，再使用一对一最大化策略通过高斯核支持向量机模型(gksvm)约束个体差异对情绪表征的影响。基于这些发现，研究者致力于解码大脑情绪表征，但由于仍然受到复杂的神经机制的约束，因此对情绪认知机制的解密有待提高。

3、从神经科学的角度来看，情绪表征效果是大脑各区域协同交互的结果。目前基于情绪的研究主要涉及大脑的十个脑区，即前额叶(fp,af)；额叶(f)；中央额叶(fc)；中央(c)；中央顶叶(cp)；左、右颞叶(lt,rt)；顶叶(p)；顶枕叶(po)和枕叶(o)。他们聚焦于捕获局部和全局电极通道的关系来表征不同的情绪状态。

4、从模式识别的角度来看，一个先进的学习策略可以高效自动识别不同情绪状态下大脑区域的动态变化过程。近年来，图神经网络被广泛用于学习大脑的时空结构。他们将图学习理论，神经网络和神经科学的知识有效结合用于eeg情绪识别。当前先进的方法包括正则化图神经网络(rgnn)，图嵌入卷积神经网络(gecnn)，实例自适应图方法(iag)，特征自适应和图自适应标签传播联合模型(jagp)，动态图卷积神经网络(dgcnn)，稀疏动态图卷积神经网络(sparsedgcnn)。上述工作在seed，seed-iv，seed-v，deap等公开数据集上取得较好的情绪识别效果，这表明基于图的学习策略可以有效挖掘大脑的时空复杂结构，对于揭示大脑情绪的复杂认知机制起到很好的推动作用。

5、此外，个体间的巨大差异对模型识别效果产生严重的负面影响。为了克服这个问题，研究者提出使用迁移学习来减小源域特征和目标域特征的差异性。例如域生成图网络(dggn)，其本质是采取对抗学习思想生成eeg的潜在表示来提高源域和目标域的相似度。情绪域对抗神经网络(edann)学习源域和目标域的隐藏情绪信息。然而，基于域对抗的方法不具备实际应用的潜力，只适用于离线情绪检测。除了域对抗，一种即插即用的领域自适应方法被提出，其可以实现将目标数据快速更新训练后的模型并能保持较高的精度。类似地，提出一个具有数据隐私的帧级师生框架(fltsdp)，首先训练一个框架级网络权值，再使用新数据继承，这样可以反复优化更新模型。该方法在deap数据集上的分类效果优于其它模型5％以上。这说明目标数据更新训练权重的方式不仅能够有效提高eeg情绪识别效果，还具备比域对抗方法更适合用于实时检测的潜力。

6、然而，现有研究仍然存在一些缺陷：(1)将复杂的大脑情绪认知机制和先进的学习策略结合仍然有待探索；(2)缺乏将多被试的公共特征表示和私有特征表示有效耦合以学习到大脑的隐藏情绪特征；(3)现有的图卷积神经网络训练的特征具有一定的离散性，需要添加噪声提高其稳健能力。

技术实现思路

1、本发明的目的在于提供一种耦合公共-私有拓扑模式学习模型的建模方法，以挖掘情绪的隐藏模式，提高表征能力。

2、本发明解决上述技术问题的技术方案如下：

3、本发明提供一种耦合公共-私有拓扑模式学习模型的建模方法，包括：

4、s1：获取seed数据集和seed-iv数据集，以形成原始数据集；

5、s2：以预设时间单位窗口分割所述原始数据集，得到分割后的若干数据；

6、s3：对分割后的每个数据进行滤波处理，得到各数据对应的多个频带；

7、s4：根据各数据对应的多个频带计算微分熵和皮尔逊相关系数，得到计算结果；

8、s5：将所述计算结果按照标签类别划分为若干个子集；

9、s6：利用留一法对各子集进行划分，并根据划分结果得到训练集和测试集；

10、s7：利用训练集对所述耦合公共-私有拓扑模式学习模型进行训练，得到训练好的耦合公共-私有拓扑模式学习模型；

11、s8：利用测试集对所述训练好的耦合公共-私有拓扑模式学习模型进行测试。

12、可选择地，所述s3中，多个频带包括δ频带、θ频带、α频带、β频带和γ频带；

13、所述δ频带为14hz，

14、所述θ频带为(4-8)hz，

15、所述α频带为(8-14)hz，

16、所述β频带为(14-30)hz，

17、所述γ频带为(30-48)hz。

18、可选择地，所述s4中，所述微分熵的计算方式为：

19、

20、所述皮尔逊相关系数的计算方式为：

21、

22、其中，de(x)表示微分熵计算结果，x表示输入样本，μ表示平均值，σ表示标准差，π表示圆周率，log表示对数函数，exp表示以e为底的指数函数，ρxy表示x和y的相关系数，cov()表示协方差，x和y表示两个不同的样本，e表示数学期望，d(x)表示x的标准差，d(y)表示y的标准差。

23、可选择地，所述耦合公共-私有拓扑模式学习模型包括共有域模式子网、私有域模式子网、融合模块和分类器；

24、所述共有域模式子网用于将脑组合模式作为公共结构体更新电极节点特征；

25、所述私有域模式子网用于将脑拓扑模式作为公共结构体更新电极节点特征；

26、所述融合模块用于对所述共有域模式子网和所述私有域模式子网的输出结果进行融合，并将融合结果输出至所述分类器。

27、可选择地，所述共有域模式子网和/或所述私有域模式子网包括依次设置的输入层、图卷积模块和注意力机制模块；

28、所述图卷积模块包括若干图卷积单元，各所述图卷积单元包括并列设置的原始图矩阵和gngam矩阵，所述原始图矩阵为输入层输出的特征矩阵，所述gngam矩阵为随机生成的特征矩阵；

29、所述注意力机制模块包括若干注意力机制单元，各所述注意力机制单元的输入为各所述图卷积单元的输出结果，且各所述注意力机制单元的输出结果作为所述共有域模式子网和/或所述私有域模式子网的输出结果。

30、可选择地，所述s7包括：

31、s71：利用皮尔逊计算训练所述耦合公共-私有拓扑模式学习模型中的私有域模式子网，得到训练好的私有域模式子网；

32、s72：利用基于图噪声粒度邻接矩阵方法训练所述耦合公共-私有拓扑模式学习模型中的共有域模式子网，得到训练好的共有域模式子网；

33、s73：根据所述训练好的私有域模式子网和所述训练好的共有域模式子网，得到训练好的耦合公共-私有拓扑模式学习模型。

34、可选择地，所述s72包括：

35、s721：将所述训练集中的组合脑模式特征矩阵输入至所述耦合公共-私有拓扑模式学习模型中的共有域模式子网；

36、s722：根据所述组合脑模式特征矩阵的拉普拉斯矩阵，计算图卷积算子；

37、s723：根据所述图卷积算子，得到m种情绪状态训练后的图滤波共有模式编码器；

38、s724：根据m种情绪状态训练后的图滤波共有模式编码器和所述gngam矩阵，得到m种情绪状态的噪声粒度滤波编码器；

39、s725：融合所述m种情绪状态训练后的图滤波共有模式编码器和所述m种情绪状态的噪声粒度滤波编码器，以对所述共有域模式子网的参数和/或私有域模式子网的参数进行更新迭代；

40、s726：基于给定的学习率和函数损失值，得到更新后的组合脑模式特征；

41、s727：利用所述更新后的组合脑模式特征更新滤波器，以得到训练好的共有域模式子网。

42、可选择地，所述s722中，图卷积算子为：

43、

44、其中，yc表示图卷积算子计算结果，ucbp表示正交傅里叶基，cbp表示组合脑模式特征矩阵，g()表示拉普拉斯滤波函数，λcbp表示cbp的对角矩阵，表示正交傅里叶基转置，d表示微分熵计算结果，θn表示n阶切比雪夫系数向量，tn表示n阶切比雪夫多项式。

45、可选择地，所述s723中，所述m种情绪状态训练后的图滤波共有模式编码器为：

46、filterc＝{filterc1，filterc2，…，filtercm}

47、所述s724中，所述m种情绪状态的噪声粒度滤波编码器为：

48、filtercn＝{filtern1，filtern2，…，filternm}

49、可选择地，所述s726中，所述更新后的组合脑模式特征c为：

50、

51、其中，lr表示学习率，loss表示函数损失值，cbp表示组合脑模式特征矩阵，gngam表示图噪声粒度邻接矩阵，表示偏导数符号。

52、可选择地，所述耦合公共-私有拓扑模式学习模型的损失函数为：

53、l＝ltask+αlcp+βlcouple+λ||θ||

54、其中，ltask表示任务损失且m表示m个样本，n表示第n个样本，ytrue和ypred分别表示真实标签和预测标签，log表示对数函数，α和β表示相互约束对模型总体损失的贡献的参数，lcp表示共同损失且rc表示潜在共有拓扑模式，rp表示潜在私有拓扑模式，f表示范数，lcouple表示耦合损失且euc(a,b)表示两者间的欧式距离，e(a·b)表示将a或b的转置分别乘以它们的最大差值并相减，rac表示加强后的潜在共有拓扑模式，rap表示加强后的潜在私有拓扑模式，λ||θ||表示正则化更新模型参数。

55、本发明具有以下有益效果：

56、(1)本发明提出一个耦合公共-私有拓扑模式学习模型(ccp-ls)来挖掘情绪的隐藏模式，提高表征能力；

57、(2)本发明所提出的图噪声粒度邻接矩阵(gngam)可以自适应特征驱动更新学习潜在的大脑拓扑模式；

58、(3)本发明探索耦合多被试的共有表示和私有表示的潜在稳定模式来提高情绪识别能力，为进一步揭示大脑复杂的情绪认知机制提供了新的方向。