基于深度对比学习的不完备多视图多标签分类方法和系统

本发明涉及模式识别，尤其涉及一种基于深度对比学习的不完备多视图多标签分类方法和系统。

背景技术：

1、近年来，随着数据采集与特征提取方式的爆发性增长，仅从单一视角描述，分析和处理样本已难以满足愈加复杂的综合性分析需求，搜集自多种来源的多视图数据能够更加全面和准确地描述观察对象。一些方法利用对抗损失与标签损失学习多个视图的共享语义。另一些方法通过最大化潜在空间、特征空间与标签空间的相关性获得预测标签。另一类基于矩阵分解的方法通过在核空间最大化不同视图的基矩阵的依赖性对齐语义空间。值得注意的是，这些方法无一例外地都是建立在一个不合理的完备数据的前提下。然而真实实践中用于多视图多标签分类的数据往往是不完备的。一方面是搜集自多种来源的特征数据本身可能由于各种原因出现视图缺失现象，例如一些档案库中档案的媒体形式可能包括文本、音频、视频等，这些被看作不同视图的信息媒介并非普遍存在于所有的档案中，因此其所提取的多视图特征数据天然地存在缺失视图；另一方面，由于人工标记所有标签是困难的且成本昂贵的，真实数据中标签信息常常出现不同程度的缺失，这在具有大量强相关性标签的数据集中更为常见。基于此，不同于现有方法仅考虑视图缺失或标签缺失，旨在处理标签与视图双缺失问题，即随机的多视图特征数据缺失与多类别标签缺失问题。一些学者将基于矩阵分解的不完备多视图学习模型和基于标签相关性的多标签预测模型结合起来，通过学习公共表示连接特征空间与语义空间，并对标签相关性矩阵施加低秩约束以增强预测模型的鲁棒性。

2、尽管这些传统方法在不完备多视图多标签领域取得了一定的效果，然而这种需要人工设计特征提取规则且难以泛化的学习模式限制了不完备多视图和多标签学习的进一步发展。深度神经网络被越来越多地应用于特征提取与数据分析任务，一方面，不论是基于矩阵分解、谱聚类亦或是核学习的传统方法都仅作用于发掘数据浅层特征，而复杂的数据分析任务往往需要捕获相对原始数据更高层的语义表示。另一方面，传统多视图学习模型的性能严重依赖于参数的设置，且通常需要为不同的数据集搜索最优参数组合。

技术实现思路

1、本发明针对上述问题，提供了一种基于深度对比学习的不完备多视图多标签分类方法、系统及存储介质，所述分类方法除了以深度神经网络作为框架之外，还通过对比学习的方法提升所提取特征的鉴别能力，进而提升网络分类性能。

2、本发明的第一方面，提供了基于深度对比学习的不完备多视图多标签分类方法，方法包括以下步骤：

3、构建不完备多视图多标签分类网络模型；

4、训练所述不完备多视图多标签分类网络模型；

5、将测试数据输入训练好的所述不完备多视图多标签分类网络模型进行推理，输出预测标签；

6、其中，所述不完备多视图多标签分类网络模型包括三个子模块：特定视图表示学习框架、不完备实例级对比学习模块和加权融合与不完备多标签分类模块，所述特定视图表示学习框架利用自编码器提取特征和重建原始数据，所述自编码器包括编码器和解码器，所述编码器用于提取特征，所述解码器用于重建原始数据；所述不完备实例级对比学习模块用于在所述编码器提取的特征上施加不完备实例级对比损失以增强多视图表示的一致性；所述加权融合与不完备多标签分类模块用于进行多视图的加权融合以及利用加权融合结果计算多标签分类得分，得到多标签分类的推理结果。

7、本发明进一步的技术方案是：在所述特定视图表示学习框架中，针对视图输入数据x(v)，编码器e(v)提取对应的特征z(v)＝e(v)(x(v))，解码器d(v)对z(v)进行解码，得到重构的

8、在所述解码器的输出端施加平方损失函数用于使重构的与原始的x(v)误差小：

9、

10、其中，l表示视图数量，n表示样本数量，mv表示视图v的特征维度，表示样本i的重构特征，表示样本i的原始视图输入数据，表示先验缺失视图指示矩阵，表示第i个样本的第v个视图是缺失的，表示第i个样本的第v个视图是可用的。

11、本发明进一步的技术方案是：所述不完备实例级对比学习模块采用对比学习方法引导编码器提取一致的特征，具体包括：

12、对于l个视图共存在l×n个实例，其中的任一实例共有l×n-1个实例与实例构成实例对，与实例属于同一样本的实例对为正实例对，其余实例为负实例对i、j均表示样本数，v、u均表示视图数，所述不完备实例级对比学习模块用于拉近正实例对的距离以及扩大负实例对的距离，距离度量函数使用余弦相似度，表达式如下：

13、

14、其中<·>表示点积操作，对于任意两个视图，不完备对比学习损失函数为：

15、

16、其中，l表示视图数量，n表示样本数量，τ表示控制分布的扩散程度，表示先验缺失视图指示矩阵，表示第i个样本的第v个视图是缺失的，表示第i个样本的第v个视图是可用的，结合全部视图的不完备对比损失函数为：

17、

18、本发明进一步的技术方案是：所述加权融合与不完备多标签分类模块中计算l个视图的融合表示h，对于各样本的融合表示hi，具体表达式为：

19、

20、

21、其中，l表示视图数量，v表示视图数，表示样本i的第v个视图的实例经过特征编码器e(v)后所得到的特征表示，表示先验缺失视图指示矩阵，表示第i个样本的第v个视图是缺失的，表示第i个样本的第v个视图是可用的，i表示样本数。

22、本发明进一步的技术方案是：所述加权融合与不完备多标签分类模块利用加权融合结果计算多标签分类得分，具体包括：

23、对融合表示h进行线性激活操作，激活函数为sigmoid函数：

24、

25、其中，ω表示全连接层的参数，p表示预测的类别分数，采用的多标签分类损失函数为加权bce损失，表达式如下：

26、

27、其中，为引入的标签缺失指示矩阵，表示标签缺失指示类别，n表示样本数量，c为标签类别数量，yi,j表示第i个样本的第j个视图的预测标签类别，pi,j表示第i个样本的第j个视图的预测类别分数。

28、本发明的第二方面，一种基于深度对比学习的不完备多视图多标签分类系统，包括：

29、网络模型构建单元，用于构建不完备多视图多标签分类网络模型；

30、网络模型训练单元，用于训练所述不完备多视图多标签分类网络模型；

31、预测单元，用于将测试数据输入训练好的所述不完备多视图多标签分类网络模型进行推理，输出预测标签；

32、其中，所述不完备多视图多标签分类网络模型包括三个子模块：特定视图表示学习框架、不完备实例级对比学习模块和加权融合与不完备多标签分类模块，所述特定视图表示学习框架利用自编码器提取特征和重建原始数据，所述自编码器包括编码器和解码器，所述编码器用于提取特征，所述解码器用于重建原始数据；所述不完备实例级对比学习模块用于在所述编码器提取的特征上施加不完备实例级对比损失以增强多视图表示的一致性；所述加权融合与不完备多标签分类模块用于进行多视图的加权融合以及利用加权融合结果计算多标签分类得分，得到多标签分类的推理结果。

33、本发明的第三方面，提供了一种基于深度对比学习的不完备多视图多标签分类系统，包括：处理器；以及存储器，其中，所述存储器中存储有计算机可执行程序，当由所述处理器执行所述计算机可执行程序时，执行上述基于深度对比学习的不完备多视图多标签分类方法。

34、本发明的第四方面，一种存储介质，其上存储有程序，所述程序在被处理器执行时，使得所述处理器执行上述基于深度对比学习的不完备多视图多标签分类方法。

35、本发明提供的一种基于深度对比学习的不完备多视图多标签分类方法、系统及存储介质，针对双重不完备的多视图多标签分类问题，提出一种深度对比网络，与传统方法不同的是，本发明专注于利用深度神经网络来提取样本的高级语义表示，利用自编码器构建端到端的多视图特征提取框架用以学习样本的表征向量。此外，为了进一步地提高模型的表示能力，本发明引入无监督对比学习来指导编码器依据一致性假设提取多视图的高级表示信息，同时，本发明提出加权融合方法以平衡不同视图的重要性。

36、综上上述，本发明的有益效果主要有：

37、1)本发明所提出的不完备多视图多标签分类网络模型对多视图数据的视图数量以及缺失情况无额外限制，即可处理有较多视图数量、存在任意缺失情况的多视图数据集，同时也能够适应于多标签监督信息出现随机缺失的情况。

38、2)本发明所提出的不完备实例级对比损失能够有效地聚合跨视图特征，使同一样本在不同视图中的实例满足多视图的一致性假设，进而增强高级特征表示能力、提升分类准确度。

39、3)本发明所提出的不完备多视图多标签分类网络模型具有良好的应用特性，完成训练后即可在生产环境中部署，对于输入的不完备多视图测试数据能够即时地给出推理结果。