模型训练方法、分类方法及电子设备与流程

本公开涉及机器学习，特别涉及模型训练方法、分类方法及电子设备、计算机可存储介质。

背景技术：

1、近年来，深度学习在数据密集型应用中取得了显著的成效。然而，一方面由于数据的收集与标注时间及资源成本开销较大，基于有监督信息的传统深度学习模型的训练变得愈发困难。另一方面，由于隐私、安全等方面的限制，模型难以获得大量的标注数据。小样本学习或少样本学习，作为一种新型机器学习范式，旨在利用极少量的监督信息进行学习，并且已被应用到计算机视觉、自然语言理解、推荐系统等领域。

2、相关技术中，通过将小样本学习中支持集的每个标注类别的原始特征中心作为一个整体输入到分类模型的生成子模型中，以生成每个标注类别的目标特征中心，从而实现支持集的特征扩展，从而根据原始特征中心和目标特征中心对查询集的样本进行分类，得到查询集的样本的预测类别，进而根据查询集的样本的预测类别和相应的标注类别训练分类模型。

技术实现思路

1、小样本学习过程包括生成任务和分类任务，生成任务强调生成特征能够模拟原始特征的数据分布，而分类任务强调生成特征在特征空间具备强可分性。相关技术中，以原始特征中心作为整体来生成目标特征中心，所生成的目标特征中心可能会弱化原始特征中心中与分类任务密切相关的特征，从而在训练分类模型的过程中无法使得分类模型准确学习原始特征中心中与分类任务密切相关的特征，从而导致分类模型的分类准确性降低。

2、针对上述技术问题，本公开提出了一种解决方案，提高分类模型的分类准确性。

3、根据本公开的第一方面，提供了一种模型训练方法，包括：获取均具有多个第一标注类别的多个第一样本和多个第二样本，所述多个第一样本的数量小于数量阈值；根据与每个第一标注类别对应的第一样本，利用目标分类模型，对所述每个第一标注类别的原始特征中心进行特征解耦，得到与所述每个标注类别对应的原始类别相关特征和原始类别无关特征；基于与每个第一标注类别对应的原始类别无关特征，利用所述目标分类模型，生成目标类别无关特征；融合与每个第一标注类别对应的原始类别相关特征和目标类别无关特征，得到所述每个第一标注类别的目标特征中心；根据所述多个第一标注类别的原始特征中心和目标特征中心，利用所述目标分类模型，对每个第二样本进行分类，得到每个第二样本的预测类别；根据所述多个第二样本的预测类别和第一标注类别，训练所述目标分类模型。

4、在一些实施例中，对所述每个第一标注类别的原始特征中心进行特征解耦包括：确定每个第一标注类别所对应的第一样本与其他第一标注类别所对应的第一样本之间的目标语义关联信息；根据所确定的目标语义关联信息，对所述每个第一标注类别的原始特征中心进行特征解耦。

5、在一些实施例中，确定每个第一标注类别所对应的第一样本与其他第一标注类别所对应的第一样本之间的目标语义关联信息包括：根据每个第一标注类别的原始特征中心和其他第一标注类别的原始特征中心，确定所述每个第一标注类别的原始特征中心的每个局部特征与所述其他第一标注类别的原始特征中心的每个局部特征之间的局部语义关联信息；根据与每个第一标注类别对应的局部语义关联信息，确定与所述每个第一标注类别对应的全局语义关联信息，作为所述目标语义关联信息。

6、在一些实施例中，与每个第一标注类别对应的局部语义关联信息表示为局部关联矩阵，所述局部关联矩阵包括多个元素值，所述多个元素值包括第一元素值和第二元素值，所述第一元素值表征所述每个第一标注类别的原始特征中心的一个局部特征与一个其他第一标注类别的原始特征中心的一个局部特征之间的语义关联程度，所述第二元素值表征所述每个第一标注类别的原始特征中心的一个局部特征与所述每个第一标注类别的原始特征中心的任一局部特征之间的语义关联程度，其中，所述第二元素值小于所述第一元素值。

7、在一些实施例中，对所述每个第一标注类别的原始特征中心进行特征解耦包括：根据与每个第一标注类别对应的全局语义关联信息，确定与每个第一标注类别对应的掩码矩阵，所述掩码矩阵中的每个元素值表征所述每个第一标注类别的原始特征中心的相应局部特征相对于所述每个第一标注类别的类别无关程度；根据每个第一标注类别所对应的掩码矩阵，对所述每个第一标注类别的原始特征中心进行解耦，得到与所述每个第一标注类别对应的原始类别相关特征和原始类别无关特征。

8、在一些实施例中，所述目标分类模型包括元学习器，确定与每个第一标注类别对应的掩码矩阵包括：根据与每个第一标注类别对应的全局语义关联信息，利用所述元学习器，确定融合核；利用融合核，对所述每个第一标注类别的原始特征中心的每个局部特征与所述其他第一标注类别的原始特征中心的全部局部特征之间的局部语义关联信息进行融合，得到所述每个第一标注类别的原始特征中心的每个局部特征相对于所述每个第一标注类别的类别无关程度；根据与所述每个第一标注类别的原始特征中心的每个局部特征对应的类别无关程度，确定与每个第一标注类别对应的掩码矩阵。

9、在一些实施例中，根据与所述每个第一标注类别的原始特征中心的每个局部特征对应的类别无关程度，确定与每个第一标注类别对应的掩码矩阵包括：对与所述每个第一标注类别的原始特征中心的每个局部特征对应的类别无关程度进行归一化处理；根据与所述每个第一标注类别的原始特征中心的每个局部特征对应的归一化后的类别无关程度，确定与每个第一标注类别对应的掩码矩阵。

10、在一些实施例中，在模型训练过程中存在至少一个训练任务，每个训练任务中均具有多个第一标注类别的多个第一样本和多个第二样本，训练所述目标分类模型包括：根据所述多个第二样本的预测类别和所述多个第一标注类别，确定预测损失值；根据每个第一标注类别所对应的第一样本的原始类别相关特征，确定该第一样本在所述至少一个训练任务的全部第一标注类别中的第一预测类别；根据每个第一标注类别所对应的第一样本的原始类别相关特征和目标类别无关特征，在所述至少一个训练任务的全部第一标注类别中确定该第一样本的第二预测类别；根据所述预测损失值、所述第一预测类别与该第一样本所具有的第一标注类别之间的第一差异程度、所述第二预测类别与该第一样本所具有的第一标注类别之间的第二差异程度，训练所述目标分类模型，训练目标包括减小所述第一差异程度和所述第二差异程度。

11、在一些实施例中，训练所述目标分类模型包括：确定与每个第二样本具有相同第一标注类别的第一样本的原始类别相关特征与所述每个第二样本之间的相似程度，作为第一相似程度；确定每个第二样本所具有的第一标注类别的目标特征中心与所述每个第二样本之间的相似程度，作为第二相似程度；根据所述预测损失值、所述第一差异程度、所述第二差异程度、所述第一相似程度和所述第二相似程度，训练所述目标分类模型，所述训练目标还包括减小所述第一相似程度和所述第二相似程度。

12、在一些实施例中，训练所述目标分类模型包括：确定每个第二样本与每个第一样本的类别相关特征之间的相似程度的和，作为第三相似程度；确定每个第二样本与每个目标特征中心之间的相似程度的和，作为第四相似程度；根据所述预测损失值、所述第一差异程度、所述第二差异程度、所述第一相似程度、所述第二相似程度、所述第三相似程度和所述第四相似程度，训练所述目标分类模型，所述训练目标还包括增大所述第三相似程度和所述第四相似程度。

13、在一些实施例中，训练所述目标分类模型包括：确定所述多个第一标注类别的目标特征中心与原始特征中心之间的差异程度，作为第三差异程度；根据所述预测损失值、所述第一差异程度、所述第二差异程度、所述第三差异程度、所述第一相似程度、所述第二相似程度、所述第三相似程度和所述第四相似程度，训练所述目标分类模型，所述训练目标还包括减小所述第三差异程度。

14、在一些实施例中，生成目标类别无关特征包括：基于与每个第一标注类别对应的原始类别无关特征，以与所述每个第一标注类别对应的原始类别相关特征的类别编码作为条件，确定与所述每个第一标注类别对应的原始类别无关特征所对应的隐变量的后验分布；从所确定的后验分布中采样多个隐变量；对所述多个隐变量进行重构，得到每个第一标注类别对应的多个目标类别无关特征。

15、在一些实施例中，训练所述目标分类模型包括：确定所述多个第一标注类别所对应的原始类别无关特征与目标类别无关特征之间的差异程度，作为第四差异程度；确定所述隐变量的后验分布与所述隐变量的先验分布之间的差异程度，作为第五差异程度；根据所述第四差异程度和所述第五差异程度，训练所述目标分类模型，训练目标包括减小所述第四差异程度和所述第五差异程度。

16、在一些实施例中，所述目标分类模型包括基于最大后验的二次判别分析分类器，对每个第二样本进行分类包括：根据每个第一标注类别的原始特征中心和目标特征中心，利用所述基于最大后验的二次判别分析分类器，对每个第二样本进行分类，得到每个第二样本的预测类别，其中，所述基于最大后验的二次判别分析分类器的参数为所述每个第一标注类别所对应的第一样本的样本分布的均值和方差的先验分布参数，所述先验分布参数作为训练所述目标分类模型的过程中的训练参数。

17、在一些实施例中，所述目标分类模型用于图像分类。

18、根据本公开第二方面，提供了一种分类方法，包括：获取具有多个第二标注类别的多个第三样本以及待分类的第四样本，所述多个第三样本的数量小于数量阈值；根据与每个第二标注类别对应的第三样本，利用目标分类模型，对所述每个第二标注类别的原始特征中心进行特征解耦，得到与所述每个标注类别对应的原始类别相关特征和原始类别无关特征；基于与每个第二标注类别对应的原始类别无关特征，利用所述目标分类模型，生成目标类别无关特征；融合与每个第二标注类别对应的原始类别相关特征和目标类别无关特征，得到所述每个第二标注类别的目标特征中心；根据所述多个第二标注类别的原始特征中心和目标特征中心，利用所述目标分类模型，对每个第四样本进行分类，得到每个第四样本的预测类别，所述第二标注类别与训练所述目标分类模型中的第一标注类别属于不同的标注类别。

19、根据本公开第三方面，提供了一种电子设备，被配置为执行上述任一实施例所述的模型训练方法或者上述任一实施例所述的分类方法。

20、根据本公开的第四方面，提供了一种电子设备，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行上述任一实施例所述的模型训练方法或者上述任一实施例所述的分类方法。

21、根据本公开的第五方面，提供了一种计算机可存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述任一实施例所述的模型训练方法或者上述任一实施例所述的分类方法。

22、在上述实施例中，提高分类模型的分类准确性。