自监督预训练的分类学习方法、装置和电子设备

本发明涉及图像处理的，尤其是涉及一种自监督预训练的分类学习方法、装置和电子设备。

背景技术：

1、由于深度学习近十年来的快速发展，目标分类识别问题得到了广泛的关注，特别是关于卷积神经网络(cnn，convolutional neural network)模型设计方面。一般来说，cnn的性能很大程度上取决于网络模型能力(也即参数量)和训练样本的数据量。凭借着各种模型架构的设计和越来越多的大规模数据集，cnn在许多计算机视觉任务中不断刷新着最佳性能。但是，对于各种分类识别任务，对训练样本量的饥渴式需求一直都是比较棘手的短板，收集丰富且足够的样本和标签往往非常困难，也极其耗时。

2、在中小型数据集上，cnn的泛化能力十分有限，通过少量的训练周期，模型就会处于收敛状态，极易出现过度拟合。对于大型无标签的数据集，自监督学习通过各种代理任务能学到合适的特征表达。但是对于中小型数据集，自监督学习能发挥多大作用目前还是未知的。近几年，尽管深度学习和cnn涌现出许多有价值的研究领域和方向，但很少有工作去研究自监督学习对监督学习的影响。此外，以前的自监督学习，都是样本内的特征被利用，比如autoencode、simclr等，而样本间的特征及其关系往往被忽略。通过以上分析可知，在中小型数据集上按照传统方式训练的分类卷积神经网络的泛化能力往往不强，通常会导致严重的过拟合问题。

3、综上，现有技术在中小型数据集上训练的分类卷积神经网络的泛化能力差、分类识别率不高，难以满足现实应用的需要。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种自监督预训练的分类学习方法、装置和电子设备，以缓解现有技术在中小型数据集上训练的分类网络泛化能力差、分类识别率不高的技术问题。

2、第一方面，本发明实施例提供了一种自监督预训练的分类学习方法，包括：

3、获取第一训练样本图像和第二训练样本图像，并对所述第二训练样本图像进行旋转，得到旋转第二训练样本图像；

4、对所述第一训练样本图像和所述旋转第二训练样本图像进行融合，并对所述第一训练样本图像的标签和所述旋转第二训练样本图像的标签进行融合，得到旋转融合图像、所述旋转融合图像的旋转角度标签和所述旋转融合图像的类别标签；

5、采用所述旋转融合图像和所述旋转融合图像的旋转角度标签对初始分类模型进行训练，得到旋转分类模型；

6、采用所述旋转融合图像和所述旋转融合图像的类别标签对学习得到的所述旋转分类模型进行迁移训练，得到目标分类模型，其中，所述目标分类模型的主干架构采用所述旋转分类模型的主干架构。

7、进一步地，对所述第二训练样本图像进行旋转，包括：

8、根据从预设旋转角度集合中随机选择的预设角度对所述第二训练样本图像进行旋转，得到所述旋转第二训练样本图像，并将所述预设角度作为所述旋转第二训练样本图像的旋转角度标签。

9、进一步地，对所述第一训练样本图像和所述旋转第二训练样本图像进行融合，并对所述第一训练样本图像的标签和所述旋转第二训练样本图像的标签进行融合，包括：

10、采用图像融合算式对所述第一训练样本图像和所述旋转第二训练样本图像进行融合，得到所述旋转融合图像，其中，表示所述旋转融合图像，xi表示所述第一训练样本图像，xjrot表示所述旋转第二训练样本图像，λ表示融合因子，λ∈[0,1]，取自beta分布beta(σ,σ)；

11、采用旋转角度计算算式对所述第一训练样本图像的旋转角度标签和所述旋转第二训练样本图像的旋转角度标签进行融合，得到所述旋转融合图像的旋转角度标签，其中，表示所述旋转融合图像的旋转角度标签，zi表示所述第一训练样本图像的旋转角度标签，zjrot表示所述旋转第二训练样本图像的旋转角度标签；

12、采用类别标签融合算式对所述第一训练样本图像的类别标签和所述旋转第二训练样本图像的类别标签进行融合，得到所述旋转融合图像的类别标签，其中，表示所述旋转融合图像的类别标签，yi表示所述第一训练样本图像的类别标签，yjrot表示所述旋转第二训练样本图像的类别标签。

13、进一步的，采用所述旋转融合图像和所述旋转融合图像的旋转角度标签对初始分类模型进行训练时，旋转损失函数为：其中，lrot表示旋转损失，zi表示所述第一训练样本图像xi对应的旋转角度，zjrot表示所述旋转第二训练样本图像xjrot对应的旋转角度，frot表示通过旋转角度标签学习到的旋转分类模型，λ表示融合因子，λ∈[0,1]，取自beta分布beta(σ,σ)。

14、进一步的，采用所述旋转融合图像和所述旋转融合图像的类别标签对学习得到的所述旋转分类模型进行迁移训练时，分类损失函数为：

15、其中，lcla表示分类损失，yi表示所述第一训练样本图像xi对应的类别，yjrot表示所述旋转第二训练样本图像xjrot对应的类别，fcla表示特征学习和分类器学习的联合过程，λ表示融合因子，λ∈[0,1]，取自beta分布beta(σ,σ)。

16、进一步的，所述方法还包括：

17、获取待分类图像；

18、采用所述目标分类模型对所述待分类图像进行分类处理，得到所述待分类图像的类别信息。

19、第二方面，本发明实施例还提供了一种自监督预训练的分类学习装置，包括：

20、获取和旋转单元，用于获取第一训练样本图像和第二训练样本图像，并对所述第二训练样本图像进行旋转，得到旋转第二训练样本图像；

21、融合单元，用于对所述第一训练样本图像和所述旋转第二训练样本图像进行融合，并对所述第一训练样本图像的标签和所述旋转第二训练样本图像的标签进行融合，得到旋转融合图像、所述旋转融合图像的旋转角度标签和所述旋转融合图像的类别标签；

22、训练单元，用于采用所述旋转融合图像和所述旋转融合图像的旋转角度标签对初始分类模型进行训练，得到旋转分类模型；

23、迁移训练单元，用于采用所述旋转融合图像和所述旋转融合图像的类别标签对学习得到的所述旋转分类模型进行迁移训练，得到目标分类模型，其中，所述目标分类模型的主干架构采用所述旋转分类模型的主干架构。

24、进一步的，所述获取和旋转单元还用于：

25、根据从预设旋转角度集合中随机选择的预设角度对所述第二训练样本图像进行旋转，得到所述旋转第二训练样本图像，并将所述预设角度作为所述旋转第二训练样本图像的旋转角度标签。

26、第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。

27、第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述第一方面任一项所述的方法。

28、在本发明实施例中，提供了一种自监督预训练的分类学习方法，包括：获取第一训练样本图像和第二训练样本图像，并对第二训练样本图像进行旋转，得到旋转第二训练样本图像；对第一训练样本图像和旋转第二训练样本图像进行融合，并对第一训练样本图像的标签和旋转第二训练样本图像的标签进行融合，得到旋转融合图像、旋转融合图像的旋转角度标签和旋转融合图像的类别标签；采用旋转融合图像和旋转融合图像的旋转角度标签对初始分类模型进行训练，得到旋转分类模型；采用旋转融合图像和旋转融合图像的类别标签对学习得到的旋转分类模型进行迁移训练，得到目标分类模型，其中，目标分类模型的主干架构采用旋转分类模型的主干架构。通过上述描述可知，本发明的自监督预训练的分类学习方法中，对第一训练样本图像和旋转第二训练样本图像进行融合，得到旋转融合图像，进而采用旋转融合图像和旋转融合图像的旋转角度标签对初始分类模型进行自监督训练，使得分类模型具备更丰富的特征表达，可以挖掘出第一训练样本图像和旋转第二训练样本图像之间的特征，最后，再采用旋转融合图像和旋转融合图像的类别标签对学到的旋转分类模型进行迁移训练，使得训练得到的目标分类模型具备旋转不变性和更强的特征表达能力，最终使得再训练的目标分类模型泛化能力更强，分类识别性能更好，缓解了现有技术在中小型数据集上训练的分类卷积神经网络的泛化能力差、分类识别率不高的技术问题。