一种图像处理模型训练方法、装置、电子设备及存储介质与流程

本发明涉及机器学习技术，尤其涉及一种图像处理模型训练方法、装置、电子设备及存储介质。

背景技术：

1、现有技术中，深度神经网络在许多计算机视觉任务中获得了非常好的性能。一般而言，网络的参数量和计算量越大，网络的性能越好。然而在资源受限的嵌入式系统上部署这类规模较大的网络却非常困难，而直接训练规模较小的网络得到的网络的性能要远低于规模较大的网络的性能。因此需要在不增加训练数据的情况下，提升规模较小的网络的性能，才能够实现将图像处理模型部署于移动终端中。

技术实现思路

1、有鉴于此，本发明实施例提供一种图像处理模型训练方法、装置、电子设备及存储介质，能够通过知识蒸馏的方式实现对规模较小的图像处理模型训练兼顾了训练精确性的同时，便于将图像处理模型部署于移动终端中。

2、本发明实施例的技术方案是这样实现的：

3、本发明实施例提供了一种图像处理模型训练方法，所述方法包括：

4、获取第一训练样本集合，其中所述第一训练样本集合包括至少一个三元组训练样本，所述三元组训练样本包括：源图像、模板图像和真值；

5、通过第一图像处理模型对所述第一训练样本集合进行处理，得到第一换脸图像，其中，所述第一图像处理模型为重参数化结构；

6、获取与所述第一图像处理模型相对应的第二图像处理模型，其中，所述第二图像处理模型为经过预训练的图像处理模型，所述第二图像处理模型的模型参数固定不变；

7、根据所述第二图像处理模型和所述第一换脸图像，计算所述第一图像处理模型的融合损失函数；

8、根据所述融合损失函数，对所述第一图像处理模型进行训练，当达到所述第一图像处理模型的收敛条件时，确定所述第一图像处理模型的模型参数。

9、本发明实施例还提供了一种图像处理模型训练装置，所述训练装置包括：

10、数据传输模块，用于获取第一训练样本集合，其中所述第一训练样本集合包括至少一个三元组训练样本，所述三元组训练样本包括：源图像、模板图像和真值；

11、图像处理模型训练模块，用于通过第一图像处理模型对所述第一训练样本集合进行处理，得到第一换脸图像，其中，所述第一图像处理模型为重参数化结构；

12、所述图像处理模型训练模块，用于获取与所述第一图像处理模型相对应的第二图像处理模型，其中，所述第二图像处理模型为经过预训练的图像处理模型，所述第二图像处理模型的模型参数固定不变；

13、所述图像处理模型训练模块，用于根据所述第二图像处理模型和所述第一换脸图像，计算所述第一图像处理模型的融合损失函数；

14、所述图像处理模型训练模块，用于根据所述融合损失函数，对所述第一图像处理模型进行训练，当达到所述第一图像处理模型的收敛条件时，确定所述第一图像处理模型的模型参数。

15、上述方案中，

16、所述图像处理模型训练模块，用于确定与所述第一图像处理模型的使用环境相匹配的动态噪声阈值；

17、所述图像处理模型训练模块，用于根据所述动态噪声阈值对所述第一训练样本集合进行去噪处理，以形成与所述动态噪声阈值相匹配的第二训练样本集合；或者，

18、所述图像处理模型训练模块，用于确定与所述第二图像处理模型相对应的固定噪声阈值，并根据所述固定噪声阈值对所述第一训练样本集合进行去噪处理，以形成与所述固定噪声阈值相匹配的第二训练样本集合。

19、上述方案中，

20、所述图像处理模型训练模块，用于获取所述第一图像处理模型的使用环境中的终端所采集的人脸图像；

21、所述图像处理模型训练模块，用于对所述人脸图像进行图像增广处理；

22、所述图像处理模型训练模块，用于基于图像增广的处理结果，通过人脸检测算法确定相应的人脸位置，并截取包括背景图像的人脸图像；

23、所述图像处理模型训练模块，用于通过所述图像处理模型的深度处理网络对所述包括背景图像的人脸图像进行裁剪处理，得到所述源图像。

24、上述方案中，

25、所述图像处理模型训练模块，用于获取所述第二图像处理模型输出的第二换脸图像，利用所述第一换脸图像和所述第二换脸图像计算所述第一图像处理模型的重构损失函数；

26、所述图像处理模型训练模块，用于计算所述第一图像处理模型的特征损失函数；

27、所述图像处理模型训练模块，用于计算所述第一图像处理模型的估计损失函数；

28、所述图像处理模型训练模块，用于计算所述第一图像处理模型的对抗损失函数；

29、所述图像处理模型训练模块，用于计算所述重构损失函数、所述特征损失函数、所述估计损失函数以及所述对抗损失函数的加和，得到所述第一图像处理模型的融合损失函数。

30、上述方案中，

31、所述图像处理模型训练模块，用于计算所述第一换脸图像和所述第二换脸图像的像素级差值；

32、所述图像处理模型训练模块，用于根据所述像素级差值，确定所述第一图像处理模型的重构损失函数。

33、上述方案中，

34、所述图像处理模型训练模块，用于通过预训练的特征提取网络，对所述第一换脸图像进行特征提取，得到所述第一换脸图像的不同层级特征；

35、所述图像处理模型训练模块，用于通过预训练的特征提取网络，对所述第二换脸图像进行特征提取，得到所述第二换脸图像的不同层级特征；

36、所述图像处理模型训练模块，用于计算所述第一换脸图像的不同层级特征和所述第二换脸图像的不同层级特征的差值，得到所述第一图像处理模型的特征损失函数。

37、上述方案中，

38、所述图像处理模型训练模块，用于提取所述第一换脸图像的特征，得到第一换脸图像特征向量；

39、所述图像处理模型训练模块，用于提取所述源图像的特征，得到源图像特征向量；

40、所述图像处理模型训练模块，用于利用所述第一换脸图像特征向量和所述源图像特征向量的相似度，计算所述第一图像处理模型的估计损失函数。

41、上述方案中，

42、所述图像处理模型训练模块，用于当所述第一图像处理模型训练完成，并部署在移动终端中时，获取目标人脸图像和待替换人脸图像；

43、所述图像处理模型训练模块，用于通过所述第一图像处理模型的编码器网络，对所述目标人脸图像和所述待替换人脸图像进行编码，得到人脸图像向量；

44、通过所述第一图像处理模型的解码器网络，对所述人脸图像向量进行解码，得到第三换脸图像。

45、本发明实施例还提供了一种电子设备，所述电子设备包括：

46、存储器，用于存储可执行指令；

47、处理器，用于运行所述存储器存储的可执行指令时，实现前序的图像处理模型训练方法。

48、本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时实现前序的图像处理模型训练方法。

49、本发明实施例具有以下有益效果：

50、本发明通过获取第一训练样本集合，其中第一训练样本集合包括至少一个三元组训练样本，三元组训练样本包括：源图像、模板图像和真值；通过第一图像处理模型对第一训练样本集合进行处理，得到第一换脸图像，其中，第一图像处理模型为重参数化结构；获取与第一图像处理模型相对应的第二图像处理模型，其中，第二图像处理模型为经过预训练的图像处理模型，第二图像处理模型的模型参数固定不变；根据第二图像处理模型和第一换脸图像，计算第一图像处理模型的融合损失函数；根据融合损失函数，对第一图像处理模型进行训练，当达到第一图像处理模型的收敛条件时，确定第一图像处理模型的模型参数。因此，由于第一图像处理模型为重参数化结构，使得第一图像处理模型训练的时候结构是复杂的，这样第一图像处理模型的处理能力强，能够学习复杂的数据，而测试的时候结构是简单的，能够减低测试时的耗时，并且减少浮点运算量，方便移动端的部署。此外，利用第二图像处理模型进行训练指导，能够在不增加训练样本总量和无需重新训练的前提下，稳定提高规模较小的图像处理模型的准确率，且对于大部分神经网络模型和数据普遍适用，通过知识蒸馏的方式实现对规模较小的第一图像处理模型训练兼顾了训练精确性的同时，减轻神经网络模型的过拟合，增强神经网络模型的泛化能力，便于将经过训练的图像处理模型部署于移动终端中，实现图像处理模型的大规模应用。