简笔画图像生成模型训练方法、装置、设备及介质与流程

本发明涉及机器学习技术，尤其涉及一种简笔画图像生成模型训练方法、装置、电子设备、计算机程序产品及存储介质。

背景技术：

1、现有技术中，深度神经网络在许多计算机视觉任务中获得了非常好的性能。根据深度学习所进行的各类别识别，一直以来都是各应用场景下解决大量数据分的重要工具。例如，在图像、自然语言处理等应用场景中，对大量数据所实现的大规模分类和识别，以此来快速准确的获得相关的分类预测结果，加速所在应用场景的功能实现。

2、在计算机视觉(cv)领域中，根据人工智能的各种图像处理技术已经得到显著发展，并且具有广泛应用。计算机视觉可以应用于多种不同的图像处理任务，诸如图像分类以及图像的全景分类等等。但是，在图像审核领域中，由于简笔画图像的线条抽象，结构化信息缺失较多，且敏感数据极难收集，成为acg识别任务中最难的任务。

技术实现思路

1、有鉴于此，本发明实施例提供一种简笔画图像生成模型训练方法、装置、电子设备、计算机程序产品及存储介质，能够提升简笔画图像生成模型的训练准确性，使得经过训练的简笔画图像生成模型能够对输入的彩色图像进行解耦，分离出彩色图像的简笔画图像和色彩图，使得简笔画图像素材的获取更加方便且准确。

2、本发明实施例的技术方案是这样实现的：

3、本发明实施例提供了一种简笔画图像生成模型训练方法，所述方法包括：

4、获取简笔画图像生成模型的训练样本集合，其中，所述训练样本集合包括至少一组带标签的三维渲染图像和携带目标对象的彩色图像；

5、确定所述简笔画图像生成模型中检测器网络的损失函数；

6、根据所述检测器网络的损失函数，通过所述带标签的三维渲染图像对所述检测器网络进行训练，得到所述检测器网络的网络参数；

7、确定所述简笔画图像生成模型的融合损失函数；

8、根据所述融合损失函数，通过所述携带目标对象的彩色图像对所述简笔画图像生成模型的解耦器网络的初始网络参数进行调整，得到所述解耦器网络的网络参数；

9、当所述简笔画图像生成模型完成训练后，获取图像集合中的待处理图像；

10、通过简笔画图像生成模型的解耦器网络，对所述待处理图像进行解耦，得到所述待处理图像对应的色彩图像和简笔画图像。

11、本发明实施例还提供了一种简笔画图像生成模型的训练装置，所述训练装置包括：

12、数据传输模块，用于获取简笔画图像生成模型的训练样本集合，其中，所述训练样本集合包括至少一组带标签的三维渲染图像和携带目标对象的彩色图像；

13、简笔画图像生成模型训练模块，用于确定所述简笔画图像生成模型中检测器网络的损失函数；

14、所述简笔画图像生成模型训练模块，用于根据所述检测器网络的损失函数，通过所述带标签的三维渲染图像对所述检测器网络进行训练，得到所述检测器网络的网络参数；

15、所述简笔画图像生成模型训练模块，用于确定所述简笔画图像生成模型的融合损失函数；

16、所述简笔画图像生成模型训练模块，用于根据所述融合损失函数，通过所述携带目标对象的彩色图像对所述简笔画图像生成模型的解耦器网络的初始网络参数进行调整，得到所述解耦器网络的网络参数；

17、信息传输模，用于当所述简笔画图像生成模型完成训练后，获取图像集合中的待处理图像；

18、信息处理模块，用于通过简笔画图像生成模型的解耦器网络，对所述待处理图像进行解耦，得到所述待处理图像对应的色彩图像和简笔画图像。

19、上述方案中，所述简笔画图像生成模型训练模块，用于获取所述三维渲染图像的像素值；

20、所述简笔画图像生成模型训练模块，用于获取所述三维渲染图像的标签信息；

21、所述简笔画图像生成模型训练模块，用于获取所述检测器网络的第一生成信息；

22、所述简笔画图像生成模型训练模块，用于根据所述三维渲染图像的像素值、所述三维渲染图像的标签信息和所述检测器网络的第一生成信息进行逻辑回归计算，得到所述简笔画图像生成模型中检测器网络的损失函数。

23、上述方案中，所述简笔画图像生成模型训练模块，用于通过所述检测器网络对所述带标签的三维渲染图像进行关键点检测，得到待选关键点；

24、所述简笔画图像生成模型训练模块，用于对所述待选关键点进行非极大值抑制处理，得到目标关键点；

25、所述简笔画图像生成模型训练模块，用于计算所述目标关键点间的检测器网络的损失函数达到收敛条件时，确定所述检测器网络的网络参数。

26、上述方案中，所述简笔画图像生成模型训练模块，用于保持所述解耦器网络的网络参数不变，通过所述解耦器网络对所述彩色图像进行解耦，得到所述目标对象的色彩图像和所述目标对象的第一简笔画图像；

27、所述简笔画图像生成模型训练模块，用于通过所述检测器网络提取所述第一简笔画图像的关键点；

28、所述简笔画图像生成模型训练模块，用于通过贝塞尔曲线方程对所述第一简笔画图像的关键点进行处理，得到第二简笔画图像的关键点和连接线；

29、所述简笔画图像生成模型训练模块，用于利用所述第二简笔画图像的关键点和连接线进行连接，得到所述第二简笔画图像。

30、上述方案中，所述简笔画图像生成模型训练模块，用于获取所述三维渲染图像的像素值；

31、所述简笔画图像生成模型训练模块，用于获取所述三维渲染图像的标签信息；

32、所述简笔画图像生成模型训练模块，用于获取所述检测器网络的第二生成信息；

33、所述简笔画图像生成模型训练模块，用于根据所述三维渲染图像的像素值、所述三维渲染图像的标签信息和所述检测器网络的第二生成信息进行逻辑回归计算，得到所述解耦器网络的损失函数。

34、所述简笔画图像生成模型训练模块，用于根据所述解耦器网络的损失函数和所述检测器网络的损失函数的加和，得到所述融合损失函数。

35、上述方案中，所述简笔画图像生成模型训练模块，用于确定所述融合损失函数对应的收敛条件；

36、所述简笔画图像生成模型训练模块，用于根据所述融合损失函数，通过所述携带目标对象的彩色图像对所述简笔画图像生成模型的解耦器网络的初始网络参数进行调整，当所述融合损失函数达到收敛条件时，确定所述解耦器网络的网络参数。

37、上述方案中，所述简笔画图像生成模型训练模块，用于根据目标对象的来源，通过所述检测器网络确定脸部图像的关键点；

38、所述简笔画图像生成模型训练模块，用于对所述脸部图像进行图像增广处理，得到预设倍数的图像增广的处理结果；

39、所述简笔画图像生成模型训练模块，用于根据图像增广的处理结果，通过脸部图像框坐标检测算法确定所述脸部图像对应的脸部图像框，并且得到相应的人脸位置；

40、所述简笔画图像生成模型训练模块，用于根据图像增广的处理结果，在所述人脸位置中通过脸部图像关键点检测算法定所述脸部图像对应的脸部图像关键点。

41、上述方案中，所述简笔画图像生成模型训练模块，用于通过脸部图像框坐标检测算法，在所述图像增广的处理结果中，确定所述脸部图像对应的脸部图像框的坐标；

42、所述简笔画图像生成模型训练模块，用于根据所述脸部图像框的坐标，对每个脸部图像框内包含的脸部图像进行脸部图像关键点坐标匹配，当所述脸部图像关键点的坐标与所述脸部图像框的坐标重合时，得到相应的人脸位置。

43、本发明实施例还提供了一种电子设备，所述电子设备包括：

44、存储器，用于存储可执行指令；

45、处理器，用于运行所述存储器存储的可执行指令时，实现前序的简笔画图像生成模型的训练方法。

46、本发明实施例还提供了一种计算机程序产品，所述计算机程序或指令被处理器执行时，实现前序的简笔画图像生成模型的训练方法。

47、本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现前序的简笔画图像生成模型的训练方法。

48、本发明实施例具有以下有益效果：

49、1)通过获取简笔画图像生成模型的训练样本集合，其中，所述训练样本集合包括至少一组带标签的三维渲染图像和携带目标对象的彩色图像；确定所述简笔画图像生成模型中检测器网络的损失函数；根据所述检测器网络的损失函数，通过所述带标签的三维渲染图像对所述检测器网络进行训练，得到所述检测器网络的网络参数；确定所述简笔画图像生成模型的融合损失函数；根据所述融合损失函数，通过所述携带目标对象的彩色图像对所述简笔画图像生成模型的解耦器网络的初始网络参数进行调整，得到所述解耦器网络的网络参数。由此，能够提升简笔画图像生成模型的训练准确性，使得经过训练的简笔画图像生成模型能够对输入的彩色图像进行解耦，分离出彩色图像的简笔画图像和色彩图，使得简笔画图像素材的获取更加方便且准确。

50、2)由于简笔画图像生成模型的训练过程中，借助初始的解耦器网络的参数，根据所述融合损失函数，通过所述携带目标对象的彩色图像对所述简笔画图像生成模型的解耦器网络的初始网络参数进行调整，使得简笔画图像生成模型的训练过程的速度更快，同时对数据要求较低，经过训练的简笔画图像生成模型在实际应用中可以较快的基于现有图片大批量生成简笔画图像图片素材。