一种多尺度数字妆容迁移方法及系统

本发明属于图像风格迁移，具体涉及一种多尺度数字妆容迁移方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、化妆是人们面部美容的一种常见方式，其涉及到粉底遮瑕、眼影、口红以及复杂图案的彩绘等多个步骤和技术；将物理上妆和卸妆过程转换为数字妆容迁移，实现对人脸图像妆容的一键合成，已成为计算机视觉图像风格迁移领域的一个研究热点，其在照片美颜、视频美化、数字娱乐、直播、虚拟试妆等多个领域有着广泛的应用。

3、数字妆容迁移主要采用面部妆容迁移技术，包括数字上妆和数字卸妆；将妆容风格从有妆(或无妆)人脸图像自然地迁移到无妆(或有妆)人脸图像，以连贯和自然的方式处理面部各个不同部位的妆容。数字上妆有两个目标：将面部妆容中的低频颜色特征和图案的高频细节特征从有妆图像迁移至无妆图像；以及，在上妆的过程中保持无妆图像的人脸身份特征不发生变化。数字卸妆是指去除有妆人脸图像上的彩妆效果，将有妆人脸图像恢复为无妆人脸图像。数字卸妆有两个目标：准确识别和消除人脸图像上的彩妆效果，包括颜色、纹理和图案，避免出现不自然的边界或过渡、颜色失真等现象；以及，卸妆后的人脸要保持其原有的身份特征。

4、据发明人了解，现有的妆容迁移研究可分为两类：第一类是基于图像梯度编辑和物理操作等图像处理方法的传统妆容迁移技术，第二类是基于深度神经网络等深度学习方法的妆容迁移技术。传统妆容迁移技术在进行妆容迁移过程中存在建模复杂和计算量大的缺点；基于深度学习的妆容迁移技术是目前的主流妆容迁移方法，取得了一定的进展；但在对于面部彩绘产生的复杂图案时的妆容迁移效果不好，迁移后的复杂图案与人脸图像存在明显的分界线，妆容存在失真；也会存在着颜色残留或背景信息改变的问题，无法保持妆容迁移前后图像的自然性和背景一致性。

技术实现思路

1、为了解决上述问题，本发明提出了一种多尺度数字妆容迁移方法及系统，采用引入多判别器架构的生成对抗网络模型进行多尺度数字妆容的迁移，单独处理人脸区域，减小对妆容迁移效果的影响，确保妆容迁移前后图像背景的一致，生成自然逼真的妆容迁移后图像。

2、根据一些实施例，本发明的第一方案提供了一种多尺度数字妆容迁移方法，采用如下技术方案：

3、一种多尺度数字妆容迁移方法，包括：

4、获取不同人脸妆容图像；

5、采用多尺度数字网络模型进行人脸妆容图像的妆容迁移，得到妆容迁移后的人脸妆容图像；具体的，在进行人脸妆容图像妆容迁移的过程中，提取所获取的不同人脸妆容图像的内容特征、妆容风格和背景区域；根据所提取的人脸妆容图像的内容特征进行妆容迁移，得到妆容迁移图像，所迁移的妆容风格与待进行妆容迁移的人脸妆容图像的妆容风格不同；提取所得到的妆容迁移图像的人脸区域；融合所提取的背景区域和人脸区域，得到妆容迁移后的人脸妆容图像，实现人脸妆容图像的妆容迁移；

6、其中，所采用的多尺度数字网络模型采用基于多判别器架构的生成对抗网络模型；所述多判别器架构包括用于促进分离内容特征和妆容风格的内容判别器，用于评估人脸区域、识别人脸妆容图像妆容迁移的质量和逼真度的全局判别器，以及用于妆容迁移图像的局部妆容检测与纠正的局部判别器。

7、作为进一步的技术限定，所述局部判别器采用用于约束妆容迁移前后的图像在局部区域上的颜色分布一致性的局部损失函数，确保妆容迁移前后图像在局部妆容风格上的一致性。

8、进一步的，以包含所述局部损失函数的多尺度数字网络模型的目标函数最小为目标，结合全局判别器和局部判别器的检测识别，优化调整人脸妆容图像妆容迁移过程。

9、作为进一步的技术限定，采用内容编码器提取人脸妆容图像的内容特征，采用妆容风格编码器提取人脸妆容图像的妆容风格；所述妆容风格编码器采用层级结构的卷积神经网络，用于捕捉人脸妆容图像中与妆容相关的妆容风格。

10、作为进一步的技术限定，将人脸区域分割成若干个人脸局部块，通过采用多尺度判别网络结构的全局判别器判断人脸区域的妆容风格，通过局部判别器检测并纠正人脸局部块的人脸妆容，根据全局判别器和局部判别器的判断检测结果评估妆容迁移的效果。

11、作为进一步的技术限定，采用引入人脸解析图的生成器将所获取的人脸妆容图像分割成不同的语义区域，根据所得到的语义区域，得到人脸妆容图像的背景区域，完成背景区域的提取；采用人脸解析图，提取妆容迁移图像的人脸区域像素，得到妆容迁移图像的人脸区域。

12、根据一些实施例，本发明的第二方案提供了一种多尺度数字妆容迁移系统，采用如下技术方案：

13、一种多尺度数字妆容迁移系统，包括：

14、获取模块，其被配置为获取不同人脸妆容图像；

15、迁移模块，其被配置为采用多尺度数字网络模型进行人脸妆容图像的妆容迁移，得到妆容迁移后的人脸妆容图像；具体的，在进行人脸妆容图像妆容迁移的过程中，提取所获取的不同人脸妆容图像的内容特征、妆容风格和背景区域；根据所提取的人脸妆容图像的内容特征进行妆容迁移，得到妆容迁移图像，所迁移的妆容风格与待进行妆容迁移的人脸妆容图像的妆容风格不同；提取所得到的妆容迁移图像的人脸区域；融合所提取的背景区域和人脸区域，得到妆容迁移后的人脸妆容图像，实现人脸妆容图像的妆容迁移；

16、其中，所采用的多尺度数字网络模型采用基于多判别器架构的生成对抗网络模型；所述多判别器架构包括用于促进分离内容特征和妆容风格的内容判别器，用于评估人脸区域、识别人脸妆容图像妆容迁移的质量和逼真度的全局判别器，以及用于妆容迁移图像的局部妆容检测与纠正的局部判别器。

17、根据一些实施例，本发明的第三方案提供了一种计算机可读存储介质，采用如下技术方案：

18、一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方案所述的多尺度数字妆容迁移方法中的步骤。

19、根据一些实施例，本发明的第四方案提供了一种电子设备，采用如下技术方案：

20、一种电子设备，包括存储器、处理器及存储在存储器上并在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方案所述的多尺度数字妆容迁移方法中的步骤。

21、根据一些实施例，本发明的第五方案提供了一种计算机程序产品，采用如下技术方案：

22、一种计算机程序产品，包括软件代码，所述软件代码中的程序执行如本发明第一方案所述的多尺度数字妆容迁移方法中的步骤。

23、与现有技术相比，本发明的有益效果为：

24、本发明在多尺度数字网络模型中引入多判别器组合策略并设计了新的多判别器架构，可有效提高多尺度数字网络模型的妆容迁移的性能和效果；多判别器架构由一个判断人脸内容信息真实性的内容判别器、两个判断全脸真实性的全局判别器和十个判断局部人脸区域真实性的局部判别器组成。

25、本发明提出了新的局部损失函数，该局部损失函数函数用于约束妆容迁移后的图像与原始有妆图像在局部区域上的颜色分布一致性；将该函数引入局部判别器，可确保妆容迁移后的图像与原始图像在局部妆容风格上保持一致，并可引导生成器更好地学习并保持每个区域的细节和特征，生成更加逼真的妆容迁移结果，从而提升妆容迁移图像的整体质量。

26、为避免图像的背景信息在妆容迁移过程中发生变化，以及对最终的面部妆容效果造成不良干扰，本发明提出单独处理人脸区域的思路，在生成器和判别器中均引入人脸解析图，用于分离图像的人脸区域和背景区域。在判别器评估人脸图像时，仅评估人脸区域，从而剔除了背景信息对脸部妆容迁移效果的影响；在生成器生成图像时，利用人脸解析图分别提取网络层输出结果的人脸区域与原始图像的背景区域，再将两部分内容合成为最终的生成图像，从而保证了最终所得到的妆容迁移后的人脸妆容图像的背景与原始图像的一致性。本发明在进行妆容迁移的过程中仅考虑和关注面部特征和细节，可生成更加自然和逼真的妆容迁移效果。