面部图像处理方法、模型训练方法、装置及电子设备与流程

本公开涉及计算机，特别涉及一种面部图像处理方法、模型训练方法、装置及电子设备。

背景技术：

1、随着互联网技术和人工智能技术的发展，用户能够在应用程序中，使用各种虚拟工具对面部图像进行面部处理，以美化面部图像。其中，面部处理包括多种处理方式，如美白、磨皮、化妆、瘦脸等。然而，在进行面部处理过程中，需要用户对面部图像进行多次手工操作，工作量较大，导致图像处理效率较低。因此，如何在对面部图像进行面部处理时提高图像的处理效率，是一个需要解决的技术问题。

2、相关技术中，以一种面部处理方式为例，可以采用妆容迁移的方式对面部图像进行面部处理。该方式能够通过妆容迁移模型将参考面部图像中人物的妆容迁移到用户提供的面部图像上，从而能够快速得到处理后的面部图像。

3、然而，上述方案在进行面部处理时，会将用户提供的面部图像的妆容全部替换为参考图像中人物的妆容，导致处理后面部图像的美化效果较差。

技术实现思路

1、本公开提供一种面部图像处理方法、模型训练方法、装置及电子设备，使得结果图像能够具有原始面部图像的面部特色，从而在保证面部图像的处理效率的同时，能够提高处理后的面部图像的美化效果。本公开的技术方案如下：

2、根据本公开实施例的一方面，提供一种面部图像处理方法，包括：

3、对至少一张参考面部图像进行处理，得到第一图像特征；

4、对原始面部图像进行特征提取，得到第二图像特征；

5、基于所述第二图像特征，对所述第一图像特征进行特征变换，得到第三图像特征，所述特征变换用于更新所述第一图像特征对所述原始面部图像的编辑程度；

6、对所述第二图像特征和所述第三图像特征进行解码，得到结果图像。

7、根据本公开实施例的一方面，提供一种模型训练方法，包括：

8、通过图像处理模型，对至少一张样本参考面部图像和样本原始面部图像进行处理，得到预测结果图像；

9、基于所述至少一张样本参考面部图像和所述预测结果图像，确定第一训练损失，所述第一训练损失用于指示所述至少一张样本参考面部图像和所述预测结果图像之间的差异；

10、基于所述样本原始面部图像和所述预测结果图像，确定第二训练损失，所述第二训练损失用于指示所述样本原始面部图像和所述预测结果图像之间的差异；

11、基于所述第一训练损失和所述第二训练损失，训练所述图像处理模型。

12、根据本公开实施例的另一方面，提供一种面部图像处理装置，包括：

13、处理单元，被配置为对至少一张参考面部图像进行处理，得到第一图像特征；

14、特征提取单元，被配置为对原始面部图像进行特征提取，得到第二图像特征；

15、特征变换单元，被配置为基于所述第二图像特征，对所述第一图像特征进行特征变换，得到第三图像特征，所述特征变换用于更新所述第一图像特征对所述原始面部图像的编辑程度；

16、解码单元，被配置为对所述第二图像特征和所述第三图像特征进行解码，得到结果图像。

17、在一些实施例中，所述处理单元，包括：

18、提取子单元，被配置为分别对所述至少一张参考面部图像进行特征提取，得到所述至少一张参考面部图像的图像特征；

19、融合子单元，被配置为基于所述至少一张参考面部图像对应的特征融合权重，对所述至少一张参考面部图像的图像特征进行加权融合，得到所述第一图像特征。

20、在一些实施例中，所述处理单元，还包括：

21、第一确定子单元，被配置为对于任一参考面部图像，基于所述参考面部图像的图像特征，确定所述参考面部图像的面部角度和面部清晰度，所述面部角度用于指示所述参考面部图像中面部的偏转程度，所述面部清晰度用于指示所述参考面部图像中面部的清晰程度；基于所述面部角度和所述面部清晰度中的至少一项，确定所述参考面部图像对应的特征融合权重。

22、在一些实施例中，所述特征变换单元，包括：

23、第二确定子单元，被配置为基于第一子特征对，确定所述第一子特征对对应的相似度，每个第一子特征对包括所述第一图像特征和所述第二图像特征中对应位置的子特征，所述相似度用于指示所述第一子特征对中的两个子特征之间的相似程度；

24、变换子单元，被配置为基于多个第一子特征对对应的相似度，对所述第一图像特征进行特征变换，得到所述第三图像特征。

25、在一些实施例中，所述第一子特征对包括来自于所述第一图像特征中的第一子特征和来自于所述第二图像特征中的第二子特征；

26、所述变换子单元，被配置为对于任一第一子特征对，基于所述第一子特征对对应的相似度，更新所述第一子特征的特征变换权重，所述特征变换权重用于指示所述第一子特征对所述原始面部图像的编辑程度；基于所述特征变换权重，对所述第一子特征进行加权，得到第三子特征，所述第三子特征为所述第三图像特征中对应位置的子特征。

27、在一些实施例中，所述变换子单元，被配置为在所述第一子特征对对应的相似度大于第一阈值的情况下，减小所述特征变换权重；在所述第一子特征对对应的相似度小于第二阈值的情况下，增大所述特征变换权重，所述第二阈值不大于所述第一阈值。

28、在一些实施例中，所述解码单元，被配置为基于第二子特征对，确定所述第二子特征对对应的编辑度，每个第二子特征对包括所述第二图像特征和所述第三图像特征中对应位置的子特征，所述编辑度用于指示所述第二子特征对中的第三子特征对第二子特征的编辑程度，所述第三子特征为所述第三图像特征中对应位置的子特征，所述第二子特征为所述第二图像特征中对应位置的子特征，所述编辑度与所述第二子特征和所述第三子特征之间的差异成正比；基于所述多个第二子特征对对应的编辑度，对所述第二图像特征进行解码，得到所述结果图像。

29、根据本公开实施例的另一方面，提供一种模型训练装置，包括：

30、处理单元，被配置为通过图像处理模型，对至少一张样本参考面部图像和样本原始面部图像进行处理，得到预测结果图像；

31、第一确定单元，被配置为基于所述至少一张样本参考面部图像和所述预测结果图像，确定第一训练损失，所述第一训练损失用于指示所述至少一张样本参考面部图像和所述预测结果图像之间的差异；

32、第二确定单元，被配置为基于所述样本原始面部图像和所述预测结果图像，确定第二训练损失，所述第二训练损失用于指示所述样本原始面部图像和所述预测结果图像之间的差异；

33、训练单元，被配置为基于所述第一训练损失和所述第二训练损失，训练所述图像处理模型。

34、在一些实施例中，所述处理单元，被配置为通过所述图像处理模型，对所述至少一张样本参考面部图像进行处理，得到第一样本图像特征；通过所述图像处理模型，对所述样本原始图像进行特征提取，得到第二样本图像特征；通过所述图像处理模型，基于所述第二样本图像特征，对所述第一样本图像特征进行特征变换，得到第三样本图像特征，所述特征变换用于更新所述第一样本图像特征对所述样本原始面部图像的编辑程度；通过所述图像处理模型，对所述第二样本图像特征和所述第三样本图像特征进行解码，得到所述预测结果图像。

35、在一些实施例中，所述处理单元，被配置为通过所述图像处理模型，基于所述第一样本图像特征和所述样本第二图像特征中的样本子特征对，确定所述样本子特征对对应的相似度，每个样本子特征对包括所述第一样本图像特征和所述第二样本图像特征中对应位置的样本子特征，所述相似度用于指示所述样本子特征对中的两个样本子特征之间的相似程度；基于多个样本子特征对对应的相似度，对所述第一样本图像特征进行特征变换，得到所述第三样本图像特征。

36、根据本公开实施例的另一方面，提供了一种电子设备，该电子设备包括：

37、一个或多个处理器；

38、用于存储该处理器可执行程序代码的存储器；

39、其中，该处理器被配置为执行该程序代码，以实现上述面部图像处理方法，或者上述模型训练方法。

40、根据本公开实施例的另一方面，提供了一种计算机可读存储介质，当该计算机可读存储介质中的程序代码由电子设备的处理器执行时，使得电子设备能够执行上述面部图像处理方法，或者上述模型训练方法。

41、根据本公开实施例的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述面部图像处理方法，或者上述模型训练方法。

42、本公开实施例提供了一种面部图像处理方法，通过基于原始面部图像的图像特征对至少一张参考面部图像的图像特征进行特征变换，能够更新至少一张参考面部图像的图像特征对原始面部图像的编辑程度，进而在对原始面部图像的图像特征和特征变换得到的第三图像特征进行解码时，能够使得解码得到的结果图像保留有原始面部图像的部分图像特征，也即使得结果图像能够具有原始面部图像的面部特色，从而在保证面部图像的处理效率的同时，能够提高处理后的面部图像的美化效果。

43、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。