图像处理方法、装置、电子设备及存储介质与流程

本公开涉及图像处理，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术：

1、在目前常见的短视频应用或者相机应用中，为人脸进行上妆(如口红、眼影、腮红等)是一项常见的技术。相关技术中，最常见的上妆方案是利用人脸关键点，如嘴唇区域的关键点，拟合出相应的曲线并进行渲染上妆。当人脸轮廓内部存在遮挡物时，通过人脸语义分割技术，可以对人脸与遮挡物区域进行区分，结合关键点渲染上妆，可以达到妆容只在未被遮挡的区域上妆，实现更具真实感的上妆体验。

2、但是，相关技术中的上妆方案无法满足人脸轮廓外的上妆需求，不能解决人脸轮廓外部的防遮挡上妆问题。

技术实现思路

1、本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中不能解决人脸轮廓外部防遮挡上妆的问题。本公开的技术方案如下：

2、根据本公开实施例的第一方面，提供一种图像处理方法，包括：

3、对待处理人脸图像进行人脸关键点检测，得到关键点检测结果；

4、根据所述关键点检测结果，确定所述待处理人脸图像中的目标部位区域；

5、对目标部位区域进行上妆处理，得到中间上妆图像；

6、通过人脸膨胀分割模型对所述待处理人脸图像进行人脸膨胀分割处理，得到所述待处理人脸图像中的可上妆区域，所述可上妆区域包括未被遮挡物遮挡的人脸区域和未被所述遮挡物遮挡的人脸外扩区域，所述人脸外扩区域为人脸轮廓外的部分区域，所述未被遮挡物遮挡的人脸区域包括未被所述遮挡物遮挡的目标部位区域；

7、根据所述可上妆区域，对所述中间上妆图像进行修正，得到目标上妆图像。

8、可选的，所述方法还包括所述人脸膨胀分割模型的训练过程，所述人脸膨胀分割模型的训练过程包括：

9、通过多类别语义分割模型对人脸图像样本进行多类别语义分割处理，得到所述人脸图像样本中的人脸区域、遮挡物区域和头发区域；

10、对所述人脸图像样本中的人脸区域进行膨胀处理，得到人脸膨胀区域，所述人脸膨胀区域包括所述人脸图像样本中的人脸区域和人脸外扩区域；

11、根据所述遮挡物区域、所述头发区域和所述人脸膨胀区域，确定所述人脸图像样本中的可上妆区域标注；

12、根据所述人脸图像样本和所述可上妆区域标注，对初始的人脸膨胀分割模型进行训练，得到训练完成的人脸膨胀分割模型。

13、可选的，所述根据所述遮挡物区域、所述头发区域和所述人脸膨胀区域，确定所述人脸图像样本中的可上妆区域标注，包括：

14、确定所述人脸膨胀区域与所述遮挡物区域之间的第一重叠区域，并确定所述人脸膨胀区域与所述头发区域之间的第二重叠区域；

15、在所述人脸膨胀区域中去除所述第一重叠区域和所述第二重叠区域，得到所述可上妆区域标注。

16、可选的，所述通过人脸膨胀分割模型对所述待处理人脸图像进行人脸膨胀分割处理，得到所述待处理人脸图像中的可上妆区域，包括：

17、通过所述人脸膨胀分割模型对所述待处理人脸图像进行人脸膨胀分割处理，得到所述待处理人脸图像中的可上妆区域和未遮挡头发区域，所述未遮挡头发区域是未被遮挡物遮挡的头发区域；

18、所述根据所述可上妆区域，对所述中间上妆图像进行修正，得到目标上妆图像，包括：

19、根据所述可上妆区域，对所述中间上妆图像进行修正，并对修正后的中间上妆图像中未遮挡头发区域进行上妆处理，得到所述目标上妆图像。

20、可选的，所述根据所述人脸图像样本和所述可上妆区域标注，对初始的人脸膨胀分割模型进行训练，得到训练完成的人脸膨胀分割模型之前，所述方法还包括：

21、确定所述头发区域与所述遮挡物区域之间的第三重叠区域；

22、在所述头发区域中去除所述第三重叠区域，得到未遮挡头发区域标注；

23、所述根据所述人脸图像样本和所述可上妆区域标注，对初始的人脸膨胀分割模型进行训练，得到训练完成的人脸膨胀分割模型，包括：

24、根据所述人脸图像样本、所述可上妆区域标注和所述未遮挡头发区域标注，对初始的人脸膨胀分割模型进行训练，得到训练完成的人脸膨胀分割模型。

25、可选的，所述方法还包括所述多类别语义分割模型的训练过程，所述多类别语义分割模型的训练过程包括：

26、获取人脸分割图像、遮挡物分割图像和头发分割图像，所述人脸分割图像、遮挡物分割图像和头发分割图像分别为二分类分割数据；

27、根据所述人脸分割图像、遮挡物分割图像和头发分割图像，对初始的多类别语义分割模型进行训练，得到训练完成的多类别语义分割模型。

28、可选的，所述根据所述人脸图像样本和所述可上妆区域标注，对初始的人脸膨胀分割模型进行训练，得到训练完成的人脸膨胀分割模型，包括：

29、将所述人脸图像样本输入所述初始的人脸膨胀分割模型，得到所述人脸图像样本的可上妆区域；

30、根据所述可上妆区域标注和所述人脸图像样本的可上妆区域，确定类别平衡损失函数值；

31、根据所述类别平衡损失函数值，对所述人脸膨胀分割模型的网络参数进行调整，获得训练完成的人脸膨胀分割模型。

32、可选的，所述根据所述可上妆区域，对所述中间上妆图像进行修正，得到目标上妆图像，包括：

33、确定所述可上妆区域与所述目标部位区域之间的第四重叠区域；

34、在所述目标部位区域中确定所述第四重叠区域之外的剩余区域；

35、在所述中间上妆图像中去除所述剩余区域的上妆效果，得到所述目标上妆图像。

36、根据本公开实施例的第二方面，提供一种图像处理装置，包括：

37、关键点检测模块，被配置为执行对待处理人脸图像进行人脸关键点检测，得到关键点检测结果；

38、目标部位区域确定模块，被配置为执行根据所述关键点检测结果，确定所述待处理人脸图像中的目标部位区域；

39、目标部位上妆模块，被配置为执行对所述目标部位区域进行上妆处理，得到中间上妆图像；

40、人脸膨胀分割模块，被配置为执行通过人脸膨胀分割模型对所述待处理人脸图像进行人脸膨胀分割处理，得到所述待处理人脸图像中的可上妆区域，所述可上妆区域包括未被遮挡物遮挡的人脸区域和未被所述遮挡物遮挡的人脸外扩区域，所述人脸外扩区域为人脸轮廓外的部分区域，所述未被遮挡物遮挡的人脸区域包括未被所述遮挡物遮挡的目标部位区域；

41、上妆修正模块，被配置为执行根据所述可上妆区域，对所述中间上妆图像进行修正，得到目标上妆图像。

42、可选的，所述装置还包括膨胀分割模型训练模块，所述膨胀分割模型训练模块包括：

43、多类别分割处理单元，被配置为执行通过多类别语义分割模型对人脸图像样本进行多类别语义分割处理，得到所述人脸图像样本中的人脸区域、遮挡物区域和头发区域；

44、膨胀处理单元，被配置为执行对所述人脸图像样本中的人脸区域进行膨胀处理，得到人脸膨胀区域，所述人脸膨胀区域包括所述人脸图像样本中的人脸区域和人脸外扩区域；

45、可上妆区域标注确定单元，被配置为执行根据所述遮挡物区域、所述头发区域和所述人脸膨胀区域，确定所述人脸图像样本中的可上妆区域标注；

46、膨胀分割模型训练单元，被配置为执行根据所述人脸图像样本和所述可上妆区域标注，对初始的人脸膨胀分割模型进行训练，得到训练完成的人脸膨胀分割模型。

47、可选的，所述可上妆区域标注确定单元被配置为执行：

48、确定所述人脸膨胀区域与所述遮挡物区域之间的第一重叠区域，并确定所述人脸膨胀区域与所述头发区域之间的第二重叠区域；

49、在所述人脸膨胀区域中去除所述第一重叠区域和所述第二重叠区域，得到所述可上妆区域标注。

50、可选的，所述人脸膨胀分割模块被配置为执行：

51、通过所述人脸膨胀分割模型对所述待处理人脸图像进行人脸膨胀分割处理，得到所述待处理人脸图像中的可上妆区域和未遮挡头发区域，所述未遮挡头发区域是未被遮挡物遮挡的头发区域；

52、所述上妆修正模块被配置为执行：

53、根据所述可上妆区域，对所述中间上妆图像进行修正，并对修正后的中间上妆图像中未遮挡头发区域进行上妆处理，得到所述目标上妆图像。

54、可选的，所述膨胀分割模型训练模块还包括：

55、第三重叠区域确定模块，被配置为执行确定所述头发区域与所述遮挡物区域之间的第三重叠区域；

56、未遮挡头发区域标注确定模块，被配置为执行在所述头发区域中去除所述第三重叠区域，得到未遮挡头发区域标注；

57、所述膨胀分割模型训练单元被配置为执行：

58、根据所述人脸图像样本、所述可上妆区域标注和所述未遮挡头发区域标注，对初始的人脸膨胀分割模型进行训练，得到训练完成的人脸膨胀分割模型。

59、可选的，所述装置还包括多类别语义分割模型训练模块，所述多类别语义分别模型训练模块包括：

60、二分类分割数据获取单元，被配置为执行获取人脸分割图像、遮挡物分割图像和头发分割图像，所述人脸分割图像、遮挡物分割图像和头发分割图像分别为二分类分割数据；

61、多类别语义分割模型训练单元，被配置为执行根据所述人脸分割图像、遮挡物分割图像和头发分割图像，对初始的多类别语义分割模型进行训练，得到训练完成的多类别语义分割模型。

62、可选的，所述膨胀分割模型训练单元被配置为执行：

63、将所述人脸图像样本输入所述初始的人脸膨胀分割模型，得到所述人脸图像样本的可上妆区域；

64、根据所述可上妆区域标注和所述人脸图像样本的可上妆区域，确定类别平衡损失函数值；

65、根据所述类别平衡损失函数值，对所述人脸膨胀分割模型的网络参数进行调整，获得训练完成的人脸膨胀分割模型。

66、可选的，所述上妆修正模块包括：

67、第四重叠区域确定单元，被配置为执行确定所述可上妆区域与所述目标部位区域之间的第四重叠区域；

68、在所述目标部位区域中确定所述第四重叠区域之外的剩余区域；

69、上妆修正单元，被配置为执行在所述中间上妆图像中去除所述剩余区域的上妆效果，得到所述目标上妆图像。

70、根据本公开实施例的第三方面，提供一种电子设备，包括：

71、处理器；

72、用于存储所述处理器可执行指令的存储器；

73、其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的图像处理方法。

74、根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面所述的图像处理方法。

75、根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序或计算机指令，所述计算机程序或计算机指令被处理器执行时实现如第一方面所述的图像处理方法。

76、本公开的实施例提供的技术方案至少带来以下有益效果：

77、本公开实施例通过对待处理人脸图像进行关键点检测，得到关键点检测结果，根据关键点检测结果，确定待处理人脸图像中的目标部位区域，并对目标部位区域进行上妆处理，得到中间上妆图像，通过人脸膨胀分割模型对待处理人脸图像进行人脸膨胀分割处理，得到待处理人脸图像中的可上妆区域，根据可上妆区域对中间上妆图像进行修正，得到目标上妆图像，由于可上妆区域包括未被遮挡物遮挡的人脸区域和人脸外扩区域，在基于可上妆区域对中间上妆图像进行修正时，可以保留人脸轮廓内的上妆效果，对于添加在人脸轮廓外的上妆效果也可以保留，这样可以满足人脸轮廓外的上妆需求，同时具有防遮挡效果，解决了人脸轮廓外部的防遮挡上妆问题。

78、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。