妆容迁移方法、装置、计算设备及存储介质与流程

本技术涉及计算机，具体涉及一种妆容迁移方法、装置、计算设备及存储介质。

背景技术：

1、换脸技术是一种基于人工智能和计算机视觉技术的数字技术，其目的是将一个人的面部特征应用到另一个人的图像或视频中，以实现逼真的换脸效果。目前，换脸技术已经被广泛应用于娱乐、影视制作、虚拟现实等领域中，为人们带来了更加丰富多样的视觉体验。脸部妆容可以起到修饰和调整面部的作用，让面部表情更加自然和协调，增加面部的细节和立体感，让面部图像更加生动和真实，在实际应用中，还会存在将一个人的妆容应用到另一个人脸上的需求。但是，现有的换脸技术是将一张人脸图像中的人脸整体替换到另一张人脸图像的脸部，无法实现仅将一张人脸图像的妆容融合到另一张人脸图像中。

技术实现思路

1、本技术实施例的目的是提供一种妆容迁移方法、装置、计算设备及存储介质，以解决现有技术无法仅将一张人脸图像的妆容融合到另一张人脸图像中的问题。

2、根据本技术的一个方面，提供了一种妆容迁移方法，该方法包括：

3、提取原始人脸图像的面部特征；

4、检测人脸妆容图像中的妆容区域，根据妆容区域提取妆容特征；

5、根据面部特征以及妆容特征进行融合处理，得到融合特征；

6、对融合特征进行解码处理，得到妆容迁移图像。

7、可选地，提取原始人脸图像的面部特征进一步包括：

8、对原始人脸图像进行编码，得到包含多个层级的面部子特征的面部特征；

9、根据妆容区域提取妆容特征进一步包括：对妆容区域进行编码，得到包含多个层级的妆容子特征的妆容特征；

10、根据面部特征以及妆容特征进行融合处理，得到融合特征进一步包括：

11、针对于任一注意力头，根据相应层级的面部子特征和妆容子特征计算注意力向量；

12、将各个注意力头对应的注意力向量进行拼接处理，得到融合特征。

13、可选地，针对于任一注意力头，根据相应层级的面部子特征和妆容子特征计算注意力向量进一步包括：

14、针对于任一注意力头，将相应层级的面部子特征作为查询向量，将相应层级的妆容子特征作为键向量和值向量；

15、根据查询向量以及键向量计算注意力权重，根据注意力权重和值向量计算加权和，得到该注意力头对应的注意力向量。

16、可选地，不同层级的面部子特征的分辨率不同，不同层级的妆容子特征的分辨率不同。

17、可选地，不同注意力头对应的注意力向量的分辨率不同，将各个注意力头对应的注意力向量进行拼接处理，得到融合特征进一步包括：

18、根据各个注意力头对应的注意力向量，确定各个待融合注意力向量，各个待融合注意力向量的分辨率为目标分辨率；根据各个待融合注意力向量，计算得到融合特征。

19、可选地，目标分辨率为各个注意力向量的分辨率中的最高分辨率。

20、可选地，检测人脸妆容图像的妆容区域之后，方法进一步包括：

21、对妆容区域进行优化调整处理；其中，优化调整处理包括以下处理中的至少一项：区域位置调整处理、形状微调处理、面部位置调整处理、图像优化处理。

22、根据本技术的另一方面，提供了一种妆容迁移装置，该装置包括：

23、第一特征提取模块，适于提取原始人脸图像的面部特征；

24、第二特征提取模块，适于检测人脸妆容图像中的妆容区域，根据妆容区域提取妆容特征；

25、融合处理模块，适于根据面部特征以及妆容特征进行融合处理，得到融合特征；

26、解码模块，适于对融合特征进行解码处理，得到妆容迁移图像。

27、可选地，第一特征提取模块进一步适于：对原始人脸图像进行编码，得到包含多个层级的面部子特征的面部特征；

28、第二特征提取模块进一步适于：对妆容区域进行编码，得到包含多个层级的妆容子特征的妆容特征；

29、融合处理模块进一步适于：针对于任一注意力头，根据相应层级的面部子特征和妆容子特征计算注意力向量；将各个注意力头对应的注意力向量进行拼接处理，得到融合特征。

30、可选地，融合处理模块进一步适于：

31、针对于任一注意力头，将相应层级的面部子特征作为查询向量，将相应层级的妆容子特征作为键向量和值向量；

32、根据查询向量以及键向量计算注意力权重，根据注意力权重和值向量计算加权和，得到该注意力头对应的注意力向量。

33、可选地，不同层级的面部子特征的分辨率不同，不同层级的妆容子特征的分辨率不同。

34、可选地，不同注意力头对应的注意力向量的分辨率不同，融合处理模块进一步适于：根据各个注意力头对应的注意力向量，确定各个待融合注意力向量，各个待融合注意力向量的分辨率为目标分辨率；根据各个待融合注意力向量，计算得到融合特征。

35、可选地，目标分辨率为各个注意力向量的分辨率中的最高分辨率。

36、可选地，装置还包括：调整模块，适于对妆容区域进行优化调整处理；其中，优化调整处理包括以下处理中的至少一项：区域位置调整处理、形状微调处理、面部位置调整处理、图像优化处理。

37、根据本技术的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

38、所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述妆容迁移方法对应的操作。

39、根据本技术的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述妆容迁移方法对应的操作。

40、根据本技术的妆容迁移方法、装置、计算设备及存储介质，提取原始人脸图像的面部特征；检测人脸妆容图像中的妆容区域，根据妆容区域提取妆容特征；根据面部特征以及妆容特征进行融合处理，得到融合特征；对融合特征进行解码处理，得到妆容迁移图像。通过上述方式，本技术能够将一张人脸图像的妆容特征迁移到另一张人脸图像中，实现了在一张人脸图像上融合另一人脸图像中的妆容的效果；进一步地，结合换脸技术，还能够实现合成人脸的同时能够保持原先的妆容细节；进一步地，通过多层神经网络提取多个层级的面部子特征，以及通过多层神经网络提取多个层级的子特征，能够得到关注点不同的多层特征，能够提升妆容迁移的效果；进一步地，采用交叉注意力机制对多个层级的面部特征和妆容特征进行融合，能够对妆容特征的不同部分赋予不同的权重，以使融合特征更加准确，还能够实现特征的跨层传递，从而更好地利用不同层级的特征信息，还可以帮助妆容迁移模型更好地关注和理解不同的人脸特征和妆容特征，还能够增强妆容迁移模型的学习能力和泛化能力，还能够更好地利用不同特征层的交叉注意力信息，进而在粗粒度和细粒度都能够较好地完成妆容迁移；进一步地，在检测到人脸妆容图像的妆容区域之后，对妆容区域进行优化调整，提升妆容区域的准确性和质量。

41、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。