素材获取方法、模型训练方法、装置、设备及介质与流程

本公开涉及计算机，特别涉及一种素材获取方法、模型训练方法、装置、设备及介质。

背景技术：

1、随着计算机技术的发展，图像越来越受到用户的喜爱。通常用户通过设备拍摄到面部图像后，为面部图像中的面部添加面部装饰素材，以提升面部图像的显示效果。但是，目前需要开发人员通过专业软件执行复杂的操作，才能够生成面部装饰素材。这种生成面部装饰素材的方式较为复杂，耗费的人力成本高，面部装饰素材的生成效率低。

技术实现思路

1、本公开提供一种素材获取方法、模型训练方法、装置、设备及介质，能够提升面部装饰素材的生成效率。本公开的技术方案如下：

2、根据本公开实施例的一方面，提供一种素材获取方法，包括：

3、获取参考面部图像及面部装饰图像，所述面部装饰图像包括面部装饰素材，所述参考面部图像未包括所述面部装饰素材；

4、分别对所述参考面部图像及所述面部装饰图像进行特征提取，得到第一特征及第二特征，所述第一特征用于表示所述参考面部图像，所述第二特征用于表示所述面部装饰图像；

5、基于所述第一特征与所述第二特征之间的相似度，对所述第一特征及所述第二特征进行加权融合，得到第一融合特征；

6、对所述第一融合特征进行解码，得到所述面部装饰素材。

7、根据本公开实施例的另一方面，提供一种模型训练方法，所述方法包括：

8、获取第一样本图像、第二样本图像及样本装饰素材，所述第二样本图像包括面部装饰素材，所述第一样本图像未包括所述面部装饰素材，所述样本装饰素材为所述第二样本图像中的所述面部装饰素材；

9、通过素材提取模型，分别对所述第一样本图像及所述第二样本图像进行特征提取，得到第一样本特征及第二样本特征，所述第一样本特征用于表示所述第一样本图像，所述第二样本特征用于表示所述第二样本图像；

10、通过所述素材提取模型，基于所述第一样本特征与所述第二样本特征之间的相似度，对所述第一样本特征及所述第二样本特征进行加权融合，得到样本融合特征；

11、通过所述素材提取模型，对所述样本融合特征进行解码，得到预测装饰素材；

12、基于预测装饰素材及样本装饰素材，对所述素材提取模型进行训练。

13、根据本公开实施例的再一方面，提供一种素材获取装置，包括：

14、获取单元，被配置为执行获取参考面部图像及面部装饰图像，所述面部装饰图像包括面部装饰素材，所述参考面部图像未包括所述面部装饰素材；

15、提取单元，被配置为执行分别对所述参考面部图像及所述面部装饰图像进行特征提取，得到第一特征及第二特征，所述第一特征用于表示所述参考面部图像，所述第二特征用于表示所述面部装饰图像；

16、融合单元，被配置为执行基于所述第一特征与所述第二特征之间的相似度，对所述第一特征及所述第二特征进行加权融合，得到第一融合特征；

17、解码单元，被配置为执行对所述第一融合特征进行解码，得到所述面部装饰素材。

18、在一些实施例中，所述融合单元，被配置为执行将所述相似度与所述第二特征进行融合，得到第二融合特征；将所述第二融合特征与所述第一特征进行融合，得到所述第一融合特征。

19、在一些实施例中，所述提取单元，被配置为执行分别对所述参考面部图像及所述面部装饰图像进行特征提取，得到多个尺度的第一特征及所述多个尺度的第二特征；

20、所述融合单元，被配置为执行对于同一尺度，基于所述尺度的第一特征与所述尺度的第二特征之间的相似度，对所述尺度的第一特征与所述尺度的第二特征进行加权融合，得到所述尺度的第三融合特征；将所述多个尺度的第三融合特征进行融合，得到所述第一融合特征。

21、在一些实施例中，所述获取单元，还被配置为执行获取第一位置信息及第二位置信息，所述第一位置信息指示所述参考面部图像中面部的至少一个部位的位置，所述第二位置信息指示所述面部装饰图像中面部的至少一个部位的位置；

22、所述提取单元，被配置为执行对所述参考面部图像及所述第一位置信息进行特征提取，得到所述第一特征；对所述面部装饰图像及所述第二位置信息进行特征提取，得到所述第二特征。

23、在一些实施例中，所述第一位置信息与所述第二位置信息所指示的部位相同，所述面部装饰素材对应的部位与所述第二位置信息所指示部位的相同。

24、在一些实施例中，所述获取单元，还被配置为执行获取第一关键点信息及第二关键点信息，所述第一关键点信息指示所述参考面部图像中的面部关键点的位置，所述第二关键点信息指示所述面部装饰图像中的面部关键点的位置；

25、所述提取单元，被配置为执行对所述参考面部图像及所述第一关键点信息进行特征提取，得到所述第一特征；对所述面部装饰图像及所述第二关键点信息进行特征提取，得到所述第二特征。

26、在一些实施例中，所述面部装饰素材包括色彩图像及透明度。

27、根据本公开实施例的再一方面，提供一种模型训练装置，所述装置包括：

28、获取单元，被配置为执行获取第一样本图像、第二样本图像及样本装饰素材，所述第二样本图像包括面部装饰素材，所述第一样本图像未包括所述面部装饰素材，所述样本装饰素材为所述第二样本图像中的所述面部装饰素材；

29、提取单元，被配置为执行通过素材提取模型，分别对所述第一样本图像及所述第二样本图像进行特征提取，得到第一样本特征及第二样本特征，所述第一样本特征用于表示所述第一样本图像，所述第二样本特征用于表示所述第二样本图像；

30、融合单元，被配置为执行通过所述素材提取模型，基于所述第一样本特征与所述第二样本特征之间的相似度，对所述第一样本特征及所述第二样本特征进行加权融合，得到样本融合特征；

31、解码单元，被配置为执行通过所述素材提取模型，对所述样本融合特征进行解码，得到预测装饰素材；

32、训练单元，被配置为执行基于预测装饰素材及样本装饰素材，对所述素材提取模型进行训练。

33、在一些实施例中，所述训练单元，被配置为执行基于所述预测装饰素材及所述样本装饰素材，确定损失值，所述损失值指示所述预测装饰素材与所述样本装饰素材之间的色彩差异；基于所述损失值，对所述素材提取模型进行训练。

34、在一些实施例中，所述训练单元，被配置为执行基于所述预测装饰素材与所述样本装饰素材之间的相似度，对所述素材提取模型进行训练。

35、在一些实施例中，所述训练单元，被配置为执行基于判别模型，对所述预测装饰素材进行判别，得到判别结果，所述判别结果指示所述预测装饰素材为所述素材提取模型生成的可能性；基于所述预测装饰素材、所述样本装饰素材及所述判别结果，对所述素材提取模型进行训练。

36、根据本公开实施例的再一方面，提供一种电子设备，该电子设备包括：

37、一个或多个处理器；

38、用于存储该处理器可执行程序代码的存储器；

39、其中，该处理器被配置为执行该程序代码，以实现上述素材获取方法或模型训练方法。

40、根据本公开实施例的再一方面，提供一种计算机可读存储介质，当该计算机可读存储介质中的程序代码由电子设备的处理器执行时，使得电子设备能够执行上述素材获取方法或模型训练方法。

41、根据本公开实施例的再一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述素材获取方法或模型训练方法。

42、本公开实施例提供的方案中，利用未包括面部装饰素材的参考面部图像及包括面部装饰素材的面部装饰图像，基于参考面部图像的第一特征与面部装饰素材的第二特征之间的相似度，对第一特征及第二特征进行加权融合，得到第一融合特征，对第一融合特征进行解码，得到面部装饰素材，实现了一种新的面部装饰素材获取方式，利用这两个图像的特征，对两个图像进行对比，以对比出相对于参考面部图像的面部，面部装饰图像中的面部所具有的面部装饰素材，保证了面部装饰素材的准确性，且这种面部装饰素材获取方式，无需用户通过专业软件执行复杂的操作，降低了人力成本，且能够保证面部装饰素材的生成效率。

43、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。