图像生成方法、电子设备、存储介质及程序产品与流程

本申请涉及图像处理，具体而言，涉及一种图像生成方法、电子设备、存储介质及程序产品。

背景技术：

1、目前，越来越多的场景，如虚拟世界、电影特效、美发设计、娱乐短视频等会使用到更换技术，如更换衣服、更换配饰、更换发型、更换用户所处场景、更换用户风格，如将用户更换为卡通场景等。

2、对于更换技术而言，难点在于将目标图像中的对象更换为源图像中的对象后，以此生成一张最终的图像，该最终的图像中的对象即实现了对象更换。目前的方式一般是基于传统方法或关键点做图像处理上的对象融合，以获得最终的图像，但是这种方式在一些对象特征比较复杂的场景下，其生成的最终的图像中对象的效果不佳，即生成的最终的图像效果不好，进而导致对象更换效果较差的问题。

技术实现思路

1、本申请实施例的目的在于提供一种图像生成方法、电子设备、存储介质及程序产品，用以改善现有方式中生成的最终的图像效果不佳，导致最终更换效果差的问题。

2、第一方面，本申请实施例提供了一种图像生成方法，所述方法包括：

3、获取源对象图像以及目标对象图像；

4、提取所述源对象图像中的源对象特征以及所述目标对象图像中的目标对象特征；

5、将所述源对象特征与所述目标对象特征按照特征的维度进行融合，获得不同维度下的融合特征，其中，所述特征的维度为所述源对象特征以及所述目标对象特征的维度；

6、从不同维度下的融合特征中选择与所述源对象特征之间满足相似度要求的目标融合特征；

7、基于所述目标融合特征生成目标图像，其中，所述目标图像是指将所述目标对象图像中的对象替换成所述源对象图像中的对象所生成的图像。

8、在上述实现过程中，通过将源对象图像的源对象特征和目标对象图像的目标对象特征按照特征的维度进行融合，使得可以保留源对象和目标对象的相关特征，然后从不同维度的融合特征中选择与源对象特征之间满足相似度要求的目标融合特征，使得生成的目标图像可以尽可能保留源对象的特征，但是又保留了目标对象的特征，达到更好地融合效果，即生成的目标图像的效果更好，进而在将目标对象图像中的对象替换为源对象图像中的对象时，大大提升了替换效果。

9、可选地，所述将所述源对象特征与所述目标对象特征按照特征的维度进行融合，获得不同维度下的融合特征，包括：

10、从多个维度中选取目标数量的维度；

11、将所述目标数量的维度中属于同一维度的所述源对象特征与所述目标对象特征按照目标权重进行线性加权融合，得到相应维度下的融合特征；以及将所述多个维度中除所述目标数量的维度外的剩余维度中属于同一维度的源对象特征和所述目标对象特征按照随机权重进行线性加权融合，得到相应维度下的融合特征；

12、其中，在将所述目标数量的维度下的对象特征进行融合时，所述目标对象特征的权重大于所述源对象特征的权重。

13、在上述实现过程中，这样可以确保融合特征中有一些融合特征能够保留目标对象更多的特征，使得后续生成的目标图像中的对象与目标对象具有一定相似度，这样可使得替换后的对象能够更加真实。

14、可选地，所述提取所述源对象图像中的源对象特征以及所述目标对象图像中的目标对象特征，包括：

15、利用对象编码网络对所述源对象图像进行特征编码，获得源对象特征，以及利用所述对象编码网络对所述目标对象图像进行特征编码，获得目标对象特征；

16、和/或，所述基于目标融合特征生成目标图像，包括：

17、利用对象生成网络基于目标融合特征生成目标图像；其中，所述对象生成网络为基于超网络的生成网络。

18、在上述实现过程中，利用对象编码网络实现特征编码，从而可以将对象图像映射到隐空间，得到更加鲁棒的编码特征。利用对象生成网络基于目标融合特征生成目标图像。如此可以达到更好的图像生成效果。

19、可选地，所述对象生成网络的网络权重为基于所述超网络的自身权重与所述超网络预测得出的偏移量获得的。这样可以使得超网络的设计简单，且也不需要大量的资源进行训练，进而使得超网络在表达能力以及训练资源数量之间取得平衡。

20、可选地，所述基于所述目标融合特征生成目标图像之后，还包括：

21、获取所述目标对象图像对应的掩膜，其中，所述掩膜中像素的像素值表征所述目标对象图像中对应像素属于目标对象的概率；

22、根据所述掩膜中像素的像素值对所述目标对象图像与所述目标图像进行加权融合，得到融合后的目标图像；其中，所述目标图像所对应的权重值为所述掩膜中像素的像素值，所述目标对象图像所对应的权重值为所述掩膜中像素的像素值的互补值。

23、在上述实现过程中，通过将目标对象图像的掩膜作为融合系数对目标对象图像和目标图像进行融合，如此可解决目标对象图像中对象被遮挡和自然度的问题。

24、可选地，所述得到融合后的目标图像之后，还包括：

25、利用超分辨率模型对所述融合后的目标图像进行超分辨率处理，得到所述目标图像对应的超分辨率图像。如此可使得获得的超分辨率图像具有较高的保真度和清晰度，从而使得超分辨率图像能够适配任何视频分辨率，使得视频场景下的替换效果更加真实自然。

26、可选地，所述源对象图像和所述目标对象图像为脸部图像。如此可实现脸部的替换，进而可在更多应用场景下达到较好的替换效果。

27、第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。

28、第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。

29、本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

技术特征：

1.一种图像生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述源对象特征与所述目标对象特征按照特征的维度进行融合，获得不同维度下的融合特征，包括：

3.根据权利要求1所述的方法，其特征在于，所述提取所述源对象图像中的源对象特征以及所述目标对象图像中的目标对象特征，包括：

4.根据权利要求3所述的方法，其特征在于，所述对象生成网络的网络权重为基于所述超网络的自身权重与所述超网络预测得出的偏移量获得的。

5.根据权利要求1-4任一所述的方法，其特征在于，所述基于所述目标融合特征生成目标图像之后，还包括：

6.根据权利要求5所述的方法，其特征在于，所述得到融合后的目标图像之后，还包括：

7.根据权利要求1-6任一所述的方法，其特征在于，所述源对象图像和所述目标对象图像为脸部图像。

8.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一所述的方法。

10.一种计算机程序产品，其特征在于，包括计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如权利要求1-7任一所述的方法。

技术总结
本申请提供一种图像生成方法、电子设备、存储介质及程序产品，涉及图像处理技术领域。该方法通过将源对象图像的源对象特征和目标对象图像的目标对象特征按照特征的维度进行融合，使得可以保留源对象和目标对象的相关特征，然后从多个融合特征中选择与源对象特征之间满足相似度要求的目标融合特征，使得生成的目标图像可以尽可能保留源对象的特征，但是又保留了目标对象的特征，达到更好地融合效果，即生成的目标图像的效果更好，进而在将目标对象图像中的对象替换为源对象图像中的对象时，大大提升了替换效果。

技术研发人员：罗卓群,金宇林
受保护的技术使用者：北京旷视科技有限公司
技术研发日：
技术公布日：2024/1/15