图像合成方法和装置、存储介质及电子设备与流程

本技术涉及计算机领域，具体而言，涉及一种图像合成方法和装置、存储介质及电子设备。

背景技术：

1、目前，图像合成具有非常多的应用场景，但是常规的图像合成方式是输入包含源图像身份信息(例如，眼睛信息、鼻子信息等源图像身份信息)的源图像和包含模板图像背景信息(例如，面部角度、面部表情等模板图像背景信息)的模板图像，以输出能保持模板图像中的模板图像背景信息，同时与源图像包含的源图像身份信息尽可能的相似的合成图像。目前的大多数图像合成算法，例如，当模板图像中的对象具有较大的姿态或模板图像的对象被遮挡时，合成图像的效果不佳，现有的方法无法优化大姿态和遮挡下的合成图像的效果，易出现双层脸或存在遮挡时，合成图像身份信息发生抖动的问题，进而导致合成的图像效果较差。

2、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术实施例提供了一种图像合成方法和装置、存储介质及电子设备，以至少解决由于待合成的模板图像中对象具有大姿态或对象被遮挡，导致合成的图像效果较差，不够自然的技术问题。

2、根据本技术实施例的一个方面，提供了一种图像合成方法，包括：获取待处理的源图像和模板图像，其中，所述源图像包括待合成的源图像身份信息，所述模板图像包括待合成的模板图像背景信息，所述模板图像中的目标对象为目标姿态或者所述目标对象被遮挡；对所述源图像和所述模板图像执行目标合成操作，得到初始合成图像，其中，所述初始合成图像包括所述源图像身份信息和所述模板图像背景信息以及显示异常的部分区域；对所述源图像、所述模板图像以及所述初始合成图像执行目标修正操作，得到目标残差图像，其中，所述目标残差图像用于修正所述部分区域；将所述第一合成图像与所述目标残差图像合成为目标合成图像，其中，所述目标合成图像包括所述源图像身份信息和所述模板图像背景信息以及修正后的所述部分区域。

3、根据本技术实施例的另一方面，还提供了一种图像合成装置，包括：获取模块，用于获取待处理的源图像和模板图像，其中，所述源图像包括待合成的源图像身份信息，所述模板图像包括待合成的模板图像背景信息，所述模板图像中的目标对象为目标姿态或者所述目标对象被遮挡；第一合成模块，用于对所述源图像和所述模板图像执行目标合成操作，得到初始合成图像，其中，所述初始合成图像包括所述源图像身份信息和所述模板图像背景信息以及显示异常的部分区域；修正模块，用于对所述源图像、所述模板图像以及所述初始合成图像执行目标修正操作，得到目标残差图像，其中，所述目标残差图像用于修正所述部分区域；第二合成模块，用于将所述第一合成图像与所述目标残差图像合成为目标合成图像，其中，所述目标合成图像包括所述源图像身份信息和所述模板图像背景信息以及修正后的所述部分区域。

4、可选地，所述装置用于通过如下方式对所述源图像和所述模板图像执行目标合成操作，得到初始合成图像：将所述源图像和所述模板图像共同输入目标合成网络，得到所述初始合成图像；其中，在所述目标合成网络中通过如下方式得到所述初始合成图像：对所述源图像和所述模板图像执行拼接操作，得到第一拼接图像，其中，所述第一拼接图像的通道数是所述源图像和所述模板图像的通道数之和；对所述第一拼接图像执行编码操作，得到所述通道数逐渐增加的第一中间层特征信息；对所述第一中间层特征信息执行解码操作，得到所述通道数逐渐减少的所述初始合成图像，其中，所述初始合成图像的所述通道数与所述源图像的所述通道数相同。

5、可选地，所述装置还用于：对第一合成网络进行训练得到所述目标合成网络，其中，通过如下方式对所述第一合成网络进行训练得到所述目标合成网络：获取第一样本源图像、第一样本模板图像以及标签图像，其中，所述标签图像是期望所述第一样本源图像与所述第一样本模板图像合成后得到的预先确定的图像；对所述第一样本源图像和所述第一样本模板图像执行拼接操作，得到第一样本拼接图像，其中，所述第一样本拼接图像的通道数是所述第一样本源图像和所述第一样本模板图像的通道数之和；对所述第一样本拼接图像执行编码操作，得到通道数逐渐增加的第一样本中间层特征信息；对所述第一样本中间层特征信息执行解码操作，得到通道数逐渐减少的所述第一样本初始合成图像，其中，所述第一样本初始合成图像的通道数与所述第一样本源图像的通道数相同；根据所述第一样本初始合成图像、所述第一样本源图像以及所述标签图像计算所述第一合成网络的第一目标损失值，其中，所述第一合成网络用于生成所述第一样本初始合成图像；在所述第一目标损失值符合第一损失条件的情况下，将所述第一合成网络确定为所述目标合成网络。

6、可选地，所述装置用于通过如下方式根据所述第一样本初始合成图像、所述第一样本源图像以及所述标签图像计算所述第一合成网络的第一目标损失值，包括：利用预训练的特征提取模块对所述标签图像执行特征提取操作，得到第一组样本特征图，其中，所述特征提取模块用于提取不同层级的特征信息，所述第一组样本特征图中每个样本特征图对应一个层级的从所述标签图像提取到的特征信息；利用所述特征提取模块对所述第一样本初始合成图像执行所述特征提取操作，得到第二组样本特征图，其中，所述第二组样本特征图中每个样本特征图对应一个层级的从所述第一样本初始合成图像提取到的特征信息；根据所述第一组样本特征图和所述第二组样本特征图计算第一损失值，其中，所述第一损失值由不同层级下的对应层级的从所述标签图像提取到的特征信息和从所述第一样本初始合成图像提取到的特征信息计算得到；将所述第一损失值与所述第一合成网络的重建损失值共同确定为所述第一目标损失值，其中，所述重建损失值为执行所述编码操作和所述解码操作所对应的损失值。

7、可选地，所述装置用于通过如下方式根据所述第一样本初始合成图像、所述第一样本源图像以及所述标签图像计算所述第一合成网络的第一目标损失值：对所述第一样本初始合成图像执行识别操作，得到第一样本特征向量，其中，所述第一样本特征向量用于表示所述第一样本初始合成图像中的源图像身份信息；对所述第一样本源图像执行所述识别操作，得到第二样本特征向量，其中，所述第二样本特征向量用于表示所述第一样本源图像中的源图像身份信息；根据所述第一样本特征向量和所述第二样本特征向量计算第二损失值，其中，所述第二损失值表示所述第一样本特征向量和所述第二样本特征向量之间的相似度；将所述第二损失值与所述第一合成网络的重建损失值共同确定为所述第一目标损失值，其中，所述重建损失值为执行所述编码操作和所述解码操作所对应的损失值。

8、可选地，所述装置用于通过如下方式对所述源图像、所述模板图像以及所述初始合成图像执行目标修正操作，得到目标残差图像：将所述源图像、所述模板图像以及所述初始合成图像共同输入目标修正网络，得到所述目标残差图像；其中，在所述目标修正网络中通过如下方式得到所述目标残差图像：对所述源图像、所述模板图像以及所述初始合成图像执行拼接操作，得到第二拼接图像，其中，所述第二拼接图像的通道数是所述源图像、所述模板图像以及所述初始合成图像的通道数之和；对所述第二拼接图像执行编码操作，得到所述通道数逐渐增加的第二中间层特征信息；对所述第二中间层特征信息执行解码操作，得到所述通道数逐渐减少的所述目标残差图像，其中，所述目标残差图像的所述通道数与所述初始合成图像的所述通道数相同。

9、可选地，所述装置还用于：对初始修正网络进行训练得到所述目标修正网络，其中，通过如下方式对所述初始修正网络进行训练得到所述目标修正网络：获取第二样本源图像、第二样本模板图像、标签残差图像以及第二样本初始合成图像，其中，所述第二样本初始合成图像是所述第二样本源图像与所述第二样本模板图像执行所述目标合成操作后得到的图像，所述标签残差图像根据标签图像和所述第二样本初始合成图像确定，所述标签图像是期望所述第二样本源图像与所述第二样本模板图像合成后得到的预先确定的图像；对所述第二样本源图像、所述第二样本模板图像以及所述第二样本初始合成图像执行拼接操作，得到第二样本拼接图像，其中，所述第二样本拼接图像的通道数是所述第二样本源图像、所述第二样本模板图像以及所述第二样本初始合成图像的通道数之和；对所述第二样本拼接图像执行编码操作，得到通道数逐渐增加的第二样本中间层特征信息；对所述第二样本中间层特征信息执行解码操作，得到通道数逐渐减少的所述样本残差图像，其中，所述样本残差图像的通道数与所述第二样本初始合成图像的通道数相同；根据所述第二样本源图像、所述标签残差图像、所述第二样本初始合成图像以及所述样本残差图像计算所述初始修正网络的第二目标损失值；在所述第二目标损失值符合第二损失条件的情况下，将所述初始修正网络确定为所述目标修正网络。

10、可选地，所述装置用于通过如下方式根据所述第二样本源图像、所述标签残差图像、所述第二样本初始合成图像以及所述样本残差图像计算所述初始修正网络的第二目标损失值：根据所述样本残差图像和所述标签残差图像计算第三损失值；将所述第三损失值与第二合成网络的重建损失值共同确定为所述第二目标损失值，其中，所述第二合成网络用于生成所述第二样本初始合成图像，所述重建损失值为执行所述编码操作和所述解码操作所对应的损失值。

11、可选地，所述装置用于通过如下方式将所述第三损失值与第一合成网络的重建损失值共同确定为所述第二目标损失值：将所述第二样本初始合成图像与所述样本残差图像合成为样本目标合成图像；利用预训练的特征提取模块对所述样本目标合成图像执行特征提取操作，得到第三组样本特征图，其中，所述特征提取模块用于提取不同层级的特征信息，所述第三组样本特征图中每个样本特征图对应一个层级的从所述样本目标合成图像提取到的特征信息；利用所述特征提取模块对所述标签图像执行所述特征提取操作，得到第一组样本特征图，其中，所述第一组样本特征图中每个样本特征图对应一个层级的从所述标签图像提取到的特征信息；根据所述第三组样本特征图和所述第一组样本特征图计算第四损失值，其中，所述第四损失值由不同层级下的对应层级的从所述样本目标合成图像提取到的特征信息和从所述标签图像提取到的特征信息计算得到；将所述第四损失值与所述第三损失值以及所述第二合成网络的重建损失值共同确定为所述第二目标损失值。

12、可选地，所述装置用于通过如下方式将所述第三损失值与第一合成网络的重建损失值共同确定为所述第二目标损失值：对所述样本目标合成图像执行识别操作，得到第三样本特征向量，其中，所述第三样本特征向量用于表示所述样本目标合成图像中的源图像身份信息；对所述第二样本源图像执行所述识别操作，得到第四样本特征向量，其中，所述第四样本特征向量用于表示所述第二样本源图像中的源图像身份信息；根据所述第三样本特征向量和所述第四样本特征向量计算所述第二合成网络的第五损失值，其中，所述第二目标损失值包括所述第五损失值，所述第五损失值表示所述第三样本特征向量和所述第四样本特征向量之间的相似度；将所述第五损失值与所述第三损失值、所述第四损失值以及所述第二合成网络的重建损失值共同确定为所述第二目标损失值。

13、可选地，所述装置还用于：所述对所述源图像和所述模板图像执行目标合成操作，得到初始合成图像之前，对所述源图像和所述模板图像分别进行对象检测，得到所述源图像和所述模板图像中的对象区域；对所述对象区域进行配准操作，确定所述对象区域中的关键点信息，其中，所述关键点信息用于表示所述对象区域中的对象；根据所述关键点信息分别裁剪所述源图像和所述模板图像，得到用于执行所述目标合成操作的所述源图像和所述模板图像。

14、根据本技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述图像合成方法。

15、根据本技术实施例的又一方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上图像合成方法。

16、根据本技术实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的图像合成方法。

17、在本技术实施例中，采用获取待处理的源图像和模板图像，其中，源图像包括待合成的源图像身份信息，模板图像包括待合成的模板图像背景信息，模板图像中的目标对象为目标姿态或者目标对象被遮挡，对源图像和模板图像执行目标合成操作，得到初始合成图像，其中，初始合成图像包括源图像身份信息和模板图像背景信息以及显示异常的部分区域，对源图像、模板图像以及初始合成图像执行目标修正操作，得到目标残差图像，其中，目标残差图像用于修正部分区域，将第一合成图像与目标残差图像合成为目标合成图像，其中，目标合成图像包括源图像身份信息和模板图像背景信息以及修正后的部分区域的方式，通过获取源图像和模板图像，并将源图像和模板图像进行合成，得到初始合成图像，再根据初始合成图像、源图像以及模板图像生成目标残差图像，最后，将目标残差图像和初始合成图像再次合成，得到目标合成图像，达到了在有大姿态和遮挡下依旧能够取得鲁邦的图像合成结果，满足了一些难度较大的场景下的换脸需求，从而实现了优化了大姿态或对象被遮挡的情况下，合成图像的效果，使得合成的图像更加鲁邦，也更加自然的技术效果，进而解决了由于待合成的模板图像中对象具有大姿态或对象被遮挡，导致合成的图像效果较差，不够自然的技术问题。